(57)【特許請求の範囲】
【請求項１】
複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが前記超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置であって、
前記複数枚の低解像度画像を入力する画像入力部と、
入力された前記複数枚の低解像度画像から、基準画像を選択する基準画像選択部と、
入力された前記複数枚の低解像度画像から、前記超解像処理に利用する複数枚の参照画像を選択する参照画像選択部と、
前記基準画像と前記各参照画像間の高解像度画像空間上で位置合わせを行うための位置ずれ量をそれぞれ算出する位置ずれ量算出部と、
前記位置ずれ量と前記基準画像と前記複数の参照画像に基づいて、複数の変形画像を生成する変形画像生成部と、
前記位置ずれ量と前記基準画像と前記参照画像及び変形画像の情報とに基づき、加算画像と重み画像を生成する加算画像・重み画像生成部と、
前記加算画像を前記重み画像で除算することにより、高解像度グリッド画像を生成する高解像度グリッド画像生成部と、
前記最適な低解像度画像群が十分に取得されているか否かをユーザが視認するための支援画像を生成する支援画像生成部と、
前記支援画像を表示する支援画像表示部と、
を備え、
前記支援画像生成部は、前記高解像度グリッド画像に対し、前記ユーザの視認性を高めるために行われる支援画像生成処理を施すことで、前記支援画像を生成することを特徴とする画像処理装置。
【請求項２】
前記支援画像生成処理を行うために、前記支援画像生成部は、前記高解像度グリッド画像に対し、画像の欠落画素の強調処理を行う欠落画素強調処理部を備え、
前記欠落画素強調処理部により前記欠落画素の強調処理が行われた前記高解像度グリッド画像を前記支援画像とする請求項１に記載の画像処理装置。
【請求項３】
前記支援画像生成処理を行うために、
前記支援画像生成部は、
前記高解像度グリッド画像に対し、欠落画素の補間処理を行い、補間画像を生成する補間処理部と、
前記補間画像に対し、彩度の強調処理を行う彩度強調処理部とを備え、
前記彩度強調処理部により前記彩度の強調処理が行われた前記補間画像を前記支援画像とする請求項１に記載の画像処理装置。
【請求項４】
前記支援画像生成処理を行うために、
前記支援画像生成部は、
前記高解像度グリッド画像に対し、欠落画素の補間処理を行い、補間画像を生成する補間処理部と、
前記基準画像及び前記変形画像に対して、前記基準画像のエッジ画像及び前記変形画像のエッジ画像を生成する、エッジ画像生成処理部とを備え、
前記補間処理部より生成された補間画像を前記支援画像とすると共に、前記エッジ画像生成処理部により生成された前記基準画像のエッジ画像及び前記変形画像のエッジ画像をも前記支援画像とする請求項１に記載の画像処理装置。
【請求項５】
前記支援画像生成処理を行うために、
前記支援画像生成部は、
前記高解像度グリッド画像に対し、欠落画素の補間処理を行い、補間画像を生成する補間処理部と、
前記基準画像及び前記複数の変形画像に対して、平均画像を生成する、平均画像生成処理部とを備え、
前記補間処理部より生成された補間画像を前記支援画像とすると共に、前記平均画像生成処理部により、前記基準画像及び前記複数の変形画像に対して生成された平均画像をも前記支援画像とする請求項１に記載の画像処理装置。
【請求項６】
複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが前記超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置であって、
前記複数枚の低解像度画像を入力する画像入力部と、
入力された前記複数枚の低解像度画像から、基準画像を選択する基準画像選択部と、
入力された前記複数枚の低解像度画像から、前記超解像処理に利用する複数枚の参照画像を選択する参照画像選択部と、
前記基準画像と前記各参照画像間の高解像度画像空間上で位置合わせを行うための位置ずれ量をそれぞれ算出する位置ずれ量算出部と、
前記位置ずれ量と前記基準画像と前記複数の参照画像に基づいて、複数の変形画像を生成する変形画像生成部と、
前記位置ずれ量と前記基準画像と前記参照画像及び変形画像の情報とに基づき、加算画像と重み画像を生成する加算画像・重み画像生成部と、
前記加算画像を前記重み画像で除算することにより、高解像度グリッド画像を生成する高解像度グリッド画像生成部と、
前記最適な低解像度画像群が十分に取得されているか否かをユーザが視認するための支援画像を生成する支援画像生成部と、
前記支援画像を表示する支援画像表示部と、
を備え、
前記支援画像生成部は、前記基準画像及び前記変形画像に対して、前記基準画像のエッジ画像及び前記変形画像のエッジ画像を生成する、エッジ画像生成処理部を備えており、
前記エッジ画像生成処理部により生成された前記基準画像のエッジ画像及び前記変形画像のエッジ画像を前記支援画像とすることを特徴とする画像処理装置。
【請求項７】
複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが前記超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置であって、
前記複数枚の低解像度画像を入力する画像入力部と、
入力された前記複数枚の低解像度画像から、基準画像を選択する基準画像選択部と、
入力された前記複数枚の低解像度画像から、前記超解像処理に利用する複数枚の参照画像を選択する参照画像選択部と、
前記基準画像と前記各参照画像間の高解像度画像空間上で位置合わせを行うための位置ずれ量をそれぞれ算出する位置ずれ量算出部と、
前記位置ずれ量と前記基準画像と前記複数の参照画像に基づいて、複数の変形画像を生成する変形画像生成部と、
前記位置ずれ量と前記基準画像と前記参照画像及び変形画像の情報とに基づき、加算画像と重み画像を生成する加算画像・重み画像生成部と、
前記加算画像を前記重み画像で除算することにより、高解像度グリッド画像を生成する高解像度グリッド画像生成部と、
前記最適な低解像度画像群が十分に取得されているか否かをユーザが視認するための支援画像を生成する支援画像生成部と、
前記支援画像を表示する支援画像表示部と、
を備え、
前記支援画像生成部は、前記基準画像及び前記複数の変形画像に対して、平均画像を生成する、平均画像生成処理部を備えており、
前記平均画像生成処理部により、前記基準画像及び前記複数の変形画像に対して生成された平均画像を前記支援画像とすることを特徴とする画像処理装置。
【請求項８】
前記複数枚の低解像度画像は、画素情報において少なくとも１種類以上の色チャンネル情報が欠落している画像である請求項１乃至請求項７の何れか一項に記載の画像処理装置。
【請求項９】
前記画像処理装置において、
前記参照画像の画像情報を選択する基準になるパラメータの閾値を設定するパラメータ設定部と、
前記支援画像表示部に表示された前記支援画像のユーザ視認結果に応じて前記パラメータ設定部における前記パラメータの前記閾値の変更を行う、外部Ｉ／Ｆ制御部と、
を更に備える請求項１乃至請求項８の何れか一項に記載の画像処理装置。
【請求項１０】
前記画像処理装置において、前記支援画像表示部に表示された前記支援画像のユーザ視認結果に応じて前記複数参照画像の枚数の変更を行う、外部Ｉ／Ｆ制御部を更に備える請求項１乃至請求項８の何れか一項に記載の画像処理装置。
【請求項１１】
前記画像処理装置において、前記支援画像表示部に表示された前記支援画像のユーザ視認結果に応じて前記画像入力部の前記複数枚の低解像度画像の入力枚数の変更を行う、外部Ｉ／Ｆ制御部を更に備える請求項１乃至請求項８の何れか一項に記載の画像処理装置。
【請求項１２】
前記画像処理装置において、前記支援画像表示部に表示された前記支援画像のユーザ視認結果に応じて前記参照画像の選択を行う、外部Ｉ／Ｆ制御部を更に備える請求項１乃至請求項８の何れか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像処理技術に関し、特に、複数枚の低解像度画像の位置合わせによる高解像度画像の生成を行う際の低解像度画像群取得支援に用いる画像処理装置に関する。
【背景技術】
【０００２】
近年、デジタル画像処理分野では、複数枚の低解像度画像（以下、単に、「低解像度画像群」とも言う。）を使用して高解像度画像を生成する、超解像処理と呼ばれるデジタル画像処理技術が開発されてきた。
【０００３】
既存の超解像処理技術として、例えば、特許文献１や特許文献２に開示されたように、まず、複数枚の低解像度画像間における位置ずれ量をサブピクセル単位で検出し、そして、検出したサブピクセル単位での位置ずれ量をもとに、これら複数枚の低解像度画像を高解像度画像空間上に位置合わせし合成することにより、高解像度画像を生成する画像処理技術がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４１２６３７８号
【特許文献２】国際公開ＷＯ０４／０６８８６２号パンフレット
【特許文献３】特開２００７−２６６６６７号公報
【特許文献４】国際公開ＷＯ２００４／０６３９９１号パンフレット
【特許文献５】国際公開ＷＯ２００８／１０２８９８号パンフレット
【非特許文献】
【０００５】
【非特許文献１】戸田真人・塚田正人・井上晃共著,「レジストレーション誤差を考慮した超解像処理」,ＦＩＴ２００６（第５回情報科学技術フォーラム）,I-027,p.63-64,2006年
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のように、前述した既存の超解像処理技術を用いて、複数枚の低解像度画像を使用して高解像度画像を生成する際に、低解像度画像間の位置ずれ量をもとに、高解像度画像空間上にこれら複数枚の低解像度画像を位置合わせする必要がある。
【０００７】
このとき、被写体の動き、低解像度画像の使用枚数、動き推定処理や画素選択処理などの影響で、複数枚の低解像度画像を位置合わせした後の高解像度画像空間上の画素密度が不均一になる。このような不均一な画素密度を有する画像データに対して、補間処理が行われている。
【０００８】
しかしながら、補間処理は推定値により高解像度画像空間上の不足している画素を埋めるため、補間処理による高解像度化は、必ずしも正確なものとはならない。
【０００９】
そのため、複数枚の低解像度画像を使用して高解像度画像を生成する際に、つまり、複数枚の低解像度画像に基づく超解像処理により高解像度画像を生成する際に、複数枚の低解像度画像を位置合わせした後の高解像度画像空間上の画素密度が概略均一となるように、複数枚の低解像度画像（低解像度画像群）を取得することが望ましい。
【００１０】
このように、超解像処理により高解像度画像を生成するには、サブピクセル単位でずれた複数枚の低解像度画像をユーザが取得する必要はあるが、ユーザは超解像処理に最適な低解像度画像が十分に得られているか否かを知ることができないという問題点が存在する。
【００１１】
一方、特許文献３には、ユーザが撮影した画像を使用してモザイキング処理や超解像処理により合成画像を生成する際に、適切な撮影量となるように、ユーザのカメラ操作を支援する、「カメラ付き携帯機器、その制御方法及びその撮影支援方法」が開示されている。
【００１２】
特許文献３では、適切な撮影量をユーザへ提示することにより、ユーザのカメラ操作を支援しているが、サブピクセル単位での適切な撮影量をユーザへ提示するものではない。
【００１３】
本発明は、上述のような事情よりなされたものであり、本発明の目的は、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置を提供することにある。
【課題を解決するための手段】
【００１４】
本発明は、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが前記超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置に関するものである。本発明の上記目的は、前記複数枚の低解像度画像を入力する画像入力部と、入力された前記複数枚の低解像度画像から、基準画像を選択する基準画像選択部と、入力された前記複数枚の低解像度画像から、前記超解像処理に利用する複数枚の参照画像を選択する参照画像選択部と、前記基準画像と前記各参照画像間の高解像度画像空間上で位置合わせを行うための位置ずれ量をそれぞれ算出する位置ずれ量算出部と、前記位置ずれ量と前記基準画像と前記複数の参照画像に基づいて、複数の変形画像を生成する変形画像生成部と、前記位置ずれ量と前記基準画像と前記参照画像及び変形画像の情報とに基づき、加算画像と重み画像を生成する加算画像・重み画像生成部と、前記加算画像を前記重み画像で除算することにより、高解像度グリッド画像を生成する高解像度グリッド画像生成部と、前記最適な低解像度画像群が十分に取得されているか否かをユーザが視認するための支援画像を生成する支援画像生成部と、前記支援画像を表示する支援画像表示部とを備え、前記支援画像生成部は、前記高解像度グリッド画像に対し、前記ユーザの視認性を高めるために行われる支援画像生成処理を施すことで、前記支援画像を生成することにより達成される。或いは、前記支援画像生成処理を行うために、前記支援画像生成部は、前記高解像度グリッド画像に対し、画像の欠落画素の強調処理を行う欠落画素強調処理部を備え、前記欠落画素強調処理部により前記欠落画素の強調処理が行われた前記高解像度グリッド画像を前記支援画像とすることによってより効果的に達成される。或いは、前記支援画像生成処理を行うために、前記支援画像生成部は、前記高解像度グリッド画像に対し、欠落画素の補間処理を行い、補間画像を生成する補間処理部と、前記補間画像に対し、彩度の強調処理を行う彩度強調処理部とを備え、前記彩度強調処理部により前記彩度の強調処理が行われた前記補間画像を前記支援画像とすることによってより効果的に達成される。或いは、前記支援画像生成処理を行うために、前記支援画像生成部は、前記高解像度グリッド画像に対し、欠落画素の補間処理を行い、補間画像を生成する補間処理部と、前記基準画像及び前記変形画像に対して、前記基準画像のエッジ画像及び前記変形画像のエッジ画像を生成する、エッジ画像生成処理部とを備え、前記補間処理部より生成された補間画像を前記支援画像とすると共に、前記エッジ画像生成処理部により生成された前記基準画像のエッジ画像及び前記変形画像のエッジ画像をも前記支援画像とすることによってより効果的に達成される。或いは、前記支援画像生成処理を行うために、前記支援画像生成部は、前記高解像度グリッド画像に対し、欠落画素の補間処理を行い、補間画像を生成する補間処理部と、前記基準画像及び前記複数の変形画像に対して、平均画像を生成する、平均画像生成処理部とを備え、前記補間処理部より生成された補間画像を前記支援画像とすると共に、前記平均画像生成処理部により、前記基準画像及び前記複数の変形画像に対して生成された平均画像をも前記支援画像とすることによってより効果的に達成される。
【００１５】
また、本発明の上記目的は、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが前記超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置であって、前記複数枚の低解像度画像を入力する画像入力部と、入力された前記複数枚の低解像度画像から、基準画像を選択する基準画像選択部と、入力された前記複数枚の低解像度画像から、前記超解像処理に利用する複数枚の参照画像を選択する参照画像選択部と、前記基準画像と前記各参照画像間の高解像度画像空間上で位置合わせを行うための位置ずれ量をそれぞれ算出する位置ずれ量算出部と、前記位置ずれ量と前記基準画像と前記複数の参照画像に基づいて、複数の変形画像を生成する変形画像生成部と、前記位置ずれ量と前記基準画像と前記参照画像及び変形画像の情報とに基づき、加算画像と重み画像を生成する加算画像・重み画像生成部と、前記加算画像を前記重み画像で除算することにより、高解像度グリッド画像を生成する高解像度グリッド画像生成部と、前記最適な低解像度画像群が十分に取得されているか否かをユーザが視認するための支援画像を生成する支援画像生成部と、前記支援画像を表示する支援画像表示部とを備え、前記支援画像生成部は、前記基準画像及び前記変形画像に対して、前記基準画像のエッジ画像及び前記変形画像のエッジ画像を生成する、エッジ画像生成処理部を備えており、前記エッジ画像生成処理部により生成された前記基準画像のエッジ画像及び前記変形画像のエッジ画像を前記支援画像とすることにより達成される。
【００１６】
更に、本発明の上記目的は、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが前記超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置であって、前記複数枚の低解像度画像を入力する画像入力部と、入力された前記複数枚の低解像度画像から、基準画像を選択する基準画像選択部と、入力された前記複数枚の低解像度画像から、前記超解像処理に利用する複数枚の参照画像を選択する参照画像選択部と、前記基準画像と前記各参照画像間の高解像度画像空間上で位置合わせを行うための位置ずれ量をそれぞれ算出する位置ずれ量算出部と、前記位置ずれ量と前記基準画像と前記複数の参照画像に基づいて、複数の変形画像を生成する変形画像生成部と、前記位置ずれ量と前記基準画像と前記参照画像及び変形画像の情報とに基づき、加算画像と重み画像を生成する加算画像・重み画像生成部と、前記加算画像を前記重み画像で除算することにより、高解像度グリッド画像を生成する高解像度グリッド画像生成部と、前記最適な低解像度画像群が十分に取得されているか否かをユーザが視認するための支援画像を生成する支援画像生成部と、前記支援画像を表示する支援画像表示部とを備え、前記支援画像生成部は、前記基準画像及び前記複数の変形画像に対して、平均画像を生成する、平均画像生成処理部を備えており、前記平均画像生成処理部により、前記基準画像及び前記複数の変形画像に対して生成された平均画像を前記支援画像とすることにより達成される。
【００１７】
また更に、本発明の上記目的は、前記画像処理装置において、前記参照画像の画像情報を選択する基準になるパラメータの閾値を設定するパラメータ設定部と、前記支援画像表示部に表示された前記支援画像のユーザ視認結果に応じて前記パラメータ設定部における前記パラメータの前記閾値の変更を行う、外部Ｉ／Ｆ制御部とを更に備えることによってより効果的に達成される。或いは、前記画像処理装置において、前記支援画像表示部に表示された前記支援画像のユーザ視認結果に応じて前記複数参照画像の枚数の変更を行う、外部Ｉ／Ｆ制御部を更に備えることによってより効果的に達成される。或いは、前記画像処理装置において、前記支援画像表示部に表示された前記支援画像のユーザ視認結果に応じて前記画像入力部の前記複数枚の低解像度画像の入力枚数の変更を行う、外部Ｉ／Ｆ制御部を更に備えることによってより効果的に達成される。或いは、前記画像処理装置において、前記支援画像表示部に表示された前記支援画像のユーザ視認結果に応じて前記参照画像の選択を行う、外部Ｉ／Ｆ制御部を更に備えることによってより効果的に達成される。或いは、前記複数枚の低解像度画像は、画素情報において少なくとも１種類以上の色チャンネル情報が欠落している画像であってもよい。
【発明の効果】
【００１８】
本発明では、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、超解像処理の途中において生成された加算画像と重み画像に基づいて生成された高解像度グリッド画像と簡易補間画像に基づいて生成された支援画像をユーザに表示することにより、ユーザが超解像処理に最適な低解像度画像群を取得できるように、ユーザ支援（低解像度画像群取得支援）を行うことが可能となる。
【００１９】
また、本発明では、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、複数の変形画像（基準画像に合致するように画像変形された複数の参照画像）に基づいて生成された複数のエッジ画像と平均化画像を支援画像としてユーザに表示することにより、ユーザが超解像処理に最適な低解像度画像群を取得できるように、ユーザ支援（低解像度画像群取得支援）を行うことが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る画像処理装置の第１実施形態を示すブロック構成図である。
【図２】図１に示す本発明の第１実施形態に係る画像処理装置の処理流れを示すフロー図である。
【図３】本発明に係る画像処理装置の加算画像・重み画像生成部の実施形態を示すブロック構成図である。
【図４】本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像が三板方式の固体カラー撮像装置で取得された画像である場合の加算画像と重み画像を説明するための模式図である。
【図５】本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像がBayerカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された画像である場合の加算画像と重み画像を説明するための模式図である。
【図６】本発明に係る画像処理装置の支援画像生成部の第１実施形態を示すブロック構成図である。
【図７】本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像がBayerカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された画像である場合に、支援画像表示部に表示された支援画像の例を示す図である。
【図８】本発明に係る画像処理装置の第２実施形態を示すブロック構成図である。
【図９】図８に示す本発明の第２実施形態に係る画像処理装置の処理流れを示すフロー図である。
【図１０】本発明に係る画像処理装置の支援画像生成部の第２実施形態を示すブロック構成図である。
【図１１】本発明に係る画像処理装置の変形画像生成部で生成された変形画像の例を示す図である。
【発明を実施するための形態】
【００２１】
本発明は、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置に関する。
【００２２】
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。
【００２３】
図１は、本発明に係る画像処理装置の第１実施形態（以下、単に「本発明に係る画像処理装置１」、又は「画像処理装置１」とも言う。）を示すブロック構成図である。また、図２は、図１に示す本発明に係る画像処理装置１の処理流れを示すフロー図である。以下、図１及び図２を用いて、画像処理装置１を詳細に説明する。
【００２４】
図１に示すように、画像処理装置１は、画像入力部１００と、第１記憶部１０１と、基準画像選択部１０２と、参照画像選択部１０３と、位置ずれ量算出部１０４と、変形画像生成部１０５と、画像情報選択部１０６、パラメータ設定部１０７と、加算画像・重み画像生成部１０８と、第２記憶部１０９と、高解像度グリッド画像生成部１１０と、支援画像生成部１１２と、支援画像表示部１１３と、外部Ｉ／Ｆ制御部１１４と、再構成処理部１１５と、高解像度画像出力部１１６とから構成される。また、画像処理装置１において、外部Ｉ／Ｆ制御部１１４が、画像入力部１００、基準画像選択部１０２、参照画像選択部１０３、及びパラメータ設定部１０７に対し、必要に応じて、それぞれ制御信号を送ることにより、画像入力部１００、基準画像選択部１０２、参照画像選択部１０３、及びパラメータ設定部１０７での処理を制御することができる。
【００２５】
図１に示すように、画像処理装置１では、まず、画像入力部１００が、複数枚の低解像度画像を入力する（図２のステップＳ１００を参照）。そして、画像入力部１００に入力された複数枚の低解像度画像が、第１記憶部１０１に格納される。また、ユーザの選択により、外部Ｉ／Ｆ制御部１１４を介して、画像入力部１００が、ユーザが選択した所定枚数の低解像度画像を入力することが可能である。
【００２６】
ここで、本発明では、画像入力部１００に入力される複数枚の低解像度画像として、三板方式の固体カラー撮像装置で取得された画像を用いても良く、また、カラーフィルタを用いた単板方式の固体カラー撮像装置で取得された、画素情報において少なくとも１種類以上の色チャンネル情報の欠落している画像を用いても良い。カラーフィルタとして、例えば、Bayerカラーフィルタを用いる。
【００２７】
次に、基準画像選択部１０２が、第１記憶部１０１に格納されている複数枚の低解像度画像から、１枚の基準画像を選択する（図２のステップＳ１１０を参照）。本発明で言う「基準画像」とは、高解像度化する低解像度画像であり、位置ずれ量算出部１０４において位置ずれ量を算出する際の基準となる画像でもある。
【００２８】
本発明では、ユーザが高解像度化したい１枚の低解像度画像を、外部Ｉ／Ｆ制御部１１４を介して、基準画像選択部１０２によって基準画像として選択するようにしている。また、本発明では、基準画像選択部１０２が、所定の評価基準により、第１記憶部１０１に格納されている複数枚の低解像度画像の中から、１枚の基準画像を選択するようにしてもよい。所定の評価基準としては、例えば、画像間の相関や合焦状態を用いることができる。
【００２９】
次に、参照画像選択部１０３が、第１記憶部１０１に格納されている複数枚の低解像度画像から、高解像度化処理（超解像処理）に用いる複数枚の参照画像を選択する（図２のステップＳ１２０を参照）。
【００３０】
つまり、参照画像選択部１０３では、第１記憶部１０１に格納されている複数枚の低解像度画像から、所定枚数の参照画像を選択するようにしており、また、当該所定枚数は、外部Ｉ／Ｆ制御部１１４を介してユーザに任意に設定されることが可能である。
【００３１】
次に、位置ずれ量算出部１０４が、位置ずれ量算出処理（図２のステップＳ１３０を参照）を行うことにより、基準画像選択部１０２により選択された基準画像と、参照画像選択部１０３により選択された各参照画像間の位置関係を、それぞれ算出する。ここで、位置ずれ量算出部１０４で算出された位置関係は、高解像度画像空間上で位置合わせを行うための位置ずれ量となる。
【００３２】
本発明では、高解像度画像空間上に位置合わせを行うためには、基準画像と各参照画像間のサブピクセル単位での位置ずれ量を算出する必要がある。位置ずれ量算出部１０４で行われる位置ずれ量算出処理の一具体例として、例えば、予め、基準画像と各参照画像を補間処理（例えば、バイキュービック法による補間処理）で拡大させておき、そして、拡大された基準画像と各参照画像間のサブピクセル単位での位置ずれ量を、ブロックマッチング法により算出するようにしても良く、又は、特許文献４に開示されたような既存技術により算出するようにしても良い。
【００３３】
なお、位置ずれ量算出部１０４では、低解像度画像からサブピクセル単位での位置ずれ量を算出した場合に、算出されたサブピクセル単位での位置ずれ量を高解像度画像空間上のサブピクセル単位での位置ずれ量に変換する必要がある。
【００３４】
換言すれば、位置ずれ量算出部１０４で算出された位置ずれ量は、高解像度画像空間上のサブピクセル単位での位置ずれ量となる。
【００３５】
次に、変形画像生成部１０５が、変形画像生成処理（図２のステップＳ１４０を参照）を行うことにより、位置ずれ量算出部１０４で算出された位置ずれ量に基づいて、基準画像と合致するように、各参照画像にそれぞれ画像変形を施すことで、複数の変形画像を生成する。
【００３６】
なお、変形画像生成部１０５では、変形画像を生成するために、位置ずれ量算出部１０４で算出された位置ずれ量に基づいて、各参照画像とそれぞれ合致するように、基準画像に画像変形を施すことで、複数の変形画像を生成するようにしても良い。
【００３７】
次に、パラメータ設定部１０７が、パラメータ設定処理（図２のステップＳ１５０を参照）を行うことにより、参照画像の画素を超解像処理に利用するか否かを判断するためのパラメータの閾値を設定する。当該パラメータとして、画像間の類似度や相違度を用いることができる。また、当該パラメータの閾値は、外部Ｉ／Ｆ制御部１１４を介してユーザに任意に設定されることが可能である。
【００３８】
ここで、本発明で用いるパラメータの具体例について説明する。
【００３９】
一例として、基準画像と変形画像（例えば、画像変形を施した参照画像）の位置が対応する画素について求めたＳＳＤ（差分自乗の総和）をパラメータとする。
【００４０】
パラメータとして、画素単位について求めたＳＳＤ（差分自乗の総和）用いた場合に、パラメータ設定部１０７では、画素単位について求めた基準画像と変形画像間のＳＳＤの閾値を設定する。後述する画像情報選択部１０６で行われる画像情報選択処理において、画素単位について求めた基準画像と変形画像間のＳＳＤが設定された閾値以下であれば、参照画像の画素を超解像処理に利用する画素として選択する。
【００４１】
勿論、本発明では、パラメータとして、画素単位について求めた基準画像と変形画像間のＳＳＤには限らず、基準画像と変形画像の位置が対応するフレーム単位や領域単位について求めたＳＳＤを用いてもよい。
【００４２】
また、本発明では、ＳＳＤだけではなく、ＳＡＤ（差分絶対値の総和）やＮＣＣ（正規化相互相関）といった公知の類似度、相違度をパラメータとして用いるようにしてもよい。
【００４３】
本発明では、位置(i,j)における基準画像の輝度値をＴ(i,j)とし、変形画像（例えば、基準画像と合致するように画像変形された参照画像）の輝度値をＩ(i,j)とした場合に、Ｍピクセル×Ｎピクセルの領域の基準画像と変形画像間のＳＳＤ、ＳＡＤ、ＮＣＣは、下記数１、数２、数３により求められる。
【００４４】
【数１】
0005645052.tif 000002
【００４５】
【数２】
0005645052.tif 000003
【００４６】
【数３】
0005645052.tif 000004
ＳＳＤとＳＡＤは小さな値であるほど、その画像情報は超解像処理にとって望ましい画像情報になる。また、ＮＣＣは大きな値であるほど、その画像情報は超解像処理にとって望ましい画像情報になる。
【００４７】
つまり、本発明では、パラメータとして基準画像と変形画像間のＳＳＤを用いる場合に、後述する画像情報選択部１０６で行われる画像情報選択処理において、画素単位について求めた基準画像と変形画像間のＳＳＤが、パラメータ設定部１０７で設定されたＳＳＤの閾値以下であれば、参照画像の画素を超解像処理に利用する画素として選択する。
【００４８】
また、本発明では、パラメータとして基準画像と変形画像間のＳＡＤを用いる場合に、後述する画像情報選択部１０６で行われる画像情報選択処理において、画素単位について求めた基準画像と変形画像間のＳＡＤが、パラメータ設定部１０７で設定されたＳＡＤの閾値以下であれば、参照画像の画素を超解像処理に利用する画素として選択する。
【００４９】
そして、本発明では、パラメータとして基準画像と変形画像間のＮＣＣを用いる場合に、後述する画像情報選択部１０６で行われる画像情報選択処理において、画素単位について求めた基準画像と変形画像間のＮＣＣが、パラメータ設定部１０７で設定されたＮＣＣの閾値以上であれば、参照画像の画素を超解像処理に利用する画素として選択する。
【００５０】
さらに、本発明では、画像間の類似度や相違度だけでなく、パラメータとして、例えば、非特許文献１や特許文献５の公知技術に開示されたように、上記のＩ(i,j)の変形量に基づく基準などを用いてもよい。
【００５１】
次に、画像情報選択部１０６が、画像情報選択処理（図２のステップＳ１６０を参照）を行うことにより、パラメータ設定部１０７で設定されたパラメータの閾値と、基準画像選択部１０２で選択された基準画像と、変形画像生成部１０５で生成された複数の変形画像とに基づいて、複数枚の参照画像から超解像処理に用いる画像情報を選択する。
【００５２】
ここで、パラメータとして基準画像と変形画像間のＳＳＤを用いる場合の画像情報選択部１０６で行われる画像情報選択処理の一具体例について説明する。
【００５３】
画像情報選択部１０６が、まず、画素毎に基準画像と変形画像間のＳＳＤを算出し、次に、算出したＳＳＤがパラメータ設定部１０７で設定されたＳＳＤの閾値以下であれば、その画素位置にある参照画像の画素を超解像処理に用いる画素として選択し、一方、算出したＳＳＤがパラメータ設定部１０７で設定されたＳＳＤの閾値より大きければ、その画素位置にある参照画像の画素を超解像処理に用いる画素として選択しないように、複数枚の参照画像から超解像処理に用いる画像情報（複数の画素）を選択する。
【００５４】
換言すれば、画像情報選択部１０６で選択された画像情報は、超解像処理に利用する画像情報として、複数枚の参照画像から選択された複数の画素で構成された画像情報である。即ち、画像情報選択部１０６で選択された画像情報は、複数の参照画像から選択された複数の画素である。
【００５５】
次に、加算画像・重み画像生成部１０８が、基準画像選択部１０２で選択された基準画像と、位置ずれ量算出部１０４で算出された位置ずれ量と、画像情報選択部１０６で選択された画像情報とに基づき、加算画像と重み画像を生成する（図２のステップＳ１７０を参照）。加算画像・重み画像生成部１０８で生成された加算画像と重み画像は、第２記憶部１０９に格納される。
【００５６】
ここで、加算画像・重み画像生成部１０８の実施形態について詳細に説明する。図３は、本発明に係る画像処理装置の加算画像・重み画像生成部（加算画像・重み画像生成部１０８）の実施形態を示すブロック構成図である。
【００５７】
図３に示すように、加算画像・重み画像生成部１０８は、加算画像を生成する加算画像生成部２００と、重み画像を生成する重み画像生成部２０１とから構成される。
【００５８】
加算画像・重み画像生成部１０８では、まず、加算画像生成部２００が、基準画像選択部で選択された基準画像と、位置ずれ量算出部１０４で算出された位置ずれ量（即ち、高解像度画像空間上のサブピクセル単位での位置ずれ量）と、画像情報選択部１０６により複数枚の参照画像から選択された画像情報をもとに、選択された画像情報の各画素を高解像度画像空間上に配置することにより、加算画像を生成する。ちなみに、加算画像の画素数は高解像度画像空間の画素数と等しい。
【００５９】
次に、重み画像生成部２０１が、基準画像選択部１０２で選択された基準画像と、位置ずれ量算出部１０４で算出された位置ずれ量と、画像情報選択部１０６により複数枚の参照画像から選択された画像情報をもとに、選択された画像情報の各画素に対して重み付けをし、各画素に係る重みを高解像度画像空間上に配置することにより、重み画像を生成する。ちなみに、重み画像の画素数は高解像度画像空間の画素数と等しい。
【００６０】
重み画像生成部２０１で行われる、選択された画像情報の各画素に対する重み付けについて、画素毎に位置ずれ量算出部１０４で算出された位置ずれ量をもとに、対応する画素同士の相関性を再度評価することにより、位置ずれ量の信頼度を判定し、判定された信頼度に応じて、０〜１の重みを設定するようにしても良く、また、位置合わせの基準となる基準画像からの撮影時間に応じて重み付けをするようにしても良い。
【００６１】
なお、加算画像生成部２００では、選択された画像情報の画素を高解像度画像空間上に配置する際に、同じ高解像度画像空間上の位置（画素位置）に、既に別の画素が配置されていた場合に、それらの画素の画素値に、当該画素の画素値を累積加算するようにしている。
【００６２】
また、重み画像生成部２０１では、選択された画像情報の画素に係る重みを高解像度画像空間上に配置する際に、同じ高解像度画像空間上の位置（画素位置）に、既に別の画素に係る重みが配置されていた場合に、それらの画素に係る重みに、当該画素に係る重みを累積加算するようにしている。
【００６３】
このように、加算画像・重み画像生成部１０８で生成された加算画像と重み画像は、使用する低解像度画像の枚数、位置合わせする高解像度画像空間の画素数、選択された画像情報の各画素に係る重み、被写体の動きなどの関係から、画素値が決定された定義画素と画素値が決定されていない未定義画素の混ざった不均一な画像となる。
【００６４】
上述した加算画像・重み画像生成部１０８の実施形態では、加算画像と重み画像を生成する際に、画素値と重みについてそれぞれ累積加算を行っているが、本発明に係る画像処理装置の加算画像・重み画像生成部では、上述した実施形態に限らず、例えば、画素値と重みを高解像度画像空間上に配置する際に、同じ画素位置に、既に画素値又は重みが配置されている場合は、累積加算せずに、当該画素値と当該重みを棄却するように、加算画像と重み画像を生成するようにしても良い。
【００６５】
図４は、本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像が三板方式の固体カラー撮像装置で取得された画像である場合に、加算画像・重み画像生成部１０８で生成された加算画像と重み画像を説明するための模式図である。
【００６６】
図４に示すように、画像入力部１００に入力され、第１記憶部１０１に格納されている複数枚の低解像度画像が三板方式の固体カラー撮像装置で取得された画像である場合に、例えば、基準画像選択部１０２により、フレーム１を基準画像とし、そして、参照画像選択部１０３により、それ以外のフレーム（フレーム２、フレーム３、…）を参照画像とする。
【００６７】
そして、基準画像選択部１０２で選択された基準画像（フレーム１）と、位置ずれ量算出部１０４で算出された高解像度画像空間上のサブピクセル単位での位置ずれ量と、画像情報選択部１０６で選択された画像情報とに基づき、加算画像・重み画像生成部１０８が加算画像と重み画像を生成する。図４では、説明上の便宜のため、ある注目画素を含む小領域について生成された加算画像と重み画像を模式的に示している。
【００６８】
図４に示すように、生成された加算画像は、Ｒ成分画像である加算画像（Ｒ）、Ｇ成分画像である加算画像（Ｇ）、Ｂ成分画像である加算画像（Ｂ）と分けられており、また、生成された重み画像は、Ｒ成分画像である重み画像（Ｒ）、Ｇ成分画像である重み画像（Ｇ）、Ｂ成分画像である重み画像（Ｂ）と分けられる。
【００６９】
そして、図４から分かるように、画像入力部１００に入力された複数枚の低解像度画像は三板方式の固体カラー撮像装置で取得された画像である場合に、加算画像と重み画像における定義画素の位置が、Ｒ成分画像とＧ成分画像とＢ成分画像で同じになっている。
【００７０】
図５は、本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像がBayerカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された色チャンネルの欠落している画像である場合に、加算画像・重み画像生成部１０８で生成された加算画像と重み画像を説明するための模式図である。
【００７１】
図５に示すように、画像入力部１００に入力され、第１記憶部１０１に格納されている複数枚の低解像度画像が単板方式の固体カラー撮像装置で取得された画像である場合に、例えば、基準画像選択部１０２により、フレーム１を基準画像とし、そして、参照画像選択部１０３により、それ以外のフレーム（フレーム２、フレーム３、…）を参照画像とする。
【００７２】
そして、基準画像選択部１０２で選択された基準画像（フレーム１）と、位置ずれ量算出部１０４で算出された高解像度画像空間上のサブピクセル単位での位置ずれ量と、画像情報選択部１０６で選択された画像情報とに基づき、加算画像・重み画像生成部１０８が加算画像と重み画像を生成する。図５では、説明上の便宜のため、ある注目画素を含む小領域について生成された加算画像と重み画像を模式的に示している。
【００７３】
図５に示すように、生成された加算画像は、Ｒ成分画像である加算画像（Ｒ）、Ｇ成分画像である加算画像（Ｇ）、Ｂ成分画像である加算画像（Ｂ）と分けられており、また、生成された重み画像は、Ｒ成分画像である重み画像（Ｒ）、Ｇ成分画像である重み画像（Ｇ）、Ｂ成分画像である重み画像（Ｂ）と分けられる。
【００７４】
そして、図５から分かるように、画像入力部１００に入力された複数枚の低解像度画像はBayerカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された色チャンネルの欠落している画像である場合に、加算画像と重み画像における定義画素の位置が、Ｒ成分画像とＧ成分画像とＢ成分画像で異なる。
【００７５】
次に、高解像度グリッド画像生成部１１０が、第２記憶部１０９に格納されている加算画像と重み画像を読み出し、読み出した加算画像を読み出した重み画像で除算することにより、高解像度グリッド画像を生成する（図２のステップＳ１８０を参照）。
【００７６】
なお、高解像度グリッド画像生成部１１０では、高解像度グリッド画像を生成する際に、重み画像に未定義画素（つまり、画素値が０である画素）がある場合に、０での除算が発生するため、加算画像を重み画像で除算することを行わずに、直接に、重み画像の未定義画素の画素位置にある高解像度グリッド画像の画素値を０に設定するように、高解像度グリッド画像を生成する。
【００７７】
次に、図６に示す支援画像生成部１１２における簡易補間画像生成部１１１が、高解像度グリッド画像生成部１１０で生成された高解像度グリッド画像に対し、簡易補間画像生成処理（図２のステップＳ１９０を参照）を行うことにより、簡易補間画像を生成する。
【００７８】
簡易補間画像生成部１１１で行われる簡易補間画像生成処理とは、高解像度グリッド画像の画素値が０である画素（以下、単に「高解像度グリッド画像の欠落画素」とも言う。）に対し、偽色の出やすい簡易な補間処理を行うことを意味する。ここで、簡易補間画像生成処理で用いられる補間処理は、バイリニア補間処理を利用する。なお、簡易補間画像生成処理で用いられる補間処理は、バイリニア補間処理に限られることがなく、例えば、ニアレストネイバー、バイキュービック等の既存の補間処理方法を用いても良い。
【００７９】
さらに、図１に示されていないが、簡易補間画像生成部１１１が、基準画像選択部１０２から転送されてきた基準画像を、上述したような補間処理により、高解像度画像空間に拡大して得られた画像の高解像度グリッド画像の欠落画素と一致する位置の画素値を用いることで補間しても良い。
【００８０】
なお、高解像度グリッド画像は、本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像が、カラーフィルタを用いた単板方式の固体カラー撮像装置で取得された色チャンネルの欠落している画像に基づいて生成された加算画像と重み画像から生成された場合に、このような高解像度グリッド画像の欠落画素に対し、簡易補間画像生成部１１１により簡易な補間処理を行うと、補間する値の誤差により、生成された簡易補間画像はＲＧＢのカラーバランスが崩れ偽色が発生する。
【００８１】
図６は、本発明に係る画像処理装置の支援画像生成部の第１実施形態（支援画像生成部１１２）を示すブロック構成図である。
【００８２】
図６に示すように、支援画像生成部１１２は、簡易補間画像を生成する簡易補間画像生成部１１１と、画像のリサイズ処理（例えば、拡大処理）を行うリサイズ処理部３００と、画像の鮮鋭化処理を行う鮮鋭化処理部３０１と、画像の欠落画素に対し強調処理を行う欠落画素強調処理部３０２と、画像における偽色が目立つように彩度の強調処理を行う彩度強調処理部３０３とから構成され、高解像度グリッド画像生成部１１０で生成された高解像度グリッド画像と、簡易補間画像に対し、主にユーザの視認性を高めるために行われる支援画像生成処理（図２のステップＳ２００を参照）を施すことにより、支援画像を生成する。
【００８３】
つまり、支援画像生成部１１２で生成された支援画像は、支援画像生成処理が施された高解像度グリッド画像と簡易補間画像を意味する。そして、支援画像生成部１１２で生成された支援画像は、支援画像表示部１１３に表示される。
【００８４】
支援画像生成部１１２では、リサイズ処理部３００が、高解像度グリッド画像と簡易補間画像のリサイズ処理（例えば、拡大処理）を行う。また、鮮鋭化処理部３０１が、高解像度グリッド画像と簡易補間画像の鮮鋭化処理を行う。
【００８５】
さらに、欠落画素強調処理部３０２が、高解像度グリッド画像の欠落画素に対し、強調処理を行う。一具体例として、例えば、高解像度グリッド画像の欠落画素に対し、モルフォロジーのオープニング処理を行うことにより、高解像度グリッド画像の欠落画素を強調処理する。
【００８６】
また更に、彩度強調処理部３０３が、簡易補間画像に対し、その簡易補間画像における偽色が目立つように、彩度の強調処理を行う。
【００８７】
支援画像生成部１１２で行われる支援画像生成処理とは、リサイズ処理部３００で行われる画像処理、鮮鋭化処理部３０１で行われる画像処理、欠落画素強調処理部３０２で行われる画像処理、及び彩度強調処理部３０３で行われる画像処理のうち、少なくとも１つ以上の画像処理を意味する。
【００８８】
具体的に、例えば、支援画像生成部１１２では、高解像度グリッド画像と簡易補間画像に対し、リサイズ処理部３００で行われる画像処理を施すことで、支援画像を生成するようにしても良い。
【００８９】
また、支援画像生成部１１２では、高解像度グリッド画像と簡易補間画像に対し、鮮鋭化処理部３０１で行われる画像処理を施すことで、支援画像を生成するようにしても良い。
【００９０】
更に、支援画像生成部１１２では、高解像度グリッド画像と簡易補間画像に対し、リサイズ処理部３００で行われる画像処理と鮮鋭化処理部３０１で行われる画像処理を施すことで、支援画像を生成するようにしても良い。
【００９１】
また更に、支援画像生成部１１２では、高解像度グリッド画像と簡易補間画像に対し、リサイズ処理部３００で行われる画像処理と鮮鋭化処理部３０１で行われる画像処理を施した上で、更に、高解像度グリッド画像に対し、欠落画素強調処理部３０２で行われる画像処理を施すと共に、簡易補間画像に対し、彩度強調処理部３０３で行われる画像処理を施すことで、支援画像を生成するようにしても良い。
【００９２】
また、支援画像生成部１１２では、高解像度グリッド画像に対し、欠落画素強調処理部３０２で行われる画像処理を施すと共に、簡易補間画像に対し、彩度強調処理部３０３で行われる画像処理を施すことで、支援画像を生成するようにしても良い。
【００９３】
また、支援画像生成部１１２では、高解像度グリッド画像と簡易補間画像に対し、リサイズ処理部３００で行われる画像処理を施した上で、更に、高解像度グリッド画像に対し、欠落画素強調処理部３０２で行われる画像処理を施すと共に、簡易補間画像に対し、彩度強調処理部３０３で行われる画像処理を施すことで、支援画像を生成するようにしても良い。
【００９４】
また、支援画像生成部１１２では、高解像度グリッド画像と簡易補間画像に対し、鮮鋭化処理部３０１で行われる画像処理を施した上で、更に、高解像度グリッド画像に対し、欠落画素強調処理部３０２で行われる画像処理を施すと共に、簡易補間画像に対し、彩度強調処理部３０３で行われる画像処理を施すことで、支援画像を生成するようにしても良い。
【００９５】
さらに、図１に示されていないが、高解像度グリッド画像生成部１１０で生成された高解像度グリッド画像と、簡易補間画像生成部１１１で生成された簡易補間画像に対し、何の処理も行わずに、高解像度グリッド画像と簡易補間画像をそのまま支援画像表示部１１３に表示させるようにしても良い。
【００９６】
次に、支援画像表示部１１３が、支援画像生成部１１２で生成された支援画像（支援画像生成処理が施された高解像度グリッド画像と簡易補間画像）を表示する（図２のステップＳ２１０を参照）。なお、支援画像表示部１１３では、支援画像としての高解像度グリッド画像の欠落画素を点滅させながら、その高解像度グリッド画像を表示するようにしても良い。
【００９７】
支援画像表示部１１３に表示された支援画像をユーザが視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されているかが分かる（図２のステップＳ２２０を参照）。
【００９８】
図７は、本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像がBayerカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された画像である場合に、支援画像表示部１１３に表示された支援画像の例を示す図である。
【００９９】
図７（Ａ）は、高解像度画像空間上の画素の充填状態が悪い場合の支援画像としての高解像度グリッド画像と簡易補間画像の例を示しており、また、図７（Ｂ）は、高解像度画像空間上の画素の充填状態が良い場合の支援画像としての高解像度グリッド画像と簡易補間画像の例を示している。
【０１００】
図７に示されたような支援画像としての高解像度グリッド画像をユーザが視認することにより、ユーザは高解像度画像空間上の画素の充填状態を確認することができる。
【０１０１】
本発明では、高解像度画像空間上の画素の充填状態が良いことは、高解像度グリッド画像における欠落画素が少ないことを意味する。また、高解像度画像空間上の画素の充填状態が悪いことは、高解像度グリッド画像における欠落画素が多いことを意味する。
【０１０２】
また、図７に示されたような支援画像としての簡易補間画像をユーザが視認することにより、簡易補間画像における偽色を観察することができる。
【０１０３】
外部Ｉ／Ｆ制御部１１４が、支援画像のユーザ視認結果により、パラメータ設定部１０７で行われる処理、参照画像選択部１０３で行われる処理、及び画像入力部１００で行われる処理のうち、少なくとも１つの処理を制御する。
【０１０４】
つまり、本発明に係る画像処理装置では、ユーザが支援画像表示部１１３に表示された支援画像を視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されていないと判断された場合に（図２のステップＳ２２０のＮＯを参照）、視認した支援画像の状況により、外部Ｉ／Ｆ制御部１１４を介して、
＜１＞図２のステップＳ１５０（パラメータ設定部１０７）に戻って、パラメータの閾値がユーザに設定し直されるように処理、
＜２＞図２のステップＳ１２０（参照画像選択部１０３）に戻って、選択する参照画像の所定枚数がユーザに設定し直されるように処理、及び
＜３＞図２のステップＳ１００（画像入力部１００）に戻って、ユーザに設定された所定枚数の低解像度画像が入力されるように処理のうち、少なくとも１つの処理を行ってから、その後の処理が繰り返される。
【０１０５】
具体的には、例えば、支援画像のユーザ視認により高解像度画像空間上の画素の充填状態が悪いと判断された場合、つまり、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されていないと判断された場合に、ユーザが外部Ｉ／Ｆ制御部１１４を介して、参照画像の所定枚数を増やすように、参照画像選択部１０３における所定枚数を設定し直す、又は、パラメータ設定部１０７におけるパラメータの閾値を緩める（例えば、パラメータとしてＳＳＤを用いた場合に、ＳＳＤの閾値を大きくする。）。
【０１０６】
また、支援画像表示部１１３に表示された支援画像のユーザ視認により、第１記憶部１０１に格納されている低解像度画像の枚数が不足していると判断された場合に、外部Ｉ／Ｆ制御部１１４を介して、画像入力部１００が、ユーザが設定した所定枚数の低解像度画像を入力し、その後、入力されたそれらの低解像度画像が第１記憶部１０１に格納される。
【０１０７】
なお、本発明では、加算画像・重み画像生成部１０８で生成された加算画像と重み画像を第２記憶部１０９に順次格納することで、ユーザが選択された参照画像の枚数を変更した場合に、第２記憶部１０９から加算画像と重み画像を読み出すだけで、参照画像の枚数の変更を反映することができる。
【０１０８】
一方、本発明に係る画像処理装置では、ユーザが支援画像表示部１１３に表示された支援画像を視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されていると判断された場合に（図２のステップＳ２２０のＹＥＳを参照）、再構成処理部１１５が、第２記憶部１０９に格納されている加算画像と重み画像を読み出し、読み出した加算画像と重み画像に対し、再構成処理を行うことにより（図２のステップＳ２３０を参照）、高解像度画像を生成する。
【０１０９】
再構成処理部１１５で行われる再構成処理は、既存の技術である例えばＭＡＰ法やカラーカーネル回帰といった再構成処理を用いる。
【０１１０】
最後に、高解像度画像出力部１１６が、再構成処理部１１５で生成された高解像度画像を出力する。これで、本発明に係る画像処理装置（画像処理装置１）での処理が終了する。
【０１１１】
上述した本発明に係る画像処理装置（画像処理装置１）の実施形態では、支援画像生成部１１２では、高解像度グリッド画像と簡易補間画像に対し、支援画像生成処理を施すことで支援画像を生成するようにしているが、本発明はこれに限定されることがなく、例えば、支援画像生成部１１２では、高解像度グリッド画像のみに対し、支援画像生成処理を施すことで支援画像を生成するようにして良く、また、支援画像生成部１１２では、簡易補間画像のみに対し、支援画像生成処理を施すことで支援画像を生成するようにして良い。
【０１１２】
また、支援画像生成部１１２で生成された支援画像は、支援画像生成処理が施された高解像度グリッド画像と簡易補間画像である場合に、支援画像表示部１１３が、２つの支援画像の何れか一つを表示するようにしても良い。
【０１１３】
本発明の画像処理装置１では、上述したような処理を行うことで、ユーザが超解像処理に最適な低解像度画像群を取得することを支援することが可能になり、つまり、本発明によれば、超解像処理に必要なサブピクセル単位での位置ずれを有する低解像度画像群が十分に得られているので、高画質な高解像度画像を生成することができる。
【０１１４】
図８は、本発明に係る画像処理装置の第２実施形態（以下、単に「本発明に係る画像処理装置２」、又は「画像処理装置２」とも言う。）を示すブロック構成図である。また、図９は、図８に示す本発明に係る画像処理装置２の処理流れを示すフロー図である。
【０１１５】
図８に示すように、画像処理装置２は、画像入力部１００と、第１記憶部１０１と、基準画像選択部１０２と、参照画像選択部１０３と、位置ずれ量算出部１０４と、変形画像生成部１０５と、画像情報選択部１０６、パラメータ設定部１０７と、加算画像・重み画像生成部１０８と、第２記憶部１０９と、高解像度グリッド画像生成部１１０と、支援画像生成部１１７と、支援画像表示部１１３と、外部Ｉ／Ｆ制御部１１４と、再構成処理部１１５と、高解像度画像出力部１１６とから構成される。また、画像処理装置２において、外部Ｉ／Ｆ制御部１１４が、画像入力部１００、基準画像選択部１０２、参照画像選択部１０３、及びパラメータ設定部１０７に対し、必要に応じて、それぞれ制御信号を送ることにより、画像入力部１００、基準画像選択部１０２、参照画像選択部１０３、及びパラメータ設定部１０７での処理を制御することができる。
【０１１６】
図１と図８から分かるように、画像処理装置２が画像処理装置１と異なるのは、支援画像生成部のみが異なっており、画像処理装置１における支援画像生成部１１２は変形画像生成部１０５と接続していないが、画像処理装置２における支援画像生成部１１７は変形画像生成部１０５と接続している。
【０１１７】
つまり、画像処理装置１と画像処理装置２の相違点は、画像処理装置１における支援画像生成部１１２で行われる支援画像生成処理（図２のステップＳ２００）と、画像処理装置２における支援画像生成部１１７で行われる支援画像生成処理（図９のステップＳ２０５）が異なることである。
【０１１８】
画像処理装置１と画像処理装置２は、支援画像生成部を除いてほかの処理部、つまり、画像入力部１００と、第１記憶部１０１と、基準画像選択部１０２と、参照画像選択部１０３と、位置ずれ量算出部１０４と、変形画像生成部１０５と、画像情報選択部１０６、パラメータ設定部１０７と、加算画像・重み画像生成部１０８と、第２記憶部１０９と、高解像度グリッド画像生成部１１０と、支援画像表示部１１３と、外部Ｉ／Ｆ制御部１１４と、再構成処理部１１５と、高解像度画像出力部１１６は全て同じで、同じ処理を行っているので、画像処理装置２についてそれらの処理部の説明を省略する。
【０１１９】
以下、画像処理装置２における支援画像生成部１１７について説明する。図１０は、本発明に係る画像処理装置の支援画像生成部の第２実施形態（支援画像生成部１１７）を示すブロック構成図である。
【０１２０】
図１０に示すように、支援画像生成部１１７が、簡易補間画像を生成する簡易補間画像生成部１１１と、画像のリサイズ処理（例えば、拡大処理）を行うリサイズ処理部３００と、画像の鮮鋭化処理を行う鮮鋭化処理部３０１と、画像の欠落画素に対し、強調処理を行う欠落画素強調処理部３０２と、画像における偽色が目立つように、彩度の強調処理を行う彩度強調処理部３０３と、画像のエッジ検出処理を行うエッジ検出部３０４と、複数枚の画像の平均化処理を行う平均化処理部３０５とから構成され、高解像度グリッド画像生成部１１０で生成された高解像度グリッド画像と、簡易補間画像と、変形画像生成部１０５で生成された複数の変形画像に対し、主にユーザの視認性を高めるために行われる支援画像生成処理（図９のステップＳ２０５を参照）を施すことにより、支援画像を生成する。
【０１２１】
支援画像生成部１１７で生成された支援画像は、支援画像生成処理が施された高解像度グリッド画像と簡易補間画像と、複数の変形画像に基づいて生成された複数のエッジ画像と平均化画像を意味する。そして、支援画像生成部１１７で生成された支援画像は、支援画像表示部１１３に表示される。
【０１２２】
図１０に示す支援画像生成部１１７の構成が、図６に示す支援画像生成部１１２の構成と異なるのは、支援画像生成部１１２にエッジ検出部３０４と平均化処理部３０５を備えていないが、支援画像生成部１１７にエッジ検出部３０４と平均化処理部３０５を備えており、また、変形画像生成部１０５がエッジ検出部３０４と平均化処理部３０５に接続している点である。
【０１２３】
支援画像生成部１１７における簡易補間画像生成部１１１、リサイズ処理部３００、鮮鋭化処理部３０１、欠落画素強調処理部３０２、及び彩度強調処理部３０３での処理は、支援画像生成部１１２における簡易補間画像生成部１１１、リサイズ処理部３００、鮮鋭化処理部３０１、欠落画素強調処理部３０２、及び彩度強調処理部３０３での処理と同じため、それら処理の説明は省略する。
【０１２４】
つまり、支援画像生成部１１７では、高解像度グリッド画像生成部１１０で生成された高解像度グリッド画像と、簡易補間画像に対し、支援画像生成部１１２で行われる支援画像生成処理と同様な処理を行うことにより、支援画像（即ち、支援画像生成処理が施された高解像度グリッド画像と簡易補間画像）を生成する。そして、支援画像生成部１１７で生成された支援画像（即ち、支援画像生成処理が施された高解像度グリッド画像と簡易補間画像）は、支援画像表示部１１３に表示される。
【０１２５】
図１１に変形画像生成部１０５で生成された変形画像の具体例を示す。図１１（Ａ）には基準画像選択部１０２で選択された基準画像を示している。また、図１１（Ｂ）は、図１１（Ａ）の基準画像に合致するように画像変形された参照画像（位置合わせに成功した変形画像）を示しており、図１１（Ｃ）は図１１（Ａ）の基準画像に合致するように画像変形された参照画像（位置合わせに失敗した変形画像）を示している。
【０１２６】
以下では、説明上の便宜のため、位置合わせに失敗した変形画像を位置合わせに失敗した参照画像とも言い、また、位置合わせに成功した変形画像を位置合わせに成功した参照画像とも言う。
【０１２７】
支援画像生成部１１７では、エッジ検出部３０４が、変形画像生成部１０５で生成された複数の変形画像（基準画像に合致するように画像変形された全ての参照画像）に対し、それぞれエッジ検出処理を行うことにより、複数のエッジ画像（変形画像のエッジ画像）を生成する。
【０１２８】
また、エッジ検出部３０４が、更に、基準画像に対し、エッジ検出処理を行うことにより、基準画像のエッジ画像を生成するようにして良い。つまり、エッジ検出部３０４は、基準画像及び変形画像に対して、基準画像のエッジ画像及び変形画像のエッジ画像を生成する、エッジ画像生成処理部とも言える。
【０１２９】
支援画像表示部１１３では、エッジ検出部３０４で生成された全てのエッジ画像をそれぞれ基準画像にオーバレイ表示する。支援画像表示部１１３において、このようなオーバレイ表示を行うことで、それぞれの変形画像（参照画像）が位置合わせに成功しているか否かの視認性が高まる。
【０１３０】
また、支援画像生成部１１７では、平均化処理部３０５が、変形画像生成部１０５で生成された複数の変形画像（基準画像に合致するように画像変形された全ての参照画像）を加算し平均化することにより、平均化画像（以下、平均画像とも言う）を生成する。平均化処理部３０５で生成された平均化画像は、支援画像表示部１１３に表示される。
【０１３１】
なお、平均化処理部３０５が、更に、基準画像及び複数の変形画像を加算し平均化することにより、平均画像を生成するようにして良い。つまり、平均化処理部３０５は、基準画像及び複数の変形画像に対して、平均画像を生成する、平均画像生成処理部とも言える。
【０１３２】
平均化処理部３０５で行われる平均化処理においても、複数の変形画像が位置合わせに成功していれば、それらの変形画像から得られた平均化画像に大きな変化が生じることはないため、支援画像表示部１１３に表示される平均化画像をユーザが視認することにより、それらの変形画像（参照画像）が位置合わせに成功しているか否かを容易に確認でき、位置合わせの成功と失敗の視認性が高まる。
【０１３３】
上述した支援画像生成部１１７の実施形態では、変形画像生成部１０５で生成された全ての変形画像に対し、エッジ検出部３０４で行われるエッジ検出処理と、平均化処理部３０５で行われる平均化処理を行うことにより、複数のエッジ画像と平均化画像を支援画像として生成するようにしているが、支援画像生成部１１７は、その実施形態に限定されることはなく、例えば、変形画像生成部１０５で生成された全ての変形画像に対し、エッジ検出部３０４で行われるエッジ検出処理のみを行うことにより、複数のエッジ画像を支援画像として生成するようにしても良く、また、変形画像生成部１０５で生成された全ての変形画像に対し、平均化処理部３０５で行われる平均化処理のみを行うことにより、平均化画像を支援画像として生成するようにしても良い。
【０１３４】
さらに、支援画像生成部１１７では、変形画像生成部１０５で生成された全ての変形画像に対し、何の処理も行わずに、全ての変形画像を支援画像としてそのまま支援画像表示部１１３に表示させるようにしても良い。
【０１３５】
画像処理装置２では、支援画像表示部１１３に表示された支援画像が支援画像生成処理を施された高解像度グリッド画像と簡易補間画像である場合に、ユーザがその支援画像を視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されていないと判断された場合に（図９のステップＳ２２５のＮＯを参照）、画像処理装置１（図２のステップＳ２２０のＮＯの場合）と同じ処理を行う。
【０１３６】
そして、画像処理装置２では、支援画像表示部１１３に表示された支援画像が支援画像生成処理を施された高解像度グリッド画像と簡易補間画像である場合に、ユーザがその支援画像を視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されていると判断された場合に（図９のステップＳ２２５のＹＥＳを参照）、画像処理装置１（図２のステップＳ２２０のＹＥＳの場合）と同じ処理を行う。
【０１３７】
また、位置合わせに成功した参照画像のみを、超解像処理に使用する参照画像として選択することが望ましいことから、画像処理装置２では、支援画像表示部１１３に表示された支援画像が、複数の変形画像に基づいて生成された複数のエッジ画像と平均化画像である場合に、ユーザがそれらの支援画像を視認することにより、全ての参照画像が位置合わせに成功したとユーザに判断された場合に（図９のステップＳ２２５のＹＥＳを参照）、再構成処理部１１５が、第２記憶部１０９に格納されている加算画像と重み画像を読み出し、読み出した加算画像と重み画像に対し、再構成処理を行うことにより（図２のステップＳ２３０を参照）、高解像度画像を生成する。
【０１３８】
一方、画像処理装置２では、支援画像表示部１１３に表示された支援画像が、複数の変形画像に基づいて生成された複数のエッジ画像と平均化画像である場合に、ユーザがそれらの支援画像を視認することにより、全ての参照画像が位置合わせに成功したとは言えない、つまり、複数の参照画像に位置合わせに失敗した参照画像が存在するとユーザに判断された場合に（図９のステップＳ２２５のＮＯを参照）、外部Ｉ／Ｆ制御部１１４を介して、図９のステップＳ１２０（参照画像選択部１０３）に戻って、複数の参照画像から位置合わせに成功したとユーザに判断された参照画像のみを参照画像として選択するように、参照画像選択処理が行われる。
【０１３９】
本発明の画像処理装置２では、上述したような処理を行うことで、ユーザが超解像処理に最適な低解像度画像群を取得することを支援することが可能になり、つまり、本発明によれば、超解像処理に必要なサブピクセル単位での位置ずれを有する低解像度画像群が十分に得られているので、高画質な高解像度画像を生成することができる。
【０１４０】
なお、本発明に係る画像処理装置を、例えば、電子撮像機器（例えば、単板方式の固体カラー撮像装置や三板方式の固体カラー撮像装置などのデジタル撮像装置）や画像システムに実装することができる。
【０１４１】
また、本発明に係る画像処理装置は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＧＰＵ（Graphics  Processing  Unit）やＦＰＧＡ（Field  Programmable  Gate  Array）などのハードウェアにより実装されることも勿論できる。
【符号の説明】
【０１４２】
画像入力部    １００
第１記憶部    １０１
基準画像選択部    １０２
参照画像選択部    １０３
位置ずれ量算出部    １０４
変形画像生成部    １０５
画像情報選択部    １０６
パラメータ設定部    １０７
加算画像・重み画像生成部    １０８
第２記憶部    １０９
高解像度グリッド画像生成部    １１０
簡易補間画像生成部    １１１
支援画像生成部    １１２，１１７
支援画像表示部    １１３
外部Ｉ／Ｆ制御部    １１４
再構成処理部    １１５
高解像度画像出力部    １１６
加算画像生成部    ２００
重み画像生成部    ２０１
リサイズ処理部    ３００
鮮鋭化処理部    ３０１
欠落画素強調処理部    ３０２
彩度強調処理部    ３０３
エッジ検出部    ３０４
平均化処理部    ３０５
【図１】
0005645052.tif 000005
【図２】
0005645052.tif 000006
【図３】
0005645052.tif 000007
【図４】
0005645052.tif 000008
【図５】
0005645052.tif 000009
【図６】
0005645052.tif 000010
【図８】
0005645052.tif 000011
【図９】
0005645052.tif 000012
【図１０】
0005645052.tif 000013
【図７】
0005645052.tif 000014
【図１１】
0005645052.tif 000015