(57)【要約】【課題】再構成型超解像処理と学習型超解像処理を組み合わせた処理により高解像度画像を生成する装置および方法を提供する。【解決手段】超解像処理の処理対象となる低解像度画像と、超解像処理の処理過程画像または初期画像である処理画像との差分画像情報を生成し、差分画像情報と処理画像との演算処理により処理画像の更新処理を行って高解像度の画像を生成する。差分画像を生成する高域推定部において、学習データを適用した学習型超解像処理を実行する。具体的には例えばアップサンプリング処理を学習型超解像処理として実行する。本構成により再構成型超解像処理の欠点を解消し高品質な高解像度画像を生成できる。【選択図】図１８
2011180798.tif 000002
【特許請求の範囲】
【請求項１】
超解像処理の処理対象画像として入力する低解像度画像と、超解像処理の処理過程画像または初期画像である処理画像との差分画像情報を生成する高域推定部と、
前記高域推定部の出力する差分画像情報と、前記処理画像との演算処理により前記処理画像の更新処理を行う演算部と、
を有する超解像処理部を有し、
前記高域推定部は、
前記差分画像情報の生成処理において、学習データを適用した学習型データ処理を実行する画像処理装置。
【請求項２】
前記高域推定部は、
高解像度画像からなる処理画像に対するダンウサンプリング処理によって前記低解像度画像と同じ解像度に変換したダウンサンプル処理画像のアップサンプリング処理において学習型超解像処理を実行する請求項１に記載の画像処理装置。
【請求項３】
前記高域推定部は、
前記超解像処理の処理対象画像として入力する低解像度画像のアップサンプリング処理において学習型超解像処理を実行する請求項１または２に記載の画像処理装置。
【請求項４】
前記高域推定部は、
低解像度画像と、該低解像度画像に基づいて生成される高解像度画像との局所画像領域の特徴量情報と、低解像度画像を高解像度画像に変換するための画像変換情報との対応データからなる学習データを適用して、学習型超解像処理としてのアップサンプリング処理を実行する請求項２または３に記載の画像処理装置。
【請求項５】
前記高域推定部は、
高解像度画像からなる処理画像に対するダンウサンプリング処理によって前記低解像度画像と同じ解像度に変換したダウンサンプル処理画像と、
前記超解像処理の処理対象画像として入力する低解像度画像との差分画像のアップサンプリング処理において学習型超解像処理を実行する請求項１に記載の画像処理装置。
【請求項６】
前記高域推定部は、
低解像度画像と、該低解像度画像に基づいて生成される高解像度画像との差分画像の局所画像領域の特徴量情報と、該差分画像を高解像度差分画像に変換するための画像変換情報との対応データからなる学習データを適用して、学習型超解像処理としてのアップサンプリング処理を実行する請求項５に記載の画像処理装置。
【請求項７】
前記超解像処理部は、
再構成型超解像手法に従って解像度変換処理を実行する構成を有し、該解像度変換処理におけるアップサンプリング処理において、学習データを適用した学習型超解像処理を実行する請求項１〜６いずれかに記載の画像処理装置。
【請求項８】
前記超解像処理部は、
再構成型超解像手法に従って、画像のボケと、動きと、撮像素子の解像度を考慮した解像度変換処理を実行する構成であり、
該解像度変換処理におけるアップサンプリング処理において、学習データを適用した学習型超解像処理を実行する請求項７に記載の画像処理装置。
【請求項９】
前記画像処理装置は、
前記演算部の演算結果に対する収束判定を実行する収束判定部を有し、
前記収束判定部は、予め規定した収束判定アルゴリズムに従った収束判定処理を実行し、収束判定に応じて結果の出力を行う請求項１〜８いずれかに記載の画像処理装置。
【請求項１０】
画像処理装置において実行する画像処理方法であり、
高域推定部が、超解像処理の処理対象画像として入力する低解像度画像と、超解像処理の処理過程画像または初期画像である処理画像との差分画像情報を生成する高域推定ステップと、
演算部が、前記高域推定ステップにおいて出力する差分画像情報と、前記処理画像との演算処理により前記処理画像の更新処理を行う演算ステップを有し、
前記高域推定ステップは、
前記差分画像情報の生成処理において、学習データを適用した学習型データ処理を実行する画像処理方法。
【請求項１１】
画像処理装置において画像処理を実行させるプログラムであり、
高域推定部に、超解像処理の処理対象画像として入力する低解像度画像と、超解像処理の処理過程画像または初期画像である処理画像との差分画像情報を生成させる高域推定ステップと、
演算部に、前記高域推定ステップにおいて出力する差分画像情報と、前記処理画像との演算処理により前記処理画像の更新処理を行わせる演算ステップを有し、
前記高域推定ステップにおいて、
前記差分画像情報の生成処理において、学習データを適用した学習型データ処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像の解像度を高める超解像処理を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
低解像度の画像から高解像度の画像を生成する手法として超解像処理が知られている。超解像処理は低解像度の画像から高解像度の画像を生成する処理である。
この超解像処理の手法には、例えば以下の手法がある。
（ａ）再構成型超解像手法
（ｂ）学習型超解像手法
【０００３】
（ａ）再構成型超解像手法は、低解像度の画像の撮影画像に基づいて、「レンズ、大気散乱によるボケ」、「被写体、カメラ全体の動き」、「撮像素子によるサンプリング」等の撮影条件を示すパラメータを導き出して、これらのパラメータを用いて理想的な高解像度の画像を推定する方法である。
なお、再構成型超解像手法について開示した従来技術としては、例えば、特許文献１（特開２００８−１４００１２号公報）がある。
【０００４】
この再構成型超解像手法の手順の概要は以下の通りである。
（１）ボケ、動き、サンプリング等を考慮した画像撮影モデルを数式で表現する。
（２）上記の数式モデルで表現した画像撮影モデルから、コスト算出式を求める。この際、ベイズ理論を用いて事前確立等の正則化項を追加する場合もある。
（３）コストを最小とする画像を求める。
この処理によって、高解像度画像を求める手法である。なお、具体的な処理については、発明の説明の前段において詳細何説明する。
この再構成型超解像手法によって得られる高解像度画像は入力画像に依存するものの、超解像効果(解像度復元効果)は高い。
【０００５】
一方、（ｂ）学習型超解像手法は、予め生成した学習データを利用した超解像処理を行うものである。学習データは、例えば低解像度画像から高画像度画像を生成する変換情報等によって構成される。学習データの生成処理は、例えばシミュレーションなどで作成した想定入力画像（低解像度画像）と、理想画像（高解像度画像）を比較して、低解像度画像から高画像度画像を生成する変換情報を作成する処理として行われる。
【０００６】
このような学習データを作成して、この学習データを利用して新たな入力画像としての低解像度画像を高解像度画像に変換する。
なお、学習型超解像手法について開示した従来技術としては、例えば、特許文献２（特許３３２１９１５号公報）がある。
この学習型超解像手法は、学習データを作成すれば、様々な入力画像に対して安定した出力結果としての高解像度画像を得ることができる。
【０００７】
しかし、（ａ）再構成型超解像手法は、一般に高い性能が期待できるものの、
「複数枚の低解像度画像の入力を必要とする」、
「入力画像の帯域等の制約が存在する」、
これらの制約があり、これらの制約条件を満足しない入力画像（低解像度画像）が得られない場合は、再構成性能が十分に発揮できず、十分な高解像度画像を生成できない場合があるという問題がある。
【０００８】
一方、（ｂ）学習型超解像手法は、入力枚数、入力画像の性質による制約は少なく安定しているが、最終的に得られる高解像度画像のピーク性能は再構成型超解像に及ばないという問題がある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−１４００１２号公報
【特許文献２】特許３３２１９１５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、上記問題点に鑑みてなされたものであり、再構成型超解像手法と学習型超解像手法の利点を生かした超解像手法を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の側面は、
超解像処理の処理対象画像として入力する低解像度画像と、超解像処理の処理過程画像または初期画像である処理画像との差分画像情報を生成する高域推定部と、
前記高域推定部の出力する差分画像情報と、前記処理画像との演算処理により前記処理画像の更新処理を行う演算部と、
を有する超解像処理部を有し、
前記高域推定部は、
前記差分画像情報の生成処理において、学習データを適用した学習型データ処理を実行する画像処理装置にある。
【００１２】
さらに、本発明の画像処理装置の一実施態様において、前記高域推定部は、高解像度画像からなる処理画像に対するダンウサンプリング処理によって前記低解像度画像と同じ解像度に変換したダウンサンプル処理画像のアップサンプリング処理において学習型超解像処理を実行する。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記高域推定部は、前記超解像処理の処理対象画像として入力する低解像度画像のアップサンプリング処理において学習型超解像処理を実行する。
【００１４】
さらに、本発明の画像処理装置の一実施態様において、前記高域推定部は、低解像度画像と、該低解像度画像に基づいて生成される高解像度画像との局所画像領域の特徴量情報と、低解像度画像を高解像度画像に変換するための画像変換情報との対応データからなる学習データを適用して、学習型超解像処理としてのアップサンプリング処理を実行する。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記高域推定部は、高解像度画像からなる処理画像に対するダンウサンプリング処理によって前記低解像度画像と同じ解像度に変換したダウンサンプル処理画像と、前記超解像処理の処理対象画像として入力する低解像度画像との差分画像のアップサンプリング処理において学習型超解像処理を実行する。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記高域推定部は、低解像度画像と、該低解像度画像に基づいて生成される高解像度画像との差分画像の局所画像領域の特徴量情報と、該差分画像を高解像度差分画像に変換するための画像変換情報との対応データからなる学習データを適用して、学習型超解像処理としてのアップサンプリング処理を実行する。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記超解像処理部は、再構成型超解像手法に従って解像度変換処理を実行する構成を有し、該解像度変換処理におけるアップサンプリング処理において、学習データを適用した学習型超解像処理を実行する。
【００１８】
さらに、本発明の画像処理装置の一実施態様において、前記超解像処理部は、再構成型超解像手法に従って、画像のボケと、動きと、撮像素子の解像度を考慮した解像度変換処理を実行する構成であり、該解像度変換処理におけるアップサンプリング処理において、学習データを適用した学習型超解像処理を実行する。
【００１９】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、前記演算部の演算結果に対する収束判定を実行する収束判定部を有し、前記収束判定部は、予め規定した収束判定アルゴリズムに従った収束判定処理を実行し、収束判定に応じて結果の出力を行う。
【００２０】
さらに、本発明の第２の側面は、
画像処理装置において実行する画像処理方法であり、
高域推定部が、超解像処理の処理対象画像として入力する低解像度画像と、超解像処理の処理過程画像または初期画像である処理画像との差分画像情報を生成する高域推定ステップと、
演算部が、前記高域推定ステップにおいて出力する差分画像情報と、前記処理画像との演算処理により前記処理画像の更新処理を行う演算ステップを有し、
前記高域推定ステップは、
前記差分画像情報の生成処理において、学習データを適用した学習型データ処理を実行する画像処理方法にある。
【００２１】
さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
高域推定部に、超解像処理の処理対象画像として入力する低解像度画像と、超解像処理の処理過程画像または初期画像である処理画像との差分画像情報を生成させる高域推定ステップと、
演算部に、前記高域推定ステップにおいて出力する差分画像情報と、前記処理画像との演算処理により前記処理画像の更新処理を行わせる演算ステップを有し、
前記高域推定ステップにおいて、
前記差分画像情報の生成処理において、学習データを適用した学習型データ処理を実行させるプログラムにある。
【００２２】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２３】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２４】
本発明の一実施例の構成によれば、再構成型超解像処理と学習型超解像処理を組み合わせた処理により高解像度画像を生成する装置および方法が提供される。本発明の一実施例によれば、超解像処理の処理対象となる低解像度画像と、超解像処理の処理過程画像または初期画像である処理画像との差分画像情報を生成し、差分画像情報と処理画像との演算処理により処理画像の更新処理を行って高解像度の画像を生成する。差分画像を生成する高域推定部において、学習データを適用した学習型超解像処理を実行する。具体的には例えばアップサンプリング処理を学習型超解像処理として実行する。本構成により再構成型超解像処理の欠点を解消し高品質な高解像度画像を生成できる。
【図面の簡単な説明】
【００２５】
【図１】カメラによる撮影処理によって得られる低解像度画像（ｇｋ）と理想的な高解像度画像である理想画像（ｆ）との関係について説明する図である。
【図２】画像処理に適用するパラメータの設定について説明する図である。
【図３】超解像処理を実行する画像処理装置の構成例について説明する図である。
【図４】超解像処理部１１３の構成と処理の詳細について説明する図である。
【図５】図４に示す超解像処理部１１３内に設定される複数の高域推定部１２１の個々の詳細構成と処理について説明する図である。
【図６】図４に示す超解像処理部１１３内に設定される画質制御部１２３の詳細構成と処理について説明する図である。
【図７】図４に示す超解像処理部１１３内に設定されるスケール計算部１２６の処理について説明する図である。
【図８】処理対象を動画像とした再構成型超解像処理を行う画像処理装置の構成例を示す図である。
【図９】図８に示す動画初期画像生成部２０１の詳細構成と処理について説明する図である。
【図１０】図８に示す再構成型超解像処理を行う画像処理装置２００中の動画超解像処理部２０２の構成と処理について説明する図である。
【図１１】動画超解像処理部２０２内の動画高域推定部２１１の詳細構成と処理について説明する図である。
【図１２】学習型超解像手法を実行する画像処理装置の構成と処理の概要について説明する図である。
【図１３】学習処理を実行して学習データを生成する学習処理実行装置について説明する図である。
【図１４】図１３に示す画像特徴量抽出部３２３の実行する画像特徴量抽出処理の詳細について説明する図である。
【図１５】学習データを適用した学習型超解像処理を実行する学習型超解像処理実行装置の構成と処理例について説明する図である。
【図１６】本発明の一実施例に係る画像処理装置の構成例について説明する図である。
【図１７】図１６に示す画像処理装置５００内の超解像処理部５０３の詳細構成を示す図である。
【図１８】図１７に示す超解像処理部５０３内の高域推定部５２１の詳細構成を示す図である。
【図１９】図１７に示す超解像処理部５０３内のスケール計算部５２６、および周囲演算部の入出力データの詳細について説明する図である。
【図２０】本発明の画像処理装置の第２実施例における高域推定部５２１の詳細構成を示す図である。
【図２１】本発明の第３実施例の画像処理装置の構成例を示す図であるる
【図２２】図２１に示す動画初期画像生成部７０１の詳細構成と処理について説明する図である。
【図２３】図２１に示す画像処理装置７００中の動画超解像処理部７０２の構成と処理について説明する図である。
【図２４】図２１に示す動画超解像処理部７０２内の動画高域推定部７１１の詳細構成と処理について説明する図である。
【図２５】本発明の第４実施例に係る画像処理装置の動画高域推定部の詳細構成と処理について説明する図である。
【図２６】本発明の画像処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．説明に用いる語句の定義についての説明
２．超解像手法の概要について
（２ａ）再構成型超解像手法の概要
（２ｂ）学習型超解像手法の概要
（２ｃ）各超解像手法の問題点
３．本発明に従った超解像手法の実施例について
（３ａ）実施例１
（３ｂ）実施例２
（３ｃ）実施例３
４．画像処理装置のハードウェア構成例について
【００２７】
［１．説明に用いる語句の定義についての説明］
まず、本発明の説明の前に、以下の説明に用いる語句の定義について説明する。
【００２８】
（入力画像）
入力画像は、実際に撮像素子等で撮影された画像であり、超解像処理を実行する画像処理装置へ入力される画像である。
この入力画像は、例えば撮影条件等による劣化、伝送、記録時の劣化等が生じている可能性のある画像であり、一般的には低解像度画像である。
（出力画像）
出力画像は、上記の入力画像に対して画像処理装置において超解像処理の施された結果として得られる画像である。なお、出力画像は、入力画像を任意倍率に拡大、縮小した高解像度画像として出力可能である。
（理想画像）
理想画像は、前述の入力画像の撮影による画質劣化、制約が存在しない場合に得られる理想的な画像であり、超解像処理の処理結果として取得することを目的とする高解像度の目標画像である。
【００２９】
（再構成型超解像手法）
再構成型超解像手法は、超解像処理の従来手法の一例である。「レンズ、大気散乱によるボケ」、「被写体、カメラ全体の動き」、「撮像素子によるサンプリング」等の撮影条件から理想的な画像としての高解像度画像を推定する方法である。
再構成型超解像処理は以下の手順により構成される。
（ａ）ボケ、動き、サンプリング等を考慮した画像撮影モデルを数式で表現する。
（ｂ）画像撮影モデルより、コスト式を求める。この際、ベイズ理論を用いて事前確立等の正則化項を追加する場合もある。
（ｃ）コストを最小となる画像を求める。
結果は入力画像に依存するものの、超解像効果(解像度復元効果)は高い。
【００３０】
（学習型超解像手法）
学習型超解像手法は、シミュレーションなどで作成した想定入力画像（低解像度画像）と、理想画像（高解像度画像）を比較して、低解像度画像から高画像度画像を生成するための学習データを作成して、この学習データを利用して新たな入力画像としての低解像度画像を高解像度画像に変換する手法である。
【００３１】
［２．超解像手法の概要について］
次に、低解像度画像を高解像度画像に変換する超解像手法の概要について以下の２つの手法について、順次説明する。
（２ａ）再構成型超解像手法の概要
（２ｂ）学習型超解像手法の概要
【００３２】
（２ａ）再構成型超解像手法の概要
まず、再構成型超解像手法の概要について説明する。
再構成型超解像手法は、例えば位置ずれのある複数の低解像度画像を用いて、１つの高解像度画像を生成する方法であり、ＭＬ（Ｍａｘｉｍｕｍ−Ｌｉｋｅｌｉｈｏｏｄ）法やＭＡＰ（Ｍａｘｉｍｕｍ  Ａ  Ｐｏｓｔｅｒｉｏｒ）法が知られている。
以下、一般的なＭＡＰ法の概要について説明する。
【００３３】
ここでは、ｎ枚の低解像度画像を入力して、高解像画像を生成する場合について説明する。
まず、図１を参照して、カメラによる撮影処理によって得られる低解像度画像（ｇｋ）と理想的な高解像度画像である理想画像（ｆ）との関係について説明する。
理想画像（ｆ）１０は、図１に示すようにある被写体を撮影した実環境に対応する画素値を持つ画像であると言える。
カメラで撮影して得られる画像を撮影画像としての低解像度画像（ｇｋ）２０とする。なお、低解像度画像（ｇｋ）２０が超解像処理を実行する画像処理装置に対する入力画像となる。
【００３４】
超解像処理の実行対象であり撮影画像である低解像度画像（ｇｋ）２０は、様々な要因で理想画像（ｆ）１０の持つ画像情報の一部が失われた画像であると言える。
主な画像情報の消失原因に、図１に示す以下の要因がある。
動き（ｉｍａｇｅ  ｗａｒｐｉｎｇ）１１（＝Ｗｋ）、
ボケ（ｂｌｕｒ）１２（＝Ｈ）、
カメラ解像度（ｃａｍｅｒａ  ｒｅｓｏｌｕｔｉｏｎ  ｄｅｃｉｍａｔｉｏｎ）１３（＝Ｄ）、
ノイズ（ｎｏｉｓｅ）１４（＝ｎｋ）、
【００３５】
動き（Ｗｋ）１１は、被写体自身の動きやカメラの動きである。
ボケ（Ｈ）１２は、大気による散乱、カメラ光学系の周波数劣化等によるボケである。
カメラ解像度（Ｄ）１３は、カメラの撮像素子の解像度（画素数）によって規定されるサンプリングデータの制限である。
ノイズ（ｎｋ）１４は、その他のノイズ、例えば信号処理等において発生する画質劣化等である。
【００３６】
これらの様々な要因によって、カメラによって撮影された画像は、低解像度画像（ｇｋ）２０となる。
なお、ｋは、カメラによる連続撮影画像のｋ枚目の画像であることを示している。
ボケ（Ｈ）１２、カメラ解像度（Ｄ）１３は、ｋ枚目の画像の撮影タイミングに応じて変化するパラメータではなく、動き（Ｗｋ）１１とノイズ（ｎｋ）１４は、撮影タイミングに応じて変化するパラメータとしている。
【００３７】
このように、撮影画像である低解像度画像（ｇｋ）２０は、様々な要因で理想画像（ｆ）１０の持つ画像情報の一部が失われた画像データとなる。この低解像度画像（ｇｋ）２０と理想画像（ｆ）１０との対応関係を数式で示すと以下のように表現することができる。
ｇｋ＝ＤＨＷｋｆ＋ｎｋ    ・・・（数式１）
【００３８】
上記式は、超解像処理の実行対象となる低解像度画像（ｇｋ）２０が、理想画像（ｆ）１０に対して、動き（Ｗｋ）、ボケ（Ｈ）、カメラ解像度（Ｄ）によるサンプリングによつて劣化し、さらに、ノイズ（ｎｋ）が加算されて生成されることを示している。
【００３９】
なお、入力画像（ｇｋ）、理想画像（ｆ）を示すデータは、各画像を構成する画素値を表現するデータであればよく、その表現態様としては様々な設定が可能となる。
例えば、入力画像（ｇｋ）、理想画像（ｆ）を示すデータは、図２に示すように、縦一列の画素値のベクトルとして表現することができる。
入力画像（ｇｋ）は要素数Ｌの縦ベクトル、
理想画像（ｆ）は要素数Ｊの縦ベクトルである。
要素数は縦一列の画素数に対応する。
【００４０】
その他、各パラメータは以下の構成である。
ｎ：入力画像（低解像度）画像の枚数
ｆ：理想画像、縦ベクトル（要素数Ｊ）
ｇｋ：ｋ枚目の低解像度画像、縦ベクトル（要素数Ｌ）
ｎｋ：ｎ枚目の画像に重畳しているノイズ（要素数Ｌ）
ｗｋ：ｋ枚目の動き（ｗａｒｐｉｎｇ）を行う行列（ＪｘＪ）
Ｈ：レンズによる高域成分の劣化、光学散乱を表現したボケフィルタ行列（ＪｘＪ）
Ｄ：撮像素子によるサンプリング（ｓａｍｐｌｉｎｇ）を示す行列（ＪｘＬ）
【００４１】
上記式（数式１）において、動き（Ｗｋ）、ボケ（Ｈ）、カメラ解像度（Ｄ）が取得可能なパラメータ、すなわち既知であるとする。
この場合、高解像度画像である理想画像（ｆ）の算出処理は、複数（ｎ）の低解像度画像（ｇ１）〜（ｇｎ）を用いて、下記式に従って最も確率の高くなる画像（ｆ）を算出する処理であると考えることができる。
【００４２】
【数１】
2011180798.tif 000003
・・・（数式２）
【００４３】
上記式をベイズの定理を用いて変形すると、以下のように変形できる。
【数２】
2011180798.tif 000004
・・・（数式３）
【００４４】
ここで、複数（ｎ）の低解像度画像（ｇ１）〜（ｇｎ）は撮影画像であり、既知の画像である。従って、上記式（数式３）の分母Ｐｒ（ｇ１，ｇ２，・・・ｇｎ）は定数となる。従って、分子のみを用いて以下のように示すことができる。
Ｐｒ（ｆ｜ｇ１，ｇ２，・・・ｇｎ）＝Ｐｒ（ｇ１，ｇ２，・・・ｇｎ｜ｆ）・Ｐｒ（ｆ）
・・・（数式４）
【００４５】
さらに、上記式（数式４）の両辺のｌｏｇをとることにより、以下の式（数式５）に変形できる。
ｌｏｇ（Ｐｒ（ｆ｜ｇ１，ｇ２，・・・ｇｎ））＝ｌｏｇ（Ｐｒ（ｇ１，ｇ２，・・・ｇｎ｜ｆ））＋ｌｏｇ（Ｐｒ（ｆ））
・・・（数式５）
【００４６】
この一連の変形により、当初の式（数式２）の問題は、以下のように示すことができる。
【００４７】
【数３】
2011180798.tif 000005
・・・（数式６）
【００４８】
一方、ｋ毎目の撮影画像ｇｋのノイズｎｋは、前述の式（数式１）に従って、以下のように示すことができる。
ｎｋ＝ｇｋ−ＤＨＷｋｆ    ・・・（数式７）
【００４９】
ここでノイズが分散σ２のガウス分布からなると仮定すると、前述の式（数式６）に含まれる、
Ｐｒ（ｇ１，ｇ２，・・・ｇｎ｜ｆ）
は、下式（数式８）によって表現できる。
【００５０】
【数４】
2011180798.tif 000006
・・・（数式８）
【００５１】
また、撮影画像として入力される低解像度画像（ｇ１）〜（ｇｎ）は平坦な画像であると仮定し、画像の事前確率を以下の式（数式９）のように定義する。なお、Ｌは、ラプラシアンオペレータである。
【００５２】
【数５】
2011180798.tif 000007
・・・（数式９）
【００５３】
これらを代入することで、当初の問題、すなわち理想画像（ｆ）の算出問題は、以下の式（数式１０）においてコスト、すなわちＥ（ｆ）を最小とする（ｆ）を求める処理として定義できる。
【００５４】
【数６】
2011180798.tif 000008
・・・（数式１０）
【００５５】
上記コスト計算式（数式１０）において、コストＥ（ｆ）を最小とする（ｆ）は、勾配法を用いて求めることができる。
ｆ０を任意の初期値、
ｆｍをｍ回の画像処理（超解像化処理）の繰り返し処理（ｉｔｅｒａｔｉｏｎ）後の画像、
とすると、以下の超解像収束式（数式１１）が定義できる。
【００５６】
【数７】
2011180798.tif 000009
・・・（数式１１）
【００５７】
上記超解像収束式（数式１１）において、αは画像処理（超解像処理）における任意のユーザ設定パラメータである。Ｔは転置行列を示す。
上記関係式（数式１１）に従って、勾配法によりコストＥ（ｆ）を最小とする理想画像（ｆ）、すなわち高解像度画像を求めることができる。
【００５８】
上記超解像収束式（数式１１）に従って、勾配法によりコストＥ（ｆ）を最小とする理想画像（ｆ）（＝高解像度画像）を求めるための画像処理、すなわち超解像処理を実行する画像処理装置１１０の構成例を図３に示す。
【００５９】
図３に示す画像処理装置１１０は、初期画像生成部１１１、スイッチ１１２、超解像処理部１１３、収束判定部１１４を有する。
画像処理装置１１０は、複数枚（ｎ枚）の低解像度画像ｇ１〜ｇｎを入力し、高解像度画像ｆｍを一枚出力する。
図３に示すｇ１，ｇ２，・・・ｇｎは、ｎ枚の低解像度入力画像を示す。
【００６０】
初期画像生成部１１１は、超解像処理結果の初期値を設定する。初期値は任意の値で良いが、この実施例では、ｇ１を入力し、ｇ１を拡大した画像を出力する例とする。
スイッチ１１２は、初回実行時のみ初期画像生成部１１３の出力側に倒れ、それ以外は、前回の収束判定部１１４の出力を超解像処理部１１３へ入力するように動作する。
【００６１】
超解像処理部１１３は、ｎ枚の低解像度画像ｇ１，ｇ２，ｇ３，・・・ｇｎ、スイッチ１１２からの画像を入力とし、結果を収束判定部１１４へ出力する。超解像処理部１１３の詳細は後述する。
【００６２】
収束判定部１１４では、超解像処理部１１３の出力を入力とし、十分な収束が行われたかどうかの判定を行う。超解像処理部１１３の結果から十分な収束が行われたと判断した場合、処理結果を外部に出力し、処理を停止する。処理が不十分だと判断した場合、スイッチ１１２を経由し超解像処理部１１３へ入力し、再度の演算を実施する。収束判定部１１４は、例えば、最新の処理結果と前回の処理結果との差分を抽出し、差分が予め規定した値以下となった場合に収束したと判定する。あるいは、予め規定した処理回数に達した場合に収束したと判定し、処理結果を出力する。
【００６３】
図４を参照して超解像処理部１１３の構成と処理の詳細について説明する。図４に示すように、超解像処理部１１３は、複数の高域推定部１２１の他、画質制御部１２３、スケール計算部１２６、さらに加算器１２２，１２５，１２８、乗算器１２４，１２７等の演算部を有する。
【００６４】
超解像処理部１１３は、図３に示すスイッチ１１２からの入力、複数（ｎ）の低解像度画像ｇ１，ｇ２，・・・，ｇｎを入力とし、処理結果を収束判定部１１４へ出力する。また、画像調整パラメータとしてユーザ設定値αを入力する。
【００６５】
高域推定部１２１は、スイッチ１１２からの入力である再構成途中結果の画像及び低解像度画像ｇ１，ｇ２，・・・，ｇｎのいずれかを入力とし、加算器１２２へ処理結果を出力する。高域推定部１２１では、画像の高域を復元するための、補正値の計算を行う。高域推定部１２１の処理の詳細については後述する。
【００６６】
加算器１２２は、各高域推定部１２１の結果を加算し、加算器１２５へ出力する。
画質制御部１２３では、画像の事前確立モデルに基づいた理想的な画像とするための、画素値の制御値を計算する。出力は、乗算器１２４へ入力される。
乗算器１２４では、画質制御部１２３の出力をユーザ設定値αで乗算する。ユーザ設定値αの値により、最終的な画像の画質がコントロールされる。なお、図に示す構成では、画質のコントロールが行えるようにユーザ設定値としたが、固定値を用いても問題ない。
【００６７】
加算器１２５では、加算器１２２，乗算器１２４の出力を合算し、スケール計算部１２６，及び乗算器１２７へ計算結果を出力する。スケール計算部１２６では、スイッチ１１２からの途中演算結果、加算器１２５からの画素値制御信号を入力とし、最終的な制御値へのスケール値を決定する。スケール計算部１２６の結果は乗算器１２７に出力される。乗算器１２７では、加算器１２５の制御値をスケール計算部１２６の出力値で乗算し、加算器１２８へ出力する。加算器１２８では、スイッチ１１２からの途中結果より、乗算器１２７の結果を減算し、結果を収束判定部１１４へ出力する。
【００６８】
図４に示す超解像処理部１１３内に設定される複数の高域推定部１２１の個々の詳細構成と処理について図５を参照して説明する。
高域推定部１２１では、先に説明した超解像収束式（数式１１）中、図５（１）に示す下線部分に相当する処理を行う。
【００６９】
動き検出部１３０では、スイッチ１１２からの高解像度画像、及び低解像度画像ｇｋを受け取り両画像間の動きの大きさを検出する。具体的には動きベクトルを計算する。
なお、その前処理として、両画像間では動きが異なるため、低解像度画像ｇｋについては、例えばアップサンプリングフィルタによって構成される解像度変換部１３８でアップサンプリング処理を行い生成予定の高解像度画像に解像度を併せる処理を行う。
【００７０】
動き補正部（ＭＣ）１３１では、スイッチ１１２から高解像度画像、動き検出部１３０からの動きベクトルを入力し、入力された高解像度画像の変形を行う。図５（１）に示す先に説明した超解像収束式（数式１１）中の動き（Ｗｋ）の演算処理に相当する。
【００７１】
空間フィルタ１３２では、空間解像度の劣化をシミュレーションする処理を行う。ここでは、あらかじめ測定しておいた点広がり関数（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）をフィルタとして画像へ畳み込みを行う。図５（１）に示す先に説明した超解像収束式（数式１１）中のボケ（Ｈ）の演算処理に相当する。
【００７２】
ダウンサンプリング処理部１３３では、高解像度画像を入力画像と同じ解像度までダウンサンプリング処理を実行する。図５（１）に示す先に説明した超解像収束式（数式１１）中のカメラ解像度（Ｄ）の演算処理に相当する。
【００７３】
その後、差分器１３４では、ダウンサンプリング処理部１３３、低解像度画像ｇｋの画素毎の差分値を計算する。
差分値は、アップサンプリング処理部１３５でアップサンプル処理が実行される。この処理は、図５（１）に示す先に説明した超解像収束式（数式１１）中のカメラ解像度（Ｄ）の転置行列（ＤＴ）の演算処理に相当し、０次ホールドでのアップサンプル処理となる。
【００７４】
逆空間フィルタ１３６では、図５（１）に示す先に説明した超解像収束式（数式１１）中のボケ（Ｈ）の転置行列（ＨＴ）の演算処理に相当する処理を行う。動作としては、空間フィルタ１３２で用いた点広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）との相関の計算に相当する。
逆動き補正部１３７では、動きの逆補正を行う。動き補正部１３１と相殺される動きを差分値に対して適用する。
【００７５】
次に、図４に示す超解像処理部１１３内に設定される画質制御部１２３の詳細構成と処理について図６を参照して説明する。
画質制御部１２３は、図６に示すようにラプラシアン変換部１４１によって構成される。
【００７６】
図６（１）に示す先に説明した超解像収束式（数式１１）中の下線部の演算、すなわち、
ＬＴＬｆｍ
この演算処理に相当する処理を実行する。
図３に示すスイッチ１１２から入力された高解像度画像（ｆｍ）に対して、ラプラシアン変換部１４１においてラプラシアンオペレータ（Ｌ）を２回適用して、図４に示す乗算器１２４へ出力する。なお、Ｌ＝ＬＴであるので、ラプラシアンオペレータ（Ｌ）を２回適用する処理もによって、
ＬＴＬｆｍ
この演算処理が行われることになる。
【００７７】
次に、図４に示す超解像処理部１１３内に設定されるスケール計算部１２６の処理について図７を参照して説明する。
スケール計算部１２６では、最急降下法における画像収束演算での勾配ベクトルに対するスケール（係数β）を決定する。すなわち、図７（１）に示す先に説明した超解像収束式（数式１１）中の係数βを決定する。係数βは、図７（１）に示す先に説明した超解像収束式（数式１１）中の勾配ベクトル（Ｖａ）に対する乗算係数である。
【００７８】
スケール計算部１２６は、図４に示す加算器１２５から勾配ベクトル（図７（１）に示す先に説明した超解像収束式（数式１１）中の（ａ）勾配ベクトル（Ｖａ））を入力し、スイッチ１１２を介して収束中画像（図７（１）に示す先に説明した超解像収束式（数式１１）中の（ｂ）収束中画像（ｆｍ））を受け取る。
スケール計算部１２６は、これらの入力に基づいて、図７（２）に示す先に式（数式１０）として説明したコスト計算式で示されるコスト：Ｅ（ｆｍ＋１）を最小とするβを求める。
この係数βの算出処理としては、一般的には、２分探索等の手法を用い、最小となるβを計算する。なお、計算コストを削減したい場合には、入力によらず、定数を出力する構成でも良い。
【００７９】
スケール計算部１２６の結果（β）は乗算器１２７に出力される。乗算器１２７では、加算器１２５の出力として得られる勾配ベクトル（Ｖａ）とスケール計算部１２６の出力値（β）を乗算し、β（Ｖａ）を加算器１２８へ出力する。加算器１２８では、スイッチ１１２からの超解像処理の途中結果として入力するｍ回の超解像処理結果としての超解像処理画像ｆｍから、乗算器１２７からの入力であるβ（Ｖａ）を減算する処理を行い、（ｍ＋１）回目の超解像処理結果ｆｍ＋１を算出する。
すなわち、
ｆｍ＋１＝ｆｍ−β（Ｖａ）
上記式に基づいて、（ｍ＋１）回目の超解像処理結果ｆｍ＋１を算出する。この式は、図７（１）に示す先に説明した超解像収束式（数式１１）に対応する。
【００８０】
超解像処理部１１３は、この（ｍ＋１）回目の超解像処理結果、すなわち、
ｆｍ＋１＝ｆｍ−β（Ｖａ）
上記処理結果を収束判定部１１４に出力する。
収束判定部１１４は、超解像処理部１１３から、（ｍ＋１）回目の超解像処理結果、すなわち、
ｆｍ＋１＝ｆｍ−β（Ｖａ）
を入力し、この入力に基づいて十分な収束が行われたかどうかの判定を行う。超解像処理部１１３の結果から十分な収束が行われたと判断した場合、処理結果を外部に出力し、処理を停止する。処理が不十分だと判断した場合、スイッチ１１２を経由し超解像処理部１１３へ入力し、再度の演算を実施する。収束判定部１１４は、例えば、最新の処理結果と前回の処理結果との差分を抽出し、差分が予め規定した値以下となった場合に収束したと判定する。あるいは、予め規定した処理回数に達した場合に収束したと判定し、処理結果を出力する。
【００８１】
次に、図８以下を参照して処理対象を動画像に特定した場合の再構成型超解像処理を行う画像処理装置の構成と処理について説明する。なお、この処理対象を動画像とした再構成型超解像処理を行う画像処理装置については本出願人と同一出願人の先の特許出願である特開２００８−１４００１２号公報にも記載がある。
【００８２】
図８に、処理対象を動画像とした再構成型超解像処理を行う画像処理装置２００の構成例を示す。
図８に示すように、画像処理装置２００は、動画初期画像生成部２０１、動画超解像処理部２０２、画像バッファ２０３を有する。
【００８３】
動画像に対する処理においては、
ｇｔ：時刻ｔにおける低解像度動画像の１フレーム
ｆｔ：時刻ｔにおける高解像度動画像の１フレーム
上記のように定義する。
このように、低解像度画像ｇｔは、時刻ｔにおける低解像度動画像の１フレームであり、高解像度画像ｆｔは、低解像度画像ｇｔに対して超解像処理処理を施した結果として得られる高解像度画像とする。
【００８４】
図８に示す再構成型超解像処理を行う画像処理装置２００において、低解像度画像ｇｔは、動画初期画像生成部２０１及び、動画超解像処理部２０２へ入力される。
動画初期画像生成部２０１では、前フレームの動画超解像処理結果（ｆｔ−１）及び（ｇｔ）を入力とし、動画超解像処理部２０２へ生成した初期画像を出力する。動画初期画像生成部２０１の詳細に関しては、後述する。
【００８５】
動画超解像処理部２０２では入力された初期画像、低解像度画像（ｇｔ）を適用して高解像度画像（ｆｔ）を生成して出力する。動画超解像処理部２０２の詳細に関しては、後述する。
動画超解像処理部２０２から出力された高解像度画像は、外部へ出力されるのと同時に画像バッファ２０３へも出力され、次フレームの超解像処理に利用される。
【００８６】
次に、図９を参照して動画初期画像生成部２０１の詳細構成と処理について説明する。動画初期画像生成部２０１は、前フレームの動画超解像処理結果（ｆｔ−１）及び（ｇｔ）を入力とし、動画超解像処理部２０２へ生成した初期画像を出力する。
【００８７】
まず、低解像度画像ｇｔが例えばアップサンプリングフィルタによって構成される解像度変換部２０６でアップサンプリング処理を行い生成予定の高解像度画像に解像度を併せる処理を行う。
動き検出部２０５では、前フレーム高解像度画像ｆｔ−１、アップサンプリングした低解像度画像ｇｔ間の動きの大きさを検出する。具体的には動きベクトルを計算する。
【００８８】
動き補正部（ＭＣ）２０７では、動き検出部２０５で検出された動きベクトルを利用して動き補正部（ＭＣ）２０７で高解像度画像ｆｔ−１に対する動き補償処理を行う。これにより高解像度画像ｆｔ−１に動き補償処理が施され、アップサンプリングした低解像度画像ｇｔと被写体の位置が同じに設定された動き補償画像が生成される。
【００８９】
ＭＣ未適用領域検出部２０８では、動き補正（ＭＣ）処理により生成された高解像度画像、及びアップサンプルした低解像度画像を比較して、動き補正（ＭＣ）がうまく適用できていない領域を検出する。画素単位にＭＣの適用の可否情報α［０：１］を設定して出力する。
【００９０】
ブレンド処理部２０９は、
動き補正部（ＭＣ）２０７の生成した高解像度画像ｆｔ−１に対する動き補償結果画像、
解像度変換部２０６で低解像度画像ｇｔに対してアップサンプリングされたアップサンプル画像、
ＭＣ未適用領域検出部２０８で検出されたＭＣ未適用領域検出情報、
これらを入力する。
【００９１】
ブレンド処理部２０９は、これらの入力情報を利用して、以下の式に基づいてブレンド結果としての動画超解像初期画像を出力する。
動画超解像初期画像（ブレンド結果）＝（１−α）（アップサンプル画像）+α（動き補償結果画像）
【００９２】
次に、図８に示す再構成型超解像処理を行う画像処理装置２００中の動画超解像処理部２０２の構成と処理について図１０を参照して説明する。
動画超解像処理部２０２のブロック図を図１０に示す。動画超解像処理部２０２は、高域推定部が１つの動画高域推定部２１１として構成されている点を除き、先に、図４を参照して説明した静止画に対する超解像処理を行う超解像処理部１１３と同様の構成を有する。
【００９３】
図１０に示すように、動画超解像処理部２０２は、動画高域推定部２１１の他、画質制御部２１２、スケール計算部２１５、さらに加算器２１４，２１７、乗算器２１３，２１６等の演算部を有する。
【００９４】
動画超解像処理部２０２は、図８に示す動画初期画像生成部２０１から、前述したブレンド結果としての動画超解像初期画像を入力する。すなわち、
動画超解像初期画像（ブレンド結果）＝（１−α）（アップサンプル画像）+α（動き補償結果画像）
上記ブレンド結果を入力する。
さらに、低解像度画像ｇｔ、画像調整パラメータとしてユーザ設定値αを入力し、処理結果としての高解像度画像（ｆｔ）を生成して出力する。
【００９５】
動画超解像処理部２０２内の動画高域推定部２１１の詳細構成と処理について図１１を参照して説明する。動画高域推定部２１１は、先に図５を参照して説明した静止画対応の高域推定部１２１と同様、画像の高域を復元するための補正値の計算を行う。
動画高域推定部２１１は、先に図５を参照して説明した静止画対応の高域推定部１２１と異なり、動き検出部、動き補正部、逆動き補正部が存在しないが、静止画対応の高域推定部１２１と同様、画像の高域を復元するための補正値の計算を行う。
【００９６】
動画高域推定部２１１は、動画初期画像生成部２０１の生成した前述したブレンド結果としての動画超解像初期画像と、低解像度画像（ｇｔ）を入力し、加算器２１４へ処理結果を出力する。
【００９７】
図１１に示す空間フィルタ２１１では、動画初期画像生成部２０１の生成した前述したブレンド結果としての動画超解像初期画像を入力して空間解像度の劣化をシミュレーションする処理を行う。ここでは、あらかじめ測定しておいた点広がり関数（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）をフィルタとして画像へ畳み込みを行う。先に説明した超解像収束式（数式１１）中のボケ（Ｈ）の演算処理（図５（１）参照）に相当する。
【００９８】
ダウンサンプリング処理部２２２では、高解像度画像を入力画像と同じ解像度までダウンサンプリング処理を実行する。先に説明した超解像収束式（数式１１）中のカメラ解像度（Ｄ）の演算処理（図５（１）参照）に相当する。
【００９９】
その後、差分器２２３では、ダウンサンプリング処理部２２２、低解像度画像ｇｔの画素毎の差分値を計算する。
差分値は、アップサンプリング処理部２２４でアップサンプル処理が実行される。この処理は、先に説明した超解像収束式（数式１１）中のカメラ解像度（Ｄ）の転置行列（ＤＴ）の演算処理（図５（１）参照）に相当し、０次ホールドでのアップサンプル処理となる。
【０１００】
逆空間フィルタ２２５では、先に説明した超解像収束式（数式１１）中のボケ（Ｈ）の転置行列（ＨＴ）の演算処理（図５（１）参照）に相当する処理を行う。動作としては、空間フィルタ２２１で用いた点広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）との相関の計算に相当する。逆空間フィルタ２２５の出力は加算器２１４へ出力される。
【０１０１】
図１０に示す動画超解像処理部２０２のその他の構成部、すなわち画質制御部２１２、スケール計算部２１５は、静止画対応の超解像処理部１１３の画質制御部１２３（図６参照）、スケール計算部１２６（図７参照）と同様の処理を行う。
【０１０２】
すなわち、画質制御部２１２は、先に説明した図６に示すようにラプラシアン変換部１４１によって構成され、図６（１）に示す先に説明した超解像収束式（数式１１）中の下線部の演算、すなわち、
ＬＴＬｆｍ
この演算処理に相当する処理を実行する。
動画初期画像生成部２０１の生成した前述したブレンド結果としての動画超解像初期画像を入力して動画超解像初期画像に対して、ラプラシアン変換部においてラプラシアンオペレータ（Ｌ）を２回適用して、図１０に示す乗算器２１３へ出力する。
【０１０３】
スケール計算部２１５では、最急降下法における画像収束演算での勾配ベクトルに対するスケールを決定する。すなわち、先に図７（１）に示す先に説明した超解像収束式（数式１１）中の係数βを決定する。
【０１０４】
スケール計算部２１５は、図１０に示す加算器２１４から勾配ベクトル（図７（１）に示す先に説明した超解像収束式（数式１１）中の（ａ）勾配ベクトル）を入力し、さらに動画初期画像生成部２０１の生成した前述したブレンド結果としての動画超解像初期画像を入力する。
スケール計算部２１５は、これらの入力に基づいて、図７（２）に示す先に式（数式１０）として説明したコスト計算式で示されるコスト：Ｅ（ｆｍ＋１）を最小とするβを求める。
このβの算出処理としては、一般的には、２分探索等の手法を用い、最小となるβを計算する。なお、計算コストを削減したい場合には、入力によらず、定数を出力する構成でも良い。
【０１０５】
この結果、最小コストの設定可能なβが決定される。その後の処理は、先に静止画対応の処理例として説明した図７を参照して説明した処理と同様の処理となる。
すなわち、図１０に示すスケール計算部２１５の結果（β）は乗算器２１６に出力される。乗算器２１６では、加算器２１４の出力として得られる勾配ベクトル（Ｖａ）（図７（１）参照）とスケール計算部２１５の出力値（β）を乗算し、β（Ｖａ）を加算器２１７へ出力する。加算器２１７では、動画初期画像生成部２０１の生成した前述したブレンド結果としての動画超解像初期画像ｆ０から、乗算器２１６からの入力であるβ（Ｖａ）を減算する処理を行い、超解像処理結果ｆｔを算出する。
すなわち、
ｆｔ＝ｆ０−β（Ｖａ）
上記式に基づいて、超解像処理結果ｆｔを算出する。この式は、図７（１）に示す先に説明した超解像収束式（数式１１）に対応する。
動画超解像処理部２０２は、これを超解像処理結果として出力し、かつ画像バッファ２０３に格納する。
【０１０６】
（２ｂ）学習型超解像手法の概要
次に、学習型超解像手法の概要について説明する。
学習型超解像手法は、シミュレーションなどで作成した想定入力画像（低解像度画像）と、理想画像（高解像度画像）を比較して、低解像度画像から高画像度画像を生成するための学習データを作成して、この学習データを利用して新たな入力画像としての低解像度画像を高解像度画像に変換する手法である。
【０１０７】
図１２以下を参照して学習型超解像手法を実行する画像処理装置の構成と処理の概要について説明する。
学習型超解像処理を実行する場合、その事前処理として学習データを作成することが必要となる。まず、図１２を参照して学習用データの生成処理について説明する。
図１２は、学習用データ生成装置３００の構成例を示している。
【０１０８】
学習用データ生成装置３００は、高解像度画像としての理想画像３５１を入力して、仮想的な劣化画像としての低解像度画像３５２を生成する。これら理想画像３５１と低解像度画像３５２が学習用データとされ、これらを利用して、例えば図１３に示す学習処理実行装置３２０において学習処理を実行して学習データの生成が行われる。
【０１０９】
学習用データ生成装置３００は、図１２に示すようにぼかし処理部（ｂｌｕｒ）３０１、低解像度化処理部（ｄｅｃｉｍａｔｉｏｎ）３０２を有する。ぼかし処理部（ｂｌｕｒ）３０１は、高解像度画像としての理想画像３５１を入力し、ぼかし処理を実行し、さらに低解像度化処理部（ｄｅｃｉｍａｔｉｏｎ）３０２は、低解像度化処理を実行して、仮想的な劣化画像としての低解像度画像３５２を生成する。
このような高解像度画像としての理想画像３５１と、仮想的な劣化画像としての低解像度画像３５２の組み合わせを多数、作成し、これらを用いて、図１３に示す学習処理実行装置３２０を利用して学習処理を実行し学習データを生成する。
【０１１０】
図１３を参照して、学習処理実行装置３２０による学習処理について説明する。
学習処理実行装置３２０は、学習用データ生成装置３００の生成した理想画像３５１と低解像度画像３５２の画像ペアを順次、入力して学習データを生成してデータベース（ＤＢ）３２５に格納する。
【０１１１】
ブロック分割部３２１，３２２は、それぞれ理想画像３５１と低解像度画像３５２の対応するブロック（局所領域）の切り出しを実施する。
画像特徴量抽出部３２３は、低解像度画像３５２から選択されたブロック（局所領域）の画像特徴を抽出する。抽出処理の詳細に関しては後述する。
【０１１２】
変換フィルタ係数導出部３２４は、理想画像３５１と、低解像度画像３５２から抽出した対応ブロックを入力し、低解像度画像３５２から理想画像３５１を生成するための拡大処理を行うための最適な変換フィルタ係数（フィルタタップ等）を計算する。
データベース（ＤＢ）３２５は、画像特徴量抽出部３２３の生成したブロック単位の画像特徴量と、変換フィルタ係数導出部３２４の生成した変換フィルタ係数を格納する。
【０１１３】
画像特徴量抽出部３２３の実行する画像特徴量抽出処理の詳細について図１４を参照して説明する。画像特徴量抽出部３２３は図１４に示すようにベクトル変換部３３１、量子化処理部３３２を有する。
【０１１４】
ベクトル変換部３３１は、ブロック分割部３２１が選択した低解像度画像３５２の局所領域画像データであるブロック画像３３７を１次元ベクトル３３８に変換する。
量子化処理部３３２は、さらに、１次元ベクトル３３８のベクトルの各要素に対して量子化等の変換を行い、量子化ベクトル３３９を生成する。この演算により算出された値を局所的な画像（ブロック）の特徴量とする。この特徴量データが学習データとしてデータベース３２５に格納される。
【０１１５】
データベース（ＤＢ）３２５には、ブロック単位の特徴量データである量子化ベクトルと、そのブロックに対応する変換フィルタ係数との対応データが格納される。
【０１１６】
次に、図１５を参照して、学習データを適用した学習型超解像処理を実行する学習型超解像処理実行装置の構成と処理例について説明する。
【０１１７】
図１５に示す学習型超解像処理実行装置３４０は、超解像処理の実行対象となる低解像度画像３７１を入力し、データベース３４３に格納された学習データを適用した超解像処理を行い、高解像度画像３７２を生成して出力する。
【０１１８】
まず、ブロック分割部３４１は、超解像処理の実行対象となる低解像度画像３７１を入力して、ブロック（小領域）を切り出す。
画像特徴量抽出部３４２は、ブロック単位の画像特徴量を抽出する。この特徴量は、図１４を参照して説明したと同様の量子化ベクトルデータである。
【０１１９】
変換フィルタ係数選択部３４４は、画像特徴量抽出部３４２の抽出したブロック対応の特徴量（量子化ベクトルデータ）に最も類似するデータをデータベース（ＤＢ）３４３の格納データから検索する。
データベース（ＤＢ）３４３は、図１３を参照して説明したデータベース３２５に対応し、ブロック単位の特徴量データである量子化ベクトルと、そのブロックに対応する変換フィルタ係数との対応データが格納されたデータベースである。
【０１２０】
変換フィルタ係数選択部３４４は、画像特徴量抽出部３４２の抽出したブロック対応の特徴量（量子化ベクトルデータ）に最も類似するデータに対応付けられた変換フィルタ係数をデータベース３４３から選択抽出し、フィルタ適用部３４５に出力する。
【０１２１】
フィルタ適用部３４５は、変換フィルタ係数選択部３４４から提供された変換フィルタ係数を設定したフィルタ処理によるデータ変換処理を実行して、高解像度画像３７２の構成ブロックとなる局所画像を生成する
ブロック合成部３４６は、フィルタ適用部３４５から順次出力されるブロックを合成し、高解像度画像３７２を生成する。
【０１２２】
このように、学習型超解像処理による高解像度画像の生成処理は、シミュレーションなどで作成した想定入力画像（低解像度画像）と、理想画像（高解像度画像）を比較して、低解像度画像から高画像度画像を生成するための学習データを作成して、この学習データを利用して新たな入力画像としての低解像度画像を高解像度画像に変換する。
【０１２３】
（２ｃ）各超解像手法の問題点
上述したように、低解像度画像から高解像度画像を生成する手法として、
（ａ）再構成型超解像手法
（ｂ）学習型超解像手法
これらの手法がある。
【０１２４】
しかし、（ａ）再構成型超解像手法は、一般に高い性能が期待できるものの、
「複数枚の低解像度画像の入力を必要とする」、
「入力画像の帯域等の制約が存在する」、
これらの制約があり、これらの制約条件を満足しない入力画像（低解像度画像）が得られない場合は、再構成性能が十分に発揮できず、十分な高解像度画像を生成できない場合があるという問題がある。
【０１２５】
このように、再構成型超解像手法は、複数枚の画像の利用を前提としており、単数、もしくは入力枚数が少ない場合効果が限定的となる。
また、再構成型超解像手法は、実効的に以下の処理が行われている。
（ａ）入力画面内の折り返し成分（エイリアシング）に基づいて、高周波成分（ナイキスト周波数以上）の成分を推定
（ｂ）低域成分内（ナイキスト周波数以下）の折り返し成分（エイリアシング）を除去、高周波成分（ナイキスト周波数以上）の復元
このような処理が実行される。
【０１２６】
しかし、入力画像枚数が少ない場合には、折り返し成分（エイリアシング）の推定がうまくいかないといった問題がある。また、入力画像内の入力画像が極端に劣化しており、折り返し成分が検出できない場合にも同様に高域性能が不十分な場合がある。
結論として、再構成型超解像手法は、入力画像が複数枚で、サンプリングによる折り返し歪みを有している場合に高い効果が望める。しかし、入力画像数が少ない場合や、入力画像内に折り返し歪みが全く存在していない場合の解像度向上効果は低いという欠点がある。
【０１２７】
一方、（ｂ）学習型超解像手法は、入力枚数、入力画像の性質による制約は少なく安定しているが、最終的に得られる高解像度画像のピーク性能は再構成型超解像に及ばないという問題がある。
（ｂ）学習型超解像手法は、十分な学習データ及び、学習データ選択時の参照情報が十分な場合には、大きな効果を発揮する。
しかし、実用上は以下の制約がある。
学習データのデータ量の上限、
学習データ選択時の参照情報の制限、
これらの制約により学習型超解像では、各ブロック単位の処理の組み合わせ結果として最終的な高解像度画像が生成され、全体としてのバランスが悪くなる場合があり、十分な解像度向上効果が得られない場合がある。
【０１２８】
［３．本発明に従った超解像手法の実施例について］
以下、本発明に従った超解像手法の実施例について説明する。本発明の画像処理装置は、再構成型超解像手法と学習型超解像手法の利点を生かした超解像手法を実現する。まず、本発明の超解像処理の概要について説明する。
【０１２９】
本発明の一実施例に係る画像処理装置は、先に式（数式１１）として説明した超解像収束式を変形し、以下に示す超解像収束式（数式１２）を適用した処理を行う。
【０１３０】
【数８】
2011180798.tif 000010
・・・（数式１２）
【０１３１】
上記超解像収束式（数式１２）において、αは画像処理（超解像処理）における任意のユーザ設定パラメータである。Ｔは転置行列を示す。
上記関係式（数式１２）に従って、勾配法によりコストＥ（ｆ）を最小とする理想画像（ｆ）を求めることができる。
【０１３２】
上記超解像収束式（数式１２）において、
（ＨＴＤＴ）と、
（ＤＨ）、
は、画像処理装置における処理としては、以下の処理の実行に対応する意味を持つ。
ＤＨ：ダウンサンプリングフィルタの適用処理、
ＨＴＤＴ：アップサンプリングフィルタの適用処理、
【０１３３】
上記の超解像収束式（数式１２）に示すモデル式より算出された単純なダウンサンプル，アップサンプル処理は数学的には正しい結果を導き出す。しかしこの結果が主観的な評価と必ずしも一致しない場合がある。
【０１３４】
本発明では、モデル式より算出された単純なダウンサンプル処理を、学習データを利用した縮小処理、アップサンプル処理を同じく学習データを利用した拡大処理、もしくは学習型超解像に置き換えることにより超解像結果の主観的な結果を向上させるものである。この手法を用いることで、入力枚数が少ない場合、入力画像が極端に劣化した場合でも画質向上の効果を期待することができる。
以下、本発明の超解像処理の複数の実施例（実施例１〜３）について、順次説明する。
【０１３５】
（（３ａ）実施例１）
まず、本発明の画像処理装置の第１実施例について、図１６〜図１９を参照して説明する。
図１６は、画像処理装置５００の全体構成を示す図である。
図１７は、図１６に示す画像処理装置５００内の超解像処理部５０３の詳細構成を示す図である。
図１８は、図１７に示す超解像処理部５０３内の高域推定部５２１の詳細構成を示す図である。
図１９は、図１７に示す超解像処理部５０３内のスケール計算部５２６、および周囲演算部の入出力データの詳細について説明する図である。
【０１３６】
図１６に示す画像処理装置５００は、先に図３を参照して説明した再構成型超解像処理を実行する画像処理装置１１０と同じ構成であり、初期画像生成部５０１、スイッチ５０２、超解像処理部５０３、収束判定部５０４を有する。
本発明の画像処理装置５００は、超解像処理部５０３内に構成される高域推定部５２１の構成が前述の従来構成とは異なる構成を有し、異なる処理を実行する。
【０１３７】
図１６に示す画像処理装置５００は、複数枚（ｎ枚）の低解像度画像ｇ１〜ｇｎを入力し、高解像度画像ｆｍを一枚出力する。図１６に示すｇ１，ｇ２，・・・ｇｎは、ｎ枚の低解像度入力画像を示す。
【０１３８】
初期画像生成部５０１は、超解像処理結果の初期値を設定する。初期値は任意の値で良いが、例えば低解像度画像ｇ１を入力し、ｇ１を拡大した画像を出力する。
スイッチ５０２は、初回実行時のみ初期画像生成部５０１の出力側に倒れ、それ以外は、前回の収束判定部５０４の出力を超解像処理部５０３へ入力するように動作する。
【０１３９】
超解像処理部５０３は、ｎ枚の低解像度画像ｇ１，ｇ２，ｇ３，・・・ｇｎ、スイッチ５０２からの画像を入力とし、結果を収束判定部５０４へ出力する。超解像処理部５０３の詳細は後述する。
【０１４０】
収束判定部５０４では、超解像処理部５０３の出力を入力とし、十分な収束が行われたかどうかの判定を行う。超解像処理部５０３の結果から十分な収束が行われたと判断した場合、処理結果を外部に出力し、処理を停止する。処理が不十分だと判断した場合、スイッチ５０２を経由し超解像処理部５０３へ入力し、再度の演算を実施する。収束判定部５０４は、例えば、最新の処理結果と前回の処理結果との差分を抽出し、差分が予め規定した値以下となった場合に収束したと判定する。あるいは、予め規定した処理回数に達した場合に収束したと判定し、処理結果を出力する。
【０１４１】
図１７を参照して超解像処理部５０３の構成と処理の詳細について説明する。なお、図１７に示す超解像処理部５０３の構成は、先に図４を参照して説明した超解像処理部１１３の構成とほぼ同じ構成を持つ。ただし、高域推定部５２１の構成が前述の従来構成とは異なる構成を有し、異なる処理を実行する。
【０１４２】
図１７に示すように、超解像処理部５０３は、複数の高域推定部５２１の他、画質制御部５２３、スケール計算部５２６、さらに加算器５２２，５２５，５２８、乗算器５２４，５２７等の演算部を有する。
【０１４３】
超解像処理部５０３は、図１６に示すスイッチ５０２からの入力、複数（ｎ）の低解像度画像ｇ１，ｇ２，・・・，ｇｎを入力とし、処理結果を収束判定部５０４へ出力する。また、画像調整パラメータとしてユーザ設定値αを入力する。
【０１４４】
高域推定部５２１は、スイッチ５０２からの入力である再構成途中結果の画像及び低解像度画像ｇ１，ｇ２，・・・，ｇｎのいずれかを入力とし、加算器５２２へ処理結果を出力する。高域推定部５２１では、画像の高域を復元するための、補正値の計算を行う。高域推定部５２１の処理の詳細については後述する。
【０１４５】
加算器５２２は、各高域推定部５２１の結果を加算し、加算器５２５へ出力する。
画質制御部５２３では、画像の事前確立モデルに基づいた理想的な画像とするための、画素値の制御値を計算する。出力は、乗算器５２４へ入力される。
乗算器５２４では、画質制御部５２３の出力をユーザ設定値αで乗算する。ユーザ設定値αの値により、最終的な画像の画質がコントロールされる。なお、図に示す構成では、画質のコントロールが行えるようにユーザ設定値としたが、固定値を用いても問題ない。
【０１４６】
加算器５２５では、加算器５２２，乗算器５２４の出力を合算し、スケール計算部５２６，及び乗算器５２７へ計算結果を出力する。スケール計算部５２６では、スイッチ５１２からの途中演算結果、加算器５２５からの画素値制御信号を入力とし、最終的な制御値へのスケール値を決定する。スケール計算部５２６の結果は乗算器５２７に出力される。乗算器５２７では、加算器５２５の制御値をスケール計算部５２６の出力値で乗算し、加算器５２８へ出力する。加算器５２８では、スイッチ５０２からの途中結果より、乗算器５２７の結果を減算し、結果を収束判定部５０４へ出力する。
【０１４７】
図１７に示す超解像処理部５０３内に設定される複数の高域推定部５２１の個々の詳細構成と処理について図１８を参照して説明する。
高域推定部５２１では、先に説明した超解像収束式（数式１２）中、図１８（１）に示す下線部分の算出処理に相当する処理を行う。
【０１４８】
動き検出部６０１では、スイッチ５０２からの高解像度画像、及び低解像度画像ｇｋを受け取り両画像間の動きの大きさを検出する。具体的には動きベクトルを計算する。
なお、その前処理として、両画像間では動きが異なるため、低解像度画像ｇｋについては、例えばアップサンプリングフィルタによって構成される解像度変換部６０２でアップサンプリング処理を行い生成予定の高解像度画像に解像度を併せる処理を行う。
【０１４９】
動き補正部（ＭＣ）６０３では、スイッチ５０２から高解像度画像、動き検出部６０１からの動きベクトルを入力し、入力された高解像度画像の変形を行う。図１８（１）に示す先に説明した超解像収束式（数式１２）中の動き（Ｗｋ）の演算処理に相当する。
【０１５０】
空間フィルタ６０４では、空間解像度の劣化をシミュレーションする処理を行う。ここでは、あらかじめ測定しておいた点広がり関数（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）をフィルタとして画像へ畳み込みを行う。図１８（１）に示す先に説明した超解像収束式（数式１２）中のボケ（Ｈ）の演算処理に相当する。
【０１５１】
ダウンサンプリング処理部６０５では、高解像度画像を入力画像と同じ解像度までダウンサンプリング処理を実行する。図１８（１）に示す先に説明した超解像収束式（数式１２）中のカメラ解像度（Ｄ）の演算処理に相当する。
【０１５２】
ダウンサンプリング処理部６０５において高解像度画像のダウンサンプリングによって生成した低解像度化画像は、学習型超解像処理部６０６に入力される。
学習型超解像処理部６０６は、先に、図１５を用いて説明した学習型超解像処理実行装置３４０と同様の構成を有し、同様の処理を実行する。
【０１５３】
ダウンサンプリング処理部６０５から提供されるダウンサンプリングによって生成した低解像度化画像が、図１５に示す低解像度画像３７１に対応し、学習型超解像処理部６０６は、予めデータベースに格納した学習データを利用した学習型超解像処理を実行して高解像度画像を生成する。すなわち、図１５に示す高解像度画像３７２に対応するデータとしての高解像度画像を生成する。
【０１５４】
同時に、学習型超解像処理部６０８は、高域推定部５２１に入力される低解像度画像（ｇｋ）を入力して、先に、図１５を用いて説明した学習型超解像処理実行装置３４０と同様の構成を有し、同様の処理を実行して高解像度画像を生成する。
【０１５５】
なお、学習型超解像処理部６０６と、学習型超解像処理部６０８は、低解像度画像と、該低解像度画像に基づいて生成される高解像度画像との局所画像領域の特徴量情報と、低解像度画像を高解像度画像に変換するための画像変換情報との対応データからなる学習データを適用して、学習型超解像処理としてのアップサンプリング処理を実行する。
【０１５６】
なお、学習型超解像処理部６０６と学習型超解像処理部６０８は、入力データのみが異なり、同じ処理を並列に実行する構成としてもよいし、予めそれぞれの処理に最適な学習データやアルゴリズムを適用した個別の処理を実行する構成としてもよい。
【０１５７】
これらの処理によって、学習型超解像処理部６０６が第１の高解像度画像を生成し、学習型超解像処理部６０８が第２の高解像度画像を生成する。
学習型超解像処理部６０６の生成する第１の高解像度画像は、
スイッチ５０２から入力された高解像度画像のダウンサンプリング処理によって生成した低解像度化画像を入力して学習型超解像処理によって生成した高解像度画像である。
学習型超解像処理部６０８の生成する第２の高解像度画像は、
高域推定部５２１に入力される低解像度画像（ｇｋ）を入力して学習型超解像処理によって生成した高解像度画像である。
【０１５８】
学習型超解像処理部６０６の生成した第１の高解像度画像と、学習型超解像処理部６０８の生成した第２の高解像度画像は、逆動き補正部６０７，６０９に入力される。
逆動き補正部６０７，６０９は、それぞれの高解像度画像に対して動きの逆補正を行う。動き補正部６０３の動き補正処理と相殺される逆動き補正が施される。
【０１５９】
加算器６１０は、逆動き補正部６０７の出力から、逆動き補正部６０９の出力を減算する。すなわち、
スイッチ５０２から入力された高解像度画像のダウンサンプリング処理によって生成した低解像度化画像を入力して学習型超解像処理によって生成した第１の高解像度画像と、高域推定部５２１に入力される低解像度画像（ｇｋ）を入力して学習型超解像処理によって生成した第２の高解像度画像との逆動き補正画像の差分データを生成する。この差分データが、加算器５２２に出力される。
【０１６０】
なお、図１８に示すように、逆動き補正部６０７と逆動き補正部６０９の出力は、た図１８（１）に示す先に説明した超解像収束式（数式１２）の以下のデータに対応する。
逆動き補正部６０７の出力は、超解像収束式（数式１２）中の、
ＷｋＴＨＴＤＴＤＨＷｋｆｍ、
逆動き補正部６０９の出力は、超解像収束式（数式１２）中の、
ＷｋＴＨＴＤＴｇｋ
にそれぞれ対応する。
【０１６１】
加算器５２２は、図１７に示すように、異なる低解像度画像ｇ１〜ｇｎを入力する高域推定部５２１の出力を入力して加算する。加算器５２２の出力は、超解像収束式（数式１２）中の、
（Σ（ＷｋＴＨＴＤＴＤＨＷｋｆｍ）−Σ（ＷｋＴＨＴＤＴｇｋ））
上記の部分データ、すなわち、図１９（１）に示す（ａ）勾配ベクトルの一部に対応するデータとなる。
【０１６２】
このように、加算器５２２は、各高域推定部５２１の結果を加算し、加算器５２５へ出力する。
画質制御部５２３では、画像の事前確立モデルに基づいた理想的な画像とするための、画素値の制御値を計算する。出力は、乗算器５２４へ入力される。
乗算器５２４では、画質制御部５２３の出力をユーザ設定値αで乗算する。ユーザ設定値αの値により、最終的な画像の画質がコントロールされる。
乗算器５２４の出力は、超解像収束式（数式１２）中の、
αＬＴＬｆｍ、
に対応する。
なお、図に示す構成では、画質のコントロールが行えるようにユーザ設定値としたが、固定値を用いても問題ない。
【０１６３】
加算器５２５以降、スケール計算部５２６の処理等について図１９を参照して説明する。加算器５２５では、加算器５２２，乗算器５２４の出力を合算し、スケール計算部５２６，及び乗算器５２７へ計算結果を出力する。スケール計算部５２６では、スイッチ５１２からの途中演算結果、加算器５２５からの画素値制御信号を入力とし、最終的な制御値へのスケール値を決定する。
【０１６４】
スケール計算部５２６では、最急降下法における画像収束演算での勾配ベクトルに対するスケール（係数β）を決定する。すなわち、図１９（１）に示す先に説明した超解像収束式（数式１２）中の係数βを決定する。係数βは、図１９（１）に示す先に説明した超解像収束式（数式１２）中の勾配ベクトル（Ｖａ）に対する乗算係数である。
【０１６５】
スケール計算部５２６は、加算器５２５から勾配ベクトル（図１９（１）に示す先に説明した超解像収束式（数式１２）中の（ａ）勾配ベクトル（Ｖａ））を入力し、スイッチ５０２を介して収束中画像（図１９（１）に示す先に説明した超解像収束式（数式１２）中の（ｂ）収束中画像（ｆｍ））を受け取る。
スケール計算部５２６は、これらの入力に基づいて、図１９（２）に示す先に式（数式１０）として説明したコスト計算式で示されるコスト：Ｅ（ｆｍ＋１）を最小とするβを求める。
この係数βの算出処理としては、一般的には、２分探索等の手法を用い、最小となるβを計算する。なお、計算コストを削減したい場合には、入力によらず、定数を出力する構成でも良い。
【０１６６】
スケール計算部５２６の結果（β）は乗算器５２７に出力される。乗算器５２７では、加算器５２５の出力として得られる勾配ベクトル（Ｖａ）とスケール計算部５２６の出力値（β）を乗算し、β（Ｖａ）を加算器５２８へ出力する。加算器５２８では、スイッチ５０２からの超解像処理の途中結果として入力するｍ回の超解像処理結果としての超解像処理画像ｆｍから、乗算器５２７からの入力であるβ（Ｖａ）を減算する処理を行い、（ｍ＋１）回目の超解像処理結果ｆｍ＋１を算出する。
すなわち、
ｆｍ＋１＝ｆｍ−β（Ｖａ）
上記式に基づいて、（ｍ＋１）回目の超解像処理結果ｆｍ＋１を算出する。この式は、図１９（１）に示す先に説明した超解像収束式（数式１２）に対応する。
【０１６７】
超解像処理部５０３は、この（ｍ＋１）回目の超解像処理結果、すなわち、
ｆｍ＋１＝ｆｍ−β（Ｖａ）
上記処理結果を収束判定部５０４に出力する。
収束判定部５０４は、超解像処理部５０３から、（ｍ＋１）回目の超解像処理結果、すなわち、
ｆｍ＋１＝ｆｍ−β（Ｖａ）
を入力し、この入力に基づいて十分な収束が行われたかどうかの判定を行う。
【０１６８】
超解像処理部５０３の結果から十分な収束が行われたと判断した場合、処理結果を外部に出力し、処理を停止する。処理が不十分だと判断した場合、スイッチ５０２を経由し超解像処理部５０３へ入力し、再度の演算を実施する。収束判定部５０４は、例えば、最新の処理結果と前回の処理結果との差分を抽出し、差分が予め規定した値以下となった場合に収束したと判定する。あるいは、予め規定した処理回数に達した場合に収束したと判定し、処理結果を出力する。
【０１６９】
（（３ｂ）実施例２）
次に、本発明の画像処理装置の第２実施例について、図２０を参照して説明する。
この第２実施例は、基本的構成は、上述の第１実施例と同様の構成であり、第１実施例中の高域推定部５２１の構成を変更したものである。
第２実施例の画像処理装置の基本構成は、第１実施例と同様、図１６に示す構成を持つ。
超解像処理部５０３の構成も実施例１と同様、図１７に示す構成を有する。
【０１７０】
超解像処理部５０３内の高域推定部５２１の構成が、実施例１の構成（図１８）とは異なり、本実施例２では、図２０に示す構成を有する。
本実施例２に係る高域推定部５２１の構成と処理について、図２０を参照して説明する。
高域推定部５２１では、先に説明した超解像収束式（数式１２）中、図１８（１）に示す下線部分の算出処理に相当する処理を行う。
【０１７１】
動き検出部６５１では、図１６に示す画像処理装置５００中のスイッチ５０２からの高解像度画像、及び低解像度画像ｇｋを受け取り両画像間の動きの大きさを検出する。具体的には動きベクトルを計算する。
なお、その前処理として、両画像間では動きが異なるため、低解像度画像ｇｋについては、例えばアップサンプリングフィルタによって構成される解像度変換部６５２でアップサンプリング処理を行い生成予定の高解像度画像に解像度を併せる処理を行う。
【０１７２】
動き補正部（ＭＣ）６５３では、スイッチ５０２から高解像度画像、動き検出部６０１からの動きベクトルを入力し、入力された高解像度画像の変形を行う。図１８（１）に示す先に説明した超解像収束式（数式１２）中の動き（Ｗｋ）の演算処理に相当する。
【０１７３】
空間フィルタ６５４では、空間解像度の劣化をシミュレーションする処理を行う。ここでは、あらかじめ測定しておいた点広がり関数（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）をフィルタとして画像へ畳み込みを行う。図１８（１）に示す先に説明した超解像収束式（数式１２）中のボケ（Ｈ）の演算処理に相当する。
【０１７４】
ダウンサンプリング処理部６５５では、高解像度画像を入力画像と同じ解像度までダウンサンプリング処理を実行する。図１８（１）に示す先に説明した超解像収束式（数式１２）中のカメラ解像度（Ｄ）の演算処理に相当する。
【０１７５】
ダウンサンプリング処理部６５５において高解像度画像のダウンサンプリングによって生成した低解像度化画像は、差分器６５６に入力される。
差分器６５６では、ダウンサンプリング処理部６５５の生成した低解像度化画像と高域推定部５２１に入力される低解像度画像ｇｋの画素毎の差分値を計算する。
この差分器６５６の算出した差分値としての差分画像が、学習型超解像処理部６５７に入力される。
学習型超解像処理部６５７は、先に、図１５を用いて説明した学習型超解像処理実行装置３４０と同様の構成を有し、同様の処理を実行する。ただし、ここでは、差分画像に対する処理が実行される。
【０１７６】
差分器６５６の生成した差分画像データ、すなわち、
高解像度画像のダウンサンプリングによって生成した低解像度化画像から、入力低解像度画像ｇｋの画素毎の差分値からなる差分画像データが、図１５に示す低解像度画像３７１に対応する。
【０１７７】
学習型超解像処理部６５７は、予めデータベースに格納した学習データを利用した学習型超解像処理を実行して差分データからなる高解像度素差分画像を生成する。すなわち、図１５に示す高解像度画像３７２に対応するデータとしての差分データからなる高解像度差分画像を生成する。
なお、この学習型超解像処理に適用するデータベースに格納した学習データは、低解像度の画素毎の差分値からなる差分画像データから、高解像度差分画像に対応する差分データを生成するための学習データである。
【０１７８】
このように、学習型超解像処理部６５７は、高解像度画像からなる処理画像に対するダンウサンプリング処理によって低解像度画像と同じ解像度に変換したダウンサンプル処理画像と、超解像処理の処理対象画像として入力する低解像度画像との差分画像のアップサンプリング処理において学習型超解像処理を実行する。
なお、学習型超解像処理部６５７は、低解像度画像と、該低解像度画像に基づいて生成される高解像度画像との差分画像の局所画像領域の特徴量情報と、該差分画像を高解像度差分画像に変換するための画像変換情報との対応データからなる学習データを適用して、学習型超解像処理としてのアップサンプリング処理を実行する。
【０１７９】
学習型超解像処理部６５７の生成した高解像度差分画像データは、逆動き補正部６５８に入力される。
逆動き補正部６５８は、差分画像としての高解像度画像に対して動きの逆補正を行う。動き補正部６０３の動き補正処理と相殺される逆動き補正が施される。この差分データが、加算器５２２に出力される。
【０１８０】
この逆動き補正部６５８の出力は、先に実施例１として説明した図１８に示す高域推定部５２１の加算器６１０の出力に対応するデータである。
すなわち、実施例１では、学習型超解像処理を画像差分データではなく、個別の画像に対して実行して、その結果の差分を算出する処理を実行していたが、本実施例２ではあらかじめ差分データを生成して、その差分データに対する学習型超解像処理を実行する処理としている点が異なるものである。
【０１８１】
加算器５２２に対する差分テータの出力以後の処理は、実施例２の処理は、実施例１と同様であり、説明を省略する。
【０１８２】
上述したように、実施例１、実施例２は、アップサンプリング処理を学習データを適用した学習型超解像処理として実行する構成を持つ。
実施例１は、低解像度画像から高解像度画像の生成処理として実行するアップサンプリング処理を学習データを適用した学習型超解像処理として実行する構成である。
また、実施例２は、低解像度画像間の差分画像のアップサンプリング処理を学習データを適用した学習型超解像処理として実行する構成である。
【０１８３】
すなわち、図１６に示す実施例１、実施例２の画像処理装置５００の超解像処理部５０３は、図１８または図２０に示すように、超解像処理の処理対象画像として入力する低解像度画像と、超解像処理の処理過程画像または初期画像である処理画像との差分画像情報を生成する高域推定部を有する。また、超解像処理部５０３は、図１９に示すように、高域推定部の出力する差分画像情報と、処理画像との演算処理により処理画像の更新処理を行うスケール計算部５２６や加算器、乗算器等から構成される演算部を有する。
図１８または図２０を参照して説明したように、高域推定部は、差分画像情報の生成処理において、学習データを適用した学習型データ処理を実行する。
【０１８４】
例えばアップサンプリング処理を、学習データを適用した学習型超解像処理として実行することで、超解像結果の主観的な結果が向上し、また、入力される低解像度画像の枚数が少ない場合や劣化が大きい場合でも、画質の低下の少ない高解像度画像を生成することが可能となる。
【０１８５】
前述したように、再構成型超解像手法のみを利用した場合、アップサンプリング処理として以下の処理が行われる。
（ａ）入力画面内の折り返し成分（エイリアシング）に基づいて、高周波成分（ナイキスト周波数以上）の成分を推定
（ｂ）低域成分内（ナイキスト周波数以下）の折り返し成分（エイリアシング）を除去、高周波成分（ナイキスト周波数以上）の復元
このような処理が実行される。
しかし、この手法では、入力画像枚数が少ない場合、折り返し成分（エイリアシング）の推定がうまくいかない。また、入力画像内の入力画像が極端に劣化しており、折り返し成分が検出できない場合にも同様に高域性能が不十分となる。
【０１８６】
本発明の構成では、アップサンプリング処理に際して、学習データを利用した学習型超解像処理を実行する構成であり、上記のような再構成型懲戒増処理の欠点を発生させることのないアップサンプリング処理が可能となる。
【０１８７】
（（３ｃ）実施例３）
次に、本発明の画像処理装置の第３実施例について、図２１以下を参照して説明する。第３実施例は、処理対象を動画像に特定した場合の超解像処理を行う画像処理装置である。
この第３実施例の画像処理装置の基本構成は、先に図８を参照して説明した再構成型超解像処理を行う画像処理装置２００と同様の構成を持つ。
ただし、画像処理装置内の高域推定部の構成と処理が異なる。
【０１８８】
第３実施例の画像処理装置の基本構成について図２１を参照して説明する。
図２１に示すように、画像処理装置７００は、動画初期画像生成部７０１、動画超解像処理部７０２、画像バッファ７０３を有する。
動画像に対する処理においては、
ｇｔ：時刻ｔにおける低解像度動画像の１フレーム
ｆｔ：時刻ｔにおける高解像度動画像の１フレーム
上記のように定義する。
このように、低解像度画像ｇｔは、時刻ｔにおける低解像度動画像の１フレームであり、高解像度画像ｆｔは、低解像度画像ｇｔに対して超解像処理処理を施した結果として得られる高解像度画像とする。
【０１８９】
図２１に示す画像処理装置７００において、低解像度画像ｇｔは、動画初期画像生成部７０１及び、動画超解像処理部７０２へ入力される。
動画初期画像生成部７０１では、前フレームの動画超解像処理結果（ｆｔ−１）及び（ｇｔ）を入力とし、動画超解像処理部７０２へ生成した初期画像を出力する。動画初期画像生成部７０１の詳細に関しては、後述する。
【０１９０】
動画超解像処理部７０２では入力された初期画像、低解像度画像（ｇｔ）を適用して高解像度画像（ｆｔ）を生成して出力する。動画超解像処理部７０２の詳細に関しては、後述する。
動画超解像処理部７０２から出力された高解像度画像は、外部へ出力されるのと同時に画像バッファ７０３へも出力され、次フレームの超解像処理に利用される。
【０１９１】
次に、図２２を参照して動画初期画像生成部７０１の詳細構成と処理について説明する。動画初期画像生成部７０１は、前フレームの動画超解像処理結果（ｆｔ−１）及び（ｇｔ）を入力とし、動画超解像処理部７０２へ生成した初期画像を出力する。
【０１９２】
まず、低解像度画像ｇｔが例えばアップサンプリングフィルタによって構成される解像度変換部７０６でアップサンプリング処理を行い生成予定の高解像度画像に解像度を併せる処理を行う。
動き検出部７０５では、前フレーム高解像度画像ｆｔ−１、アップサンプリングした低解像度画像ｇｔ間の動きの大きさを検出する。具体的には動きベクトルを計算する。
【０１９３】
動き補正部（ＭＣ）７０７では、動き検出部７０５で検出された動きベクトルを利用して動き補正部（ＭＣ）７０７で高解像度画像ｆｔ−１に対する動き補償処理を行う。これにより高解像度画像ｆｔ−１に動き補償処理が施され、アップサンプリングした低解像度画像ｇｔと被写体の位置が同じに設定された動き補償画像が生成される。
【０１９４】
ＭＣ未適用領域検出部７０８では、動き補正（ＭＣ）処理により生成された高解像度画像、及びアップサンプルした低解像度画像を比較して、動き補正（ＭＣ）がうまく適用できていない領域を検出する。画素単位にＭＣの適用の可否情報α［０：１］を設定して出力する。
【０１９５】
ブレンド処理部７０９は、
動き補正部（ＭＣ）７０７の生成した高解像度画像ｆｔ−１に対する動き補償結果画像、
解像度変換部７０６で低解像度画像ｇｔに対してアップサンプリングされたアップサンプル画像、
ＭＣ未適用領域検出部７０８で検出されたＭＣ未適用領域検出情報、
これらを入力する。
【０１９６】
ブレンド処理部７０９は、これらの入力情報を利用して、以下の式に基づいてブレンド結果としての動画超解像初期画像を出力する。
動画超解像初期画像（ブレンド結果）＝（１−α）（アップサンプル画像）+α（動き補償結果画像）
【０１９７】
次に、図２１に示す再構成型超解像処理を行う画像処理装置７００中の動画超解像処理部７０２の構成と処理について図２３を参照して説明する。動画超解像処理部７０２は、図２３に示すように、動画高域推定部７１１の他、画質制御部７１２、スケール計算部７１５、さらに加算器７１４，７１７、乗算器７１３，７１６等の演算部を有する。
【０１９８】
動画超解像処理部７０２は、図２１に示す動画初期画像生成部７０１から、前述したブレンド結果としての動画超解像初期画像を入力する。すなわち、
動画超解像初期画像（ブレンド結果）＝（１−α）（アップサンプル画像）+α（動き補償結果画像）
上記ブレンド結果を入力する。
さらに、低解像度画像ｇｔ、画像調整パラメータとしてユーザ設定値αを入力し、処理結果としての高解像度画像（ｆｔ）を生成して出力する。
【０１９９】
動画超解像処理部７０２内の動画高域推定部７１１の詳細構成と処理について図２４を参照して説明する。動画高域推定部７１１は、画像の高域を復元するための補正値の計算を行う。動画高域推定部７１１は、動画初期画像生成部７０１の生成した前述したブレンド結果としての動画超解像初期画像と、低解像度画像（ｇｔ）を入力し、加算器７１４へ処理結果を出力する。
【０２００】
図２４に示す空間フィルタ８０１では、動画初期画像生成部７０１の生成した前述したブレンド結果としての動画超解像初期画像を入力して空間解像度の劣化をシミュレーションする処理を行う。ここでは、あらかじめ測定しておいた点広がり関数（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）をフィルタとして画像へ畳み込みを行う。先に説明した超解像収束式（数式１２）中のボケ（Ｈ）の演算処理（図１８（１）参照）に相当する。
【０２０１】
ダウンサンプリング処理部８０２では、高解像度画像を入力画像と同じ解像度までダウンサンプリング処理を実行する。先に説明した超解像収束式（数式１２）中のカメラ解像度（Ｄ）の演算処理（図１８（１）参照）に相当する。
【０２０２】
その後、ダウンサンプリング処理部８０２において高解像度画像のダウンサンプリングによって生成した低解像度化画像は、学習型超解像処理部８０３に入力される。
学習型超解像処理部８０３は、先に、図１５を用いて説明した学習型超解像処理実行装置３４０と同様の構成を有し、同様の処理を実行する。
【０２０３】
ダウンサンプリング処理部８０２から提供されるダウンサンプリングによって生成した低解像度化画像が、図１５に示す低解像度画像３７１に対応し、学習型超解像処理部８０３は、予めデータベースに格納した学習データを利用した学習型超解像処理を実行して高解像度画像を生成する。すなわち、図１５に示す高解像度画像３７２に対応するデータとしての高解像度画像を生成する。
【０２０４】
同時に、学習型超解像処理部８０４は、動画高域推定部７１１に入力される低解像度画像（ｇｔ）を入力して、先に、図１５を用いて説明した学習型超解像処理実行装置３４０と同様の構成を有し、同様の処理を実行して高解像度画像を生成する。
【０２０５】
なお、学習型超解像処理部８０３と、学習型超解像処理部８０４は、低解像度画像と、該低解像度画像に基づいて生成される高解像度画像との局所画像領域の特徴量情報と、低解像度画像を高解像度画像に変換するための画像変換情報との対応データからなる学習データを適用して、学習型超解像処理としてのアップサンプリング処理を実行する。
【０２０６】
なお、学習型超解像処理部８０３と学習型超解像処理部８０４は、入力データのみが異なり、同じ処理を並列に実行する構成としてもよいし、予めそれぞれの処理に最適な学習データやアルゴリズムを適用した個別の処理を実行する構成としてもよい。
【０２０７】
これらの処理によって、学習型超解像処理部８０３が第１の高解像度画像を生成し、学習型超解像処理部８０４が第２の高解像度画像を生成する。
学習型超解像処理部８０３の生成する第１の高解像度画像は、
動画初期画像生成部７０１から入力された初期超解像画像のダウンサンプリング処理によって生成した低解像度化画像を入力して学習型超解像処理によって生成した高解像度画像である。
学習型超解像処理部８０４の生成する第２の高解像度画像は、
動画高域推定部７１１に入力される低解像度画像（ｇｔ）を入力して学習型超解像処理によって生成した高解像度画像である。
【０２０８】
加算器８０５は、学習型超解像処理部８０３の生成する第１の高解像度画像から、習型超解像処理部８０４の生成する第２の高解像度画像の対応画素を減算して、差分画像データを生成する。この差分データが、加算器７１４に出力される。
【０２０９】
図２３に示す動画超解像処理部７０２の画質制御部７１２は、先に説明した図６に示すようにラプラシアン変換部１４１によって構成され、先に説明した超解像収束式（数式１２）中の一部の演算、すなわち、
ＬＴＬｆｍ
この演算処理に相当する処理を実行する。
動画初期画像生成部７０１の生成した前述したブレンド結果としての動画超解像初期画像を入力して動画超解像初期画像に対して、ラプラシアン変換部においてラプラシアンオペレータ（Ｌ）を２回適用して、図２３に示す乗算器７１３へ出力する。
【０２１０】
図２３に示すスケール計算部７１５では、最急降下法における画像収束演算での勾配ベクトルに対するスケールを決定する。すなわち、先に説明した超解像収束式（数式１２）中の係数βを決定する。
【０２１１】
スケール計算部７１５は、図２３に示す加算器７１４から勾配ベクトル（先に説明した図１９（１）に示す超解像収束式（数式１２）中の（ａ）勾配ベクトル）を入力し、さらに動画初期画像生成部７０１の生成した前述したブレンド結果としての動画超解像初期画像を入力する。
【０２１２】
スケール計算部７１５は、これらの入力に基づいて、図１９（２）に示す先に式（数式１０）として説明したコスト計算式で示されるコスト：Ｅ（ｆｍ＋１）を最小とするβを求める。
このβの算出処理としては、一般的には、２分探索等の手法を用い、最小となるβを計算する。なお、計算コストを削減したい場合には、入力によらず、定数を出力する構成でも良い。
【０２１３】
この結果、最小コストの設定可能なβが決定される。（β）は乗算器７１６に出力される。乗算器７１６では、加算器７１４の出力として得られる勾配ベクトル（Ｖａ）（図１９（１）参照）とスケール計算部７１５の出力値（β）を乗算し、β（Ｖａ）を加算器７１７へ出力する。加算器７１７では、動画初期画像生成部７０１の生成した前述したブレンド結果としての動画超解像初期画像ｆ０から、乗算器７１６からの入力であるβ（Ｖａ）を減算する処理を行い、超解像処理結果ｆｔを算出する。
すなわち、
ｆｔ＝ｆ０−β（Ｖａ）
上記式に基づいて、超解像処理結果ｆｔを算出する。この式は、図１９（１）に示す先に説明した超解像収束式（数式１２）に対応する。
動画超解像処理部７０２は、これを超解像処理結果として出力し、かつ画像バッファ７０３に格納する。
【０２１４】
（（３ｄ）実施例４）
次に、本発明の画像処理装置の第４実施例について、図２５を参照して説明する。第４実施例は、第３実施例と同様、処理対象を動画像に特定した場合の超解像処理を行う画像処理装置である。
【０２１５】
この第４実施例の画像処理装置の基本構成は、先に第３実施例として説明した図２１に示す構成とと同様の構成を有する。すなわち、図２１に示す画像処理装置７００において、低解像度画像ｇｔは、動画初期画像生成部７０１及び、動画超解像処理部７０２へ入力される。動画初期画像生成部７０１では、前フレームの動画超解像処理結果（ｆｔ−１）及び（ｇｔ）を入力とし、動画超解像処理部７０２へ生成した初期画像を出力する。
【０２１６】
動画初期画像生成部７０１は、実施例３と同様、図２２に示す構成を有し、実施例３と同様の処理を行う。動画超解像処理部７０２では入力された初期画像、低解像度画像（ｇｔ）を適用して高解像度画像（ｆｔ）を生成して出力する。動画超解像処理部７０２も、実施例３と同様、図２３に示す構成を有する。ただし、図２３に示す構成中、動画高域推定部７１１の構成が実施例３とは異なる構成を持つ。動画超解像処理部７０２から出力された高解像度画像は、外部へ出力されるのと同時に画像バッファ７０３へも出力され、次フレームの超解像処理に利用される。
【０２１７】
本実施例４と実施例３の差異は、図２３に示す動画超解像処理部７０２内の動画高域推定部７１１の構成である。
実施例３では、動画高域推定部７１１は図２４に示す構成を有するものとして説明したが、本実施例４では、動画高域推定部７１１は図２５にに示す構成を有する。
【０２１８】
図２５を参照して本実施例４の画像処理装置の動画超解像処理部７０２（図２３参照）中に構成される動画高域推定部７１１の構成と処理について説明する。
動画高域推定部７１１は、画像の高域を復元するための補正値の計算を行う。動画高域推定部７１１は、動画初期画像生成部７０１の生成した前述したブレンド結果としての動画超解像初期画像と、低解像度画像（ｇｔ）を入力し、加算器７１４へ処理結果を出力する。
【０２１９】
図２５に示す空間フィルタ８５１では、図２１に示す動画初期画像生成部７０１の生成した前述したブレンド結果としての動画超解像初期画像を入力して空間解像度の劣化をシミュレーションする処理を行う。ここでは、あらかじめ測定しておいた点広がり関数（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）をフィルタとして画像へ畳み込みを行う。先に説明した超解像収束式（数式１２）中のボケ（Ｈ）の演算処理（図１８（１）参照）に相当する。
【０２２０】
ダウンサンプリング処理部８５２では、高解像度画像を入力画像と同じ解像度までダウンサンプリング処理を実行する。先に説明した超解像収束式（数式１２）中のカメラ解像度（Ｄ）の演算処理（図１８（１）参照）に相当する。
【０２２１】
その後、ダウンサンプリング処理部８５２において高解像度画像のダウンサンプリングによって生成した低解像度化画像は、差分器８５３に入力される。
差分器８５３では、ダウンサンプリング処理部８５２の生成した低解像度化画像と動画高域推定部７１１に入力される低解像度画像ｇｋの画素毎の差分値を計算する。
【０２２２】
この差分器８５３の算出した差分値としての差分画像が、学習型超解像処理部８５４に入力される。
学習型超解像処理部８５４は、先に、図１５を用いて説明した学習型超解像処理実行装置３４０と同様の構成を有し、同様の処理を実行する。ただし、ここでは、差分画像に対する処理が実行される。
【０２２３】
差分器８５３生成した差分画像データ、すなわち、
高解像度画像のダウンサンプリングによって生成した低解像度化画像から、入力低解像度画像ｇｋの画素毎の差分値からなる差分画像データが、図１５に示す低解像度画像３７１に対応する。
【０２２４】
学習型超解像処理部８５４は、予めデータベースに格納した学習データを利用した学習型超解像処理を実行して差分画像に対応する高解像度差分画像を生成する。すなわち、図１５に示す高解像度画像３７２に対応するデータとしての差分データからなる高解像度差分画像を生成する。
なお、この学習型超解像処理に適用するデータベースに格納した学習データは、低解像度の画素毎の差分値からなる差分画像データから、高解像度差分画像に対応する差分データを生成するための学習データである。
【０２２５】
このように、学習型超解像処理部８５４は、高解像度画像からなる処理画像に対するダンウサンプリング処理によって低解像度画像と同じ解像度に変換したダウンサンプル処理画像と、超解像処理の処理対象画像として入力する低解像度画像との差分画像のアップサンプリング処理において学習型超解像処理を実行する。
なお、学習型超解像処理部８５４は、低解像度画像と、該低解像度画像に基づいて生成される高解像度画像との差分画像の局所画像領域の特徴量情報と、該差分画像を高解像度差分画像に変換するための画像変換情報との対応データからなる学習データを適用して、学習型超解像処理としてのアップサンプリング処理を実行する。
【０２２６】
学習型超解像処理部８５４の生成した高解像度差分画像データは、加算器７１４に出力される。その後の処理は、実施例３と同様の処理となる。
すなわち、図２３に示す動画超解像処理部７０２の画質制御部７１２は、先に説明した図６に示すようにラプラシアン変換部１４１によって構成され、先に説明した超解像収束式（数式１２）中の一部の演算、すなわち、
ＬＴＬｆｍ
この演算処理に相当する処理を実行する。
動画初期画像生成部７０１の生成した前述したブレンド結果としての動画超解像初期画像を入力して動画超解像初期画像に対して、ラプラシアン変換部においてラプラシアンオペレータ（Ｌ）を２回適用して、図２３に示す乗算器７１３へ出力する。
【０２２７】
図２３に示すスケール計算部７１５では、最急降下法における画像収束演算での勾配ベクトルに対するスケールを決定する。すなわち、先に説明した超解像収束式（数式１２）中の係数βを決定する。
【０２２８】
スケール計算部７１５は、図２３に示す加算器７１４から勾配ベクトル（先に説明した図１９（１）に示す超解像収束式（数式１２）中の（ａ）勾配ベクトル）を入力し、さらに動画初期画像生成部７０１の生成した前述したブレンド結果としての動画超解像初期画像を入力する。
【０２２９】
スケール計算部７１５は、これらの入力に基づいて、図１９（２）に示す先に式（数式１０）として説明したコスト計算式で示されるコスト：Ｅ（ｆｍ＋１）を最小とするβを求める。
このβの算出処理としては、一般的には、２分探索等の手法を用い、最小となるβを計算する。なお、計算コストを削減したい場合には、入力によらず、定数を出力する構成でも良い。
【０２３０】
この結果、最小コストの設定可能なβが決定される。（β）は乗算器７１６に出力される。乗算器７１６では、加算器７１４の出力として得られる勾配ベクトル（Ｖａ）（図１９（１）参照）とスケール計算部７１５の出力値（β）を乗算し、β（Ｖａ）を加算器７１７へ出力する。加算器７１７では、動画初期画像生成部７０１の生成した前述したブレンド結果としての動画超解像初期画像ｆ０から、乗算器７１６からの入力であるβ（Ｖａ）を減算する処理を行い、超解像処理結果ｆｔを算出する。
すなわち、
ｆｔ＝ｆ０−β（Ｖａ）
上記式に基づいて、超解像処理結果ｆｔを算出する。この式は、図１９（１）に示す先に説明した超解像収束式（数式１２）に対応する。
動画超解像処理部７０２は、これを超解像処理結果として出力し、かつ画像バッファ７０３に格納する。
【０２３１】
実施例３では、学習型超解像処理を画像差分データではなく、個別の画像に対して実行して、その結果の差分を算出する処理を実行していたが、本実施例４ではあらかじめ差分データを生成して、その差分データに対する学習型超解像処理を実行する処理としている点が異なるものである。
【０２３２】
上述したように、実施例３、実施例４は、超解像処理対象を動画像とした処理を実行する画像処理装置において、アップサンプリング処理を学習データを適用した学習型超解像処理として実行する構成を持つ。
実施例３は、低解像度画像から高解像度画像の生成処理として実行するアップサンプリング処理を学習データを適用した学習型超解像処理として実行する構成である。
また、実施例４は、低解像度画像間の差分画像のアップサンプリング処理を学習データを適用した学習型超解像処理として実行する構成である。
【０２３３】
すなわち、図２１に示す実施例３、実施例４の画像処理装置７００の動画超解像処理部７０２は、図２４または図２５に示すように、超解像処理の処理対象画像として入力する低解像度画像と、超解像処理の処理過程画像または初期画像である処理画像との差分画像情報を生成する動画高域推定部を有する。また、超解像処理部７０２は、図２３に示すように、高域推定部の出力する差分画像情報と、処理画像との演算処理により処理画像の更新処理を行うスケール計算部７１５や加算器、乗算器等から構成される演算部を有する。
図２４または図２５を参照して説明したように、動画高域推定部は、差分画像情報の生成処理において、学習データを適用した学習型データ処理を実行する。
【０２３４】
例えばアップサンプリング処理を、学習データを適用した学習型超解像処理として実行することで、超解像結果の主観的な結果が向上し、また、入力される低解像度画像の枚数が少ない場合や劣化が大きい場合でも、画質の低下の少ない高解像度画像を生成することが可能となる。
【０２３５】
すなわち、前述したように、再構成型超解像手法のみを利用した場合、アップサンプリング処理として以下の処理が行われる。
（ａ）入力画面内の折り返し成分（エイリアシング）に基づいて、高周波成分（ナイキスト周波数以上）の成分を推定
（ｂ）低域成分内（ナイキスト周波数以下）の折り返し成分（エイリアシング）を除去、高周波成分（ナイキスト周波数以上）の復元
このような処理が実行される。
しかし、この手法では、入力画像枚数が少ない場合、折り返し成分（エイリアシング）の推定がうまくいかない。また、入力画像内の入力画像が極端に劣化しており、折り返し成分が検出できない場合にも同様に高域性能が不十分となる。
【０２３６】
本発明の構成では、アップサンプリング処理に際して、学習データを利用した学習型超解像処理を実行する構成であり、上記のような再構成型懲戒増処理の欠点を発生させることのないアップサンプリング処理が可能となる。
【０２３７】
なお、上述の実施例１〜４では、アップサンプリング処理を学習データを適用した処理として実行する処理例を説明したが、画像処理装置において実行するダウンサンプリング処理についても予め学習データを準備し、その学習データを適用したダウンサンプリング処理を実行する構成としてもよい。
【０２３８】
［４．画像処理装置のハードウェア構成例について］
最後に、図２６を参照して、上述した処理を実行する画像処理装置の１つのハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２、または記憶部９０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の各実施例において説明した超解像処理等の画像処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３には、ＣＰＵ９０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ９０１、ＲＯＭ９０２、およびＲＡＭ９０３は、バス９０４により相互に接続されている。
【０２３９】
ＣＰＵ９０１はバス９０４を介して入出力インタフェース９０５に接続され、入出力インタフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、ディスプレイ、スピーカなどよりなる出力部９０７が接続されている。ＣＰＵ９０１は、入力部９０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部９０７に出力する。
【０２４０】
入出力インタフェース９０５に接続されている記憶部９０８は、例えばハードディスクからなり、ＣＰＵ９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０２４１】
入出力インタフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部９０８に転送され記憶される。
【０２４２】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２４３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２４４】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２４５】
以上、説明したように、本発明の一実施例の構成によれば、再構成型超解像処理と学習型超解像処理を組み合わせた処理により高解像度画像を生成する装置および方法が提供される。本発明の一実施例によれば、超解像処理の処理対象となる低解像度画像と、超解像処理の処理過程画像または初期画像である処理画像との差分画像情報を生成し、差分画像情報と処理画像との演算処理により処理画像の更新処理を行って高解像度の画像を生成する。差分画像を生成する高域推定部において、学習データを適用した学習型超解像処理を実行する。具体的には例えばアップサンプリング処理を学習型超解像処理として実行する。本構成により再構成型超解像処理の欠点を解消し高品質な高解像度画像を生成できる。
【符号の説明】
【０２４６】
１０  理想画像
１１  動き（ｉｍａｇｅ  ｗａｒｐｉｎｇ）
１２  ボケ（ｂｌｕｒ）
１３  カメラ解像度（ｃａｍｅｒａ  ｒｅｓｏｌｕｔｉｏｎ  ｄｅｃｉｍａｔｉｏｎ）
１４  ノイズ（ｎｏｉｓｅ）
２０  低解像度画像
１１０  画像処理装置
１１１  初期画像生成部
１１２  スイッチ
１１３  超解像処理部
１１４  収束判定部
１２１  高域推定部
１２３  画質制御部
１２６  スケール計算部
１３０  動き検出部
１３１  動き補正部
１３２  空間フィルタ
１３３  ダウンサンプリング処理部
１３５  アップサンプリング処理部
１３６  逆空間フィルタ
１３７  逆動き補正部
１４１  ラプラシアン変換部
２００  画像処理装置
２０１  動画初期画像生成部
２０２  動画超解像処理部
２０３  画像バッファ
２０５  動き検出部
２０７  動き補正部
２０８  ＭＣ未適用領域検出部
２０９  ブレンド処理部
２１１  動画高域推定部
２１２  画質制御部
２１５  スケール計算部
２２１  空間フィルタ
２２２  ダウンサンプリング処理部
２２４  アップサンプリング処理部
２２５  逆空間フィルタ
３００  学習用データ生成装置
３０１  ぼかし処理部
３０２  低解像度化処理部
３２１，３２２  ブロック分割部
３２３  画像特徴量抽出部
３２４  変換フィルタ係数導出部
３３１  ベクトル変換部
３３２  量子化処理部
３４１  ブロック分割部
３４２  画像特徴量抽出部
３４３  データベース
３４４  変換フィルタ係数選択部
３４５  フィルタ適用部
３４６  ブロック合成部
３５１  理想画像
３５２  低解像度画像
３７１  低解像度画像
３７２  高解像度画像
５００  画像処理装置
５０１  初期画像生成部
５０２  スイッチ
５０３  超解像処理部
５０４  収束判定部
５２１  高域推定部
５２３  画質制御部
５２６  スケール計算部
６０１  動き検出部
６０３  動き補正部
６０４  空間フィルタ
６０５  ダウンサンプリング処理部
６０６  学習型超解像処理部
６０７  逆空間フィルタ
６０８  学習型超解像処理部
６０９  逆動き補正部
６５１  動き検出部
６５３  動き補正部
６５４  空間フィルタ
６５５  ダウンサンプリング処理部
６５７  学習型超解像処理部
６５８  逆動き補正部
７００  画像処理装置
７０１  動画初期画像生成部
７０２  動画超解像処理部
７０３  画像バッファ
７０５  動き検出部
７０７  動き補正部
７０８  ＭＣ未適用領域検出部
７０９  ブレンド処理部
７１１  動画高域推定部
７１２  画質制御部
７１５  スケール計算部
８０１  空間フィルタ
８０２  ダウンサンプリング処理部
８０３  学習型超解像処理部
８０４  学習型超解像処理部
８５１  空間フィルタ
８５２  ダウンサンプリング処理部
８５４  学習型超解像処理部
９０１  ＣＰＵ
９０２  ＲＯＭ
９０３  ＲＡＭ
９０４  バス
９０５  入出力インタフェース
９０６  入力部
９０７  出力部
９０８  記憶部
９０９  通信部
９１０  ドライブ
９１１  リムーバブルメディア
【図２】
2011180798.tif 000011
【図３】
2011180798.tif 000012
【図４】
2011180798.tif 000013
【図５】
2011180798.tif 000014
【図６】
2011180798.tif 000015
【図７】
2011180798.tif 000016
【図８】
2011180798.tif 000017
【図９】
2011180798.tif 000018
【図１０】
2011180798.tif 000019
【図１１】
2011180798.tif 000020
【図１６】
2011180798.tif 000021
【図１７】
2011180798.tif 000022
【図１８】
2011180798.tif 000023
【図１９】
2011180798.tif 000024
【図２０】
2011180798.tif 000025
【図２１】
2011180798.tif 000026
【図２２】
2011180798.tif 000027
【図２３】
2011180798.tif 000028
【図２４】
2011180798.tif 000029
【図２５】
2011180798.tif 000030
【図２６】
2011180798.tif 000031
【図１】
2011180798.tif 000032
【図１２】
2011180798.tif 000033
【図１３】
2011180798.tif 000034
【図１４】
2011180798.tif 000035
【図１５】
2011180798.tif 000036