(57)【要約】  幾何変換パラメータ算出手段は、前フレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、その幾何変換パラメータの信頼度を計算する。解像画像予測手段は、前フレームの超解像画像を幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成する。超解像画像生成手段は、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーション結果との差分を計算し、当該差分のアップサンプリング結果と、現フレームの超解像画像の予測結果との重み付き平均を計算する。このとき、幾何変換パラメータの信頼度に基づいて重み付き平均を計算する。
2011018878.tif 000002
【特許請求の範囲】
【請求項１】
前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、当該幾何変換パラメータの信頼度を計算する幾何変換パラメータ算出手段と、
前のフレームに生成された超解像画像を前記幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成する超解像画像予測手段と、
現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成する超解像画像生成手段とを備え、
超解像画像生成手段は、前記幾何変換パラメータの信頼度に基づいて前記重み付き平均を計算する
ことを特徴とする画像処理システム。
【請求項２】
超解像画像生成手段は、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、カルマンフィルタを適用することによって、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算し、当該重み付き平均の計算結果を現フレームの超解像画像とする
請求項１に記載の画像処理システム。
【請求項３】
前のフレームの超解像画像に基づいて現フレームの超解像画像を表す場合におけるノイズを表す第１の誤差パラメータと、現フレームの超解像画像に基づいて現フレームの低解像画像を表す場合におけるノイズを表す第２の誤差パラメータとを、幾何変換パラメータの信頼度に基づいて設定する誤差パラメータ設定手段を備え、
超解像画像生成手段は、
前記第１の誤差パラメータと前記第２の誤差パラメータとに基づくカルマンゲインを計算し、カルマンゲインに、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分を乗じ、現フレームの超解像画像の予測結果に加算することで、前記差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算する
請求項２に記載の画像処理システム。
【請求項４】
超解像画像生成手段は、幾何変換パラメータの信頼度をｒとしたときに、ｒを現フレームの超解像画像の予測結果の重み係数とし、１−ｒを、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分のアップサンプリング結果の重み係数として重み付き平均を計算する
請求項１に記載の画像処理システム。
【請求項５】
超解像画像生成手段は、現フレームの超解像画像の予測結果に対して、被写体の撮像プロセスを表すシミュレーション計算を行うことにより、現フレームの低解像画像を算出する
請求項１から請求項４のうちのいずれか１項に記載の画像処理システム。
【請求項６】
前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、
当該幾何変換パラメータの信頼度を計算し、
前のフレームに生成された超解像画像を前記幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成し、
現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成し、
前記重み付き平均を計算する際に、前記幾何変換パラメータの信頼度に基づいて重み付き平均を計算する
ことを特徴とする画像処理方法。
【請求項７】
現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、カルマンフィルタを適用することによって、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算し、当該重み付き平均の計算結果を現フレームの超解像画像とする
請求項６に記載の画像処理方法。
【請求項８】
前のフレームの超解像画像に基づいて現フレームの超解像画像を表す場合におけるノイズを表す第１の誤差パラメータと、現フレームの超解像画像に基づいて現フレームの低解像画像を表す場合におけるノイズを表す第２の誤差パラメータとを、幾何変換パラメータの信頼度に基づいて設定し、
前記第１の誤差パラメータと前記第２の誤差パラメータとに基づくカルマンゲインを計算し、
カルマンゲインに、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分を乗じ、現フレームの超解像画像の予測結果に加算することで、前記差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算する
請求項７に記載の画像処理方法。
【請求項９】
幾何変換パラメータの信頼度をｒとしたときに、ｒを現フレームの超解像画像の予測結果の重み係数とし、１−ｒを、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分のアップサンプリング結果の重み係数として重み付き平均を計算する
請求項６に記載の画像処理方法。
【請求項１０】
現フレームの超解像画像の予測結果に対して、被写体の撮像プロセスを表すシミュレーション計算を行うことにより、現フレームの低解像画像を算出する
請求項６から請求項９のうちのいずれか１項に記載の画像処理方法。
【請求項１１】
コンピュータに、
前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、当該幾何変換パラメータの信頼度を計算する幾何変換パラメータ算出処理、
前のフレームに生成された超解像画像を前記幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成する超解像画像予測処理、および、
現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成する超解像画像生成処理を実行させ、
前記超解像画像生成処理で、前記幾何変換パラメータの信頼度に基づいて前記重み付き平均を計算させる
ための画像処理用プログラム。
【請求項１２】
コンピュータに、
超解像画像生成処理で、
現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、カルマンフィルタを適用することによって、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算し、当該重み付き平均の計算結果を現フレームの超解像画像とさせる
請求項１１に記載の画像処理用プログラム。
【請求項１３】
コンピュータに、
前のフレームの超解像画像に基づいて現フレームの超解像画像を表す場合におけるノイズを表す第１の誤差パラメータと、現フレームの超解像画像に基づいて現フレームの低解像画像を表す場合におけるノイズを表す第２の誤差パラメータとを、幾何変換パラメータの信頼度に基づいて設定する誤差パラメータ設定処理を実行させ、
超解像画像生成処理で、
前記第１の誤差パラメータと前記第２の誤差パラメータとに基づくカルマンゲインを計算させ、
カルマンゲインに、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分を乗じ、現フレームの超解像画像の予測結果に加算することで、前記差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算させる
請求項１２に記載の画像処理用プログラム。
【請求項１４】
コンピュータに、
超解像画像生成処理で、幾何変換パラメータの信頼度をｒとしたときに、ｒを現フレームの超解像画像の予測結果の重み係数とし、１−ｒを、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分のアップサンプリング結果の重み係数として重み付き平均を計算させる
請求項１１に記載の画像処理用プログラム。
【請求項１５】
コンピュータに、
超解像画像生成処理で、現フレームの超解像画像の予測結果に対して、被写体の撮像プロセスを表すシミュレーション計算を行うことにより、現フレームの低解像画像を算出させる
請求項１１から請求項１４のうちのいずれか１項に記載の画像処理用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理方法および画像処理用プログラムに関し、特に、動画像を高画質化できる画像処理システム、画像処理方法および画像処理用プログラムに関する。
【背景技術】
【０００２】
同じ被写体を撮影した複数枚の低解像画像から、より高い解像度をもつ高解像画像を生成する技術が種々提案されている（例えば、特許文献１参照）。この高解像画像は、超解像画像と呼ばれる。なお、低解像画像は、低解像度画像と呼ばれることもある。高解像画像は高解像度画像と呼ばれることもある。【０００３】
近年では、静止画像だけでなく、動画像にも同技術を適用し、低解像の動画像から、より高い解像度の動画像を生成する動画超解像技術に対するニーズが高まっている。動画超解像技術は、例えば、ＳＤ（Standard Definition ）解像度で撮影された映像を、ＨＤ（High Definition ）解像度のテレビジョン受像機で表示するためのアップコンバートに利用される。【０００４】
特許文献１には、位置ずれのある複数の低解像度画像から高解像度画像を生成する高解像度画像生成方法が記載されている。特許文献１に記載の方法では、複数の低解像度画像の各画素は、高解像度画像空間のある位置に対応付けられる。つまり、位置合わせの後では、複数の低解像度画像は、高解像度空間内で不等間隔にサンプリングされた画素であるとする。特許文献１に記載の方法では、この不等間隔にサンプリングされた画素位置（観測画素位置と称する）を高解像度画像の画素位置で近似する。このとき、ある高解像度画素位置に近似される観測画素位置は、複数あったり、あるいは、存在しなかったりすることも考えられる。特許文献１に記載の方法では、各高解像度画素位置に近似された複数の観測画素の平均画素値をそれぞれ計算することにより、１つの画像を生成する。特許文献１に記載の方法では、この画像を「平均画像」と称している。また、各高解像度画素位置に近似された観測画素も、同様に１つの画像となる。特許文献１では、この画像を「重み画像」と称している。特許文献１に記載の方法では、複数の低解像度画像と、位置合わせによって得られた低解像度画像の位置ずれ情報から、平均画像および重み画像を生成する。そして、生成された平均画像に含まれている未定義画素の画素値を推定することにより、高解像度画像を生成する。また、特許文献１に記載の方法では、低解像度画像が取得される毎に、平均画像および重み画像を更新し、逐次的に高解像度画像を生成する。【０００５】
また、種々のシステム等の状態を推定する手法として、カルマンフィルタが知られている。カルマンフィルタは、例えば、非特許文献１に記載されている。非特許文献１に記載されたカルマンフィルタでは、ノイズｗｔ，ｖｔが以下に示す式（１）、式（２）で与えられる正規分布に従う場合に、状態の予測と更新を逐次的に繰り返すことにより、最小二乗解を計算する。【０００６】
ｗｔ〜Ｎ（０，Ｑ）          式（１）
ｖｔ〜Ｎ（０，Ｒ）          式（２）
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１０９３７５号公報（段落００２２−００３４）
【非特許文献】
【０００８】
【非特許文献１】Greg Welch, Gray Bishop, "An Introduction to the Kalman Filter," Technical Report TR 95-041, University of North Carolina, Department of Computer Science, 1995.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に記載された方法では、低解像度画像の位置合わせに失敗した場合において、超解像画像の画質が低くなってしまうという問題があった。【００１０】
そこで、本発明は、動画の高解像度化を行う場合において、画像の位置合わせが失敗することによって高解像画像の画質低下が生じるという問題を解決することができる画像処理システム、画像処理方法および画像処理用プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明による画像処理システムは、前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、幾何変換パラメータの信頼度を計算する幾何変換パラメータ算出手段と、前のフレームに生成された超解像画像を幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成する超解像画像予測手段と、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成する超解像画像生成手段とを備え、超解像画像生成手段は、幾何変換パラメータの信頼度に基づいて重み付き平均を計算することを特徴とする。【００１２】
また、本発明による画像処理方法は、前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、幾何変換パラメータの信頼度を計算し、前のフレームに生成された超解像画像を幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成し、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成し、重み付き平均を計算する際に、幾何変換パラメータの信頼度に基づいて重み付き平均を計算することを特徴とする。【００１３】
また、本発明による画像処理用プログラムは、コンピュータに、前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、当該幾何変換パラメータの信頼度を計算する幾何変換パラメータ算出処理、前のフレームに生成された超解像画像を幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成する超解像画像予測処理、および、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成する超解像画像生成処理を実行させ、超解像画像生成処理で、幾何変換パラメータの信頼度に基づいて重み付き平均を計算させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、動画の高解像度化を行う場合において、画像の位置合わせが失敗することによって高解像画像の画質低下が生じるという問題を解決することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明において入力される低解像画像と出力される超解像画像との関係を示す説明図である。
【図２】ぼかしの対象となる画像の例を示す説明図である。
【図３】図２に例示する画像を表す列ベクトルを示す説明図である。
【図４】ぼかしを表す行列Ｂの例を示す説明図である。
【図５】ダウンサンプリング後の画像の例を示す説明図である。
【図６】ダウンサンプリングを表す行列Ｄの例を示す説明図である。
【図７】本発明の第１の実施形態の画像処理システムの例を示すブロック図である。
【図８】第１の実施形態における処理経過の例を示すフローチャートである。
【図９】第１の実施形態における超解像画像の予測結果更新（ステップＳ５）の処理経過の例を示すフローチャートである。
【図１０】本発明の第２の実施形態の画像処理システムの例を示すブロック図である。
【図１１】第２の実施形態における処理経過の例を示すフローチャートである。
【図１２】第２の実施形態における超解像画像の予測結果更新（ステップＳ４４）の処理経過の例を示すフローチャートである。
【図１３】本発明による画像処理システムの具体的な構成例を示すブロック図である。
【図１４】本発明の最小構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態を図面を参照して説明する。
【００１７】
実施形態１．
図１は、本発明において、入力される低解像画像と出力される超解像画像との関係を示す説明図である。本発明の画像処理システムには、低解像画像のシーケンスが入力され、超解像処理によって得られた超解像画像のシーケンスを出力する。本発明の画像処理システムは、例えば、ＳＤ解像度の画像を入力され、ＨＤ解像度の画像を出力する。ただし、ＳＤ、ＨＤは解像度の例示であり、他の解像度の画像を入出力してもよい。また、以下の説明では、低解像画像をｙで表し、超解像画像をｘで表す。低解像画像ｙおよび超解像画像ｘは、画像中の画素値をラスタスキャン順に列ベクトルに格納したものである。また、低解像画像を表す符号ｙや、超解像画像を表す符号ｘには、フレームを表す添え字を付して表す。そして、処理対象とする現フレームをｔで表し、その１つ前のフレームをｔ−１で表す。
【００１８】
現フレームｔにおける超解像画像ｘｔと、その１つ前のフレームｔ−１における超解像画像ｘｔ−１との関係は、以下に示す式（３）で示すことができる。
【００１９】
ｘｔ＝Ｍｔ，ｔ−１ｘｔ−１＋ｗｔ          式（３）
【００２０】
式（３）において、Ｍｔ，ｔ−１は、フレームｔ−１における超解像画像ｘｔ−１から、フレームｔにおける超解像画像ｘｔへの幾何変換を表す行列である。ｗｔは、幾何変換に独立なノイズ（予測ノイズ）を表すベクトルである。
【００２１】
また、現フレームｔにおける低解像画像ｙｔと超解像画像ｘｔとの関係は、以下に示す式（４）で示すことができる。
【００２２】
ｙｔ＝ＤＢｘｔ＋ｖｔ          式（４）
【００２３】
Ｂは、低解像画像ｙｔ生成時におけるぼかしを表す行列である。Ｄは、低解像画像ｙｔ生成時におけるダウンサンプリングを表す行列である。ｖｔは、ノイズ（観測ノイズ）を表すベクトルである。
【００２４】
図２ないし図４を用いて、ぼかしの模擬の例を説明する。ぼかしは、画像内の画素毎に、画素値を、近傍の他の画素の画素値との平均値で置き換えることで模擬できる。図２は、ぼかしの対象となる画像の例を示し、図２では、５×５画素の画像を例示している。例えば、画素値ａ２２の画素に着目した場合、その着目画素の画素値を、その画素値ａ２２およびその近傍画素の画素値ａ１１，ａ１２，ａ１３，ａ２１，ａ２３，ａ３１，ａ３２，ａ３３の平均値で置き換える。また、例えば、画素値ａ２３の画素に着目した場合、その着目画素の画素値を、その画素値ａ２３およびその近傍画素の画素値ａ１２，ａ１３，ａ１４，ａ２２，ａ２４，ａ３２，ａ３３，ａ３４の平均値で置き換える。他の画素についても、同様に画素値の置換を行うことで、ぼかしを模擬できる。図３は、図２に例示する画像を表す列ベクトルである。図４は、ぼかしを表す行列Ｂの例である。ただし、図４では、行列Ｂの２行分の要素を示し、他の行の図示は省略している。図４において、具体的に示した２行のうち、最初の行を便宜的にｋ行目と称し、その次の行をｋ＋１行目と称することとする。
【００２５】
図２に示す画像は、図３に示す列ベクトルで表すことができる。従って、この列ベクトルに乗じる行列Ｂとして、図４に例示する行列を用いればよい。図４に示すｋ行目は、画素値ａ２２の置換に用いる行列成分である。また、図４に示すｋ＋１行目は、画素値ａ２３の置換に用いる行列成分である。なお、上述のように、図４では他の行を省略している。図４に示す行列Ｂの右側から、図３に示す列ベクトルを乗じれば、各画素の平均値を計算することができる。図４に示す行列Ｂの他の行の計算に関しても同様である。従って、ぼかしを示す行列Ｂは、例えば、以下の条件を満たすように定めておけばよい。第１の条件は、各行が画像中の各画素に対応していることである。第２の条件は、平均計算に用いる画素の個数をｎとしたときに、各行の個々の成分の値を、その成分に乗じられる画素値がその行に対応する画素およびその近傍の画素の画素値である場合には１／ｎとし、その乗じられる画素値がその行に対応する画素およびその近傍の画素以外の画素の画素値である場合には０とすることである。なお、この条件は一例であり、例えば、行列Ｂの各行の値を均等とするかわりに、正規分布に基づいて設定するなど、他の条件を満足するように行列Ｂを定めてもよい。
【００２６】
図５および図６を用いて、ダウンサンプリングの模擬の例を説明する。図５は、ダウンサンプリング後の画像の例を示す説明図である。図６は、ダウンサンプリングを表す行列Ｄの例である。ここでは、図２に例示する画像を、図５に例示する画像にダウンサンプリングする場合を例にして説明する。ダウンサンプリングでは、画像の画素値を間引けばよい。例えば、図６に示す行列Ｄに、図３に示す画像の列ベクトルを右側から乗じれば、画素値ａ１１，ａ１３，ａ１５，ａ３１，ａ３３，ａ３５，ａ５１，ａ５３，ａ５５を含む画像（図５参照）を得ることができる。従って、ダウンサンプリングを示す行列Ｄは、例えば、以下の条件を満たすように定めておけばよい。第１の条件は、各行がダウンサンプリング後の画像の各画素と対応していることである。第２の条件は、各行の個々の成分の値を、その成分に乗じられる画素値がダウンサンプリング後も残す画素の画素値であれば１とし、間引く画素の画素値であれば０とすることである。なお、この条件は一例であり、他の条件を満足するように行列Ｄを定めてもよい。
【００２７】
式（３）および式（４）において、ｙｔを「観測結果」、ｘｔを「直接観測できない状態」と捉えると、式（３）および式（４）は、それぞれ状態観測モデルにおける状態方程式、観測方程式に該当すると言える。
【００２８】
本発明の画像処理システムは、既知のｘｔ−１（すなわち前のフレームにおける超解像画像）から現フレームにおける超解像画像を予測する。また、本発明の画像処理システムは、現フレームにおける低解像画像ｙｔを用いた演算を行い、その演算結果と、超解像画像の予測結果とで重み付き演算を行うことによって、超解像画像を生成する。具体的には、本発明の画像処理システムは、超解像画像の予測結果に対して、実世界中の被写体をカメラで撮影する際の撮像プロセスを模擬するシミュレーションを行うことにより低解像画像を生成する。そして、本発明の画像処理システムは、現フレームにおける低解像画像ｙｔとシミュレーションで得た低解像画像との差分を計算し、その差分をアップサンプリングする。この演算結果と、超解像画像の予測結果との重み付き演算結果として、超解像画像を生成する。
【００２９】
以下の説明では、超解像画像の予測結果をｘｐと表し、確定した超解像画像をｘｒと表し、それぞれフレームを示す添え字を付して示す。例えば、現フレームｔの超解像画像の予測結果はｘｐ，ｔと表し、現フレームｔで確定した超解像画像をｘｒ，ｔと表す。また、例えば、１つ前のフレームにおいて確定した超解像画像をｘｒ，ｔ−１と表す。各フレームにおけるｘｐ，ｘｒも、画像中の画素値をラスタスキャン順に並べた列ベクトルとして表現される。
【００３０】
超解像画像の予測結果ｘｐ，ｔからシミュレーションにより低解像画像を得る場合、例えば、ｘｐ，ｔに対して、ぼかしおよびダウンサンプリングに相当する変換を行えばよい。具体的には、ＤＢｘｐ，ｔを計算することによって、予測結果ｘｐ，ｔから模擬的に低解像画像を得ることができる。既に説明したように、Ｂはぼかしを表す行列であり、Ｄはダウンサンプリングを表す行列である。以下の説明では、このように行列Ｂ，Ｄを用いて超解像画像の予測結果ｘｐ，ｔから低解像画像を計算する場合を例にする。ただし、行列Ｂ，Ｄを用いて低解像画像を得る方法は、シミュレーションの一例であり、被写体の撮像プロセスを表すシミュレーションであれば、他のシミュレーションによってｘｐ，ｔから低解像画像を導出してもよい。
【００３１】
既に説明したように、式（３）および式（４）は、それぞれ状態観測モデルにおける状態方程式、観測方程式に該当すると言うことができる。そして、カルマンフィルタによれば、状態空間モデルで表現された問題において、前の時刻における状態と、現在の観測結果から、現在の時刻の状態を推定することができる。式（３）および式（４）で表される状態空間モデルにおける状態（超解像画像）を求めるために、カルマンフィルタを適用することができる。以下、本発明にカルマンフィルタを適用した場合を例にして説明する。
【００３２】
図７は、本発明の第１の実施形態の画像処理システムの例を示すブロック図である。第１の実施形態の画像処理システム２０は、幾何変換行列算出手段２１と、超解像画像予測手段２２と、超解像画像更新手段２３と、誤差パラメータ設定手段２４とを備える。
【００３３】
幾何変換行列算出手段２１は、１つ前のフレームにおける超解像画像から現フレームの超解像画像への幾何的な変形を表す変換行列を算出する。以下、この変換行列を幾何変換行列と呼び、Ｍｔ，ｔ−１と記す。具体的は、Ｍｔ，ｔ−１は、１つ前のフレームｔ−１における低解像画像ｙｔ−１から現フレームｔにおける低解像画像ｙｔへの幾何変形に相当する幾何変形を、超解像画像間で実現する変換行列である。例えば、低解像画像ｙｔ−１から低解像画像ｙｔへの幾何変形が５画素分の平行移動であったとする。また、低解像画像から超解像画像への拡大率がｓであるとする。この場合、Ｍｔ，ｔ−１は、５ｓ画素分の平行移動を実現する変換行列となる。
【００３４】
さらに、幾何変換行列算出手段２１は、幾何変換行列Ｍｔ，ｔ−１による予測の信頼度を計算する。すなわち、幾何変換行列Ｍｔ，ｔ−１を用いて現フレームの超解像画像を予測したときにおける、その予測結果の信頼度を計算する。以下、この信頼度は、Ｍｔ，ｔ−１による幾何変換の信頼度ということができ、以下、幾何変換信頼度と記す。
【００３５】
超解像画像予測手段２２は、幾何変換行列算出手段２１によって算出されたＭｔ，ｔ−１を用いて、１つ前のフレームｔ−１で生成された超解像画像ｘｒ，ｔ−１を変形させることによって、現フレームｔの超解像画像の予測ｘｐ，ｔを生成する。さらに、超解像画像予測手段２２は、事前誤差行列を計算する。
【００３６】
事前誤差行列とは、現フレームの超解像画像ｘｔに関する誤差であって、過去の観測の履歴（すなわち、ｙ１，ｙ２，・・・，ｙｔ−１）から推定した誤差を表す行列である。以下、事前誤差行列をＰｂと記し、さらに、その符号にフレームを表す添え字を付す。現フレームｔにおける事前誤差行列Ｐｂ，ｔは、ｙ１からｙｔ−１までの各低解像画像から推定したｘｔに関する誤差を表している。
【００３７】
超解像画像予測手段２２は、現フレームｔにおける事前誤差行列Ｐｂ，ｔを、以下に示す式（５）により計算すればよい。
【００３８】
Ｐｂ，ｔ＝Ｍｔ，ｔ−１Ｐａ，ｔ−１Ｍｔ，ｔ−１Ｔ＋Ｑ          式（５）
【００３９】
式（５）において、Ｍｔ，ｔ−１ＴはＭｔ，ｔ−１の転置行列である。また、Ｑは、式（３）における予測ノイズｗｔに関する正規分布を表す共分散行列である。共分散行列Ｑは、事前誤差行列Ｐｂ，ｔを計算するためのパラメータであるということができる。共分散行列Ｑは、幾何変換信頼度に基づいて、誤差パラメータ設定手段２４によって定められる。
【００４０】
超解像画像更新手段２３は、超解像画像の予測結果ｘｐ，ｔに対するシミュレーションを行い、現フレームｔの低解像画像を模擬的に算出する。さらに、超解像画像更新手段２３は、現フレームｔにおける低解像画像ｙｔと、シミュレーションで得た低解像画像との差分を計算する。また、超解像画像更新手段２３は、カルマンゲインを計算し、計算した差分、カルマンゲイン、および超解像画像の予測結果ｘｐ，ｔを用いて、差分とｘｐ，ｔとの重み付き平均を計算する。この計算結果が、現フレームｔにおける超解像画像ｘｒ，ｔである。そして、次のフレームｔ＋１に関する処理では、ｘｒ，ｔは、超解像画像予測手段２２がフレームｔ＋１の超解像画像の予測ｘｐ，ｔ＋１を生成する際に用いられる。また、超解像画像更新手段２３は、事後誤差行列を計算する。
【００４１】
事後誤差行列とは、現フレームの超解像画像ｘｔに関する誤差であって、過去の観測の履歴（すなわち、ｙ１，ｙ２，・・・，ｙｔ−１）および現フレームｔの低解像画像ｙｔから推定した誤差を表す行列である。以下、事後誤差行列をＰａと記し、さらに、その符号にフレームを表す添え字を付す。現フレームｔにおける事前誤差行列Ｐａ，ｔは、ｙ１からｙｔまでの各低解像画像から推定したｘｔに関する誤差を表している。また、その１つ前のフレームにおける事後誤差行列Ｐａ，ｔ−１は、ｙ１からｙｔ−１までの各低解像画像から推定したｘｔに関する誤差を表している。事後誤差行列の計算方法については、後述する。
【００４２】
超解像画像更新手段２３は、現フレームｔにおけるカルマンゲインをＫｔとすると、以下に示す式（６）の計算を行うことによってカルマンゲインＫｔを計算すればよい。
【００４３】
Ｋｔ＝Ｐｂ，ｔＴ（ＤＢ）Ｔ（ＤＢＰｂ，ｔＴ（ＤＢ）Ｔ＋Ｒ）−１      式（６）
【００４４】
式（６）において、Ｐｂ，ｔＴはＰｂ，ｔの転置行列であり、同様に、（ＤＢ）Ｔは（ＤＢ）の転置行列である。また、式（６）における“−１”は逆行列を表す。また、Ｒは、式（４）における観測ノイズｖｔに関する正規分布を表す共分散行列である。共分散行列Ｒは、カルマンゲインＫｔを計算するためのパラメータであるということができる。共分散行列Ｒは、幾何変換信頼度に基づいて、誤差パラメータ設定手段２４によって定められる。また、Ｂはぼかしを表す行列であり、Ｄはダウンサンプリングを表す行列である。
【００４５】
誤差パラメータ設定手段２４は、幾何変換行列算出手段２１によって算出された幾何変換信頼度に基づいて、予測ノイズｗｔに関する正規分布を表す共分散行列Ｑ、および観測ノイズｖｔに関する正規分布を表す共分散行列Ｒを設定する。換言すれば、誤差パラメータ設定手段２４は、事前誤差行列Ｐｂ，ｔを計算する際に用いるパラメータＱと、カルマンゲインＫｔを計算する際に用いるパラメータＲを、幾何変換信頼度に基づいて定める。
【００４６】
幾何変換行列算出手段２１、超解像画像予測手段２２、超解像画像更新手段２３および誤差パラメータ設定手段２４は、例えば、画像処理用プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、コンピュータのプログラム記憶手段（図示略）に記憶された画像処理用プログラムをＣＰＵが読み込み、ＣＰＵがそのプログラムに従って、幾何変換行列算出手段２１、超解像画像予測手段２２、超解像画像更新手段２３および誤差パラメータ設定手段２４として動作する。また、幾何変換行列算出手段２１、超解像画像予測手段２２、超解像画像更新手段２３および誤差パラメータ設定手段２４がそれぞれ別々の回路として実現されていてもよい。
【００４７】
次に、動作について説明する。
図８は、第１の実施形態における処理経過の例を示すフローチャートである。画像処理システム２０には、低解像の動画像をなす低解像画像が時間順に入力される。処理対象とする現フレームｔの低解像画像ｙｔが入力されると、幾何変換行列算出手段２１は、幾何変換行列Ｍｔ，ｔ−１を算出する（ステップＳ１）。
【００４８】
ステップＳ１では、幾何変換行列算出手段２１は、現フレームの１つ前のフレームの低解像画像ｙｔ−１と、現フレームｔの低解像画像ｙｔとを用いて、幾何変換行列Ｍｔ，ｔ−１を算出する。このとき、幾何変換行列算出手段２１は、低解像画像ｙｔ−１およびｙｔを、超解像画像と同画素数の画像に拡大する。言い換えれば、低解像画像から超解像画像への拡大率で低解像画像ｙｔ−１およびｙｔを拡大する。この拡大処理は、例えば、バイリニア補間やバイキュービック補間によって行えばよい。低解像画像ｙｔ−１を拡大した画像をＹｔ−１とし、低解像画像ｙｔを拡大した画像をＹｔと記す。ここで、Ｙｔ−１は、フレームｔ−１における超解像画像に近似し、Ｙｔは、現フレームｔにおける超解像画像に近似しているとみなすことができ、幾何変換行列算出手段２１は、Ｙｔ−１からＹｔへの幾何的な変形を表す変換行列をＭｔ，ｔ−１として算出する。
【００４９】
また、幾何変換行列算出手段２１は、Ｍｔ，ｔ−１によってＹｔ−１を変換した結果とＹｔとの差が最小となるＭｔ，ｔ−１を求めればよい。すなわち、幾何変換行列算出手段２１は、Ｍｔ，ｔ−１を変更していき、以下に示す式（７）の値が最小となるときのＭｔ，ｔ−１を特定すればよい。
【００５０】
【数１】
2011018878.tif 000003
【００５１】
この方法は、勾配法と呼ばれる。なお、ここで示したＭｔ，ｔ−１の算出方法は例示であり、他の方法でＭｔ，ｔ−１を計算してもよい。
【００５２】
続いて、幾何変換行列算出手段２１は、幾何変換信頼度を算出する（ステップＳ２）。幾何変換信頼度の算出方法の一例を示す。幾何変換行列算出手段２１は、Ｍｔ，ｔ−１算出時に低解像画像から拡大した画像Ｙｔ−１，Ｙｔのうち、現フレームに対応する画像Ｙｔを基準として、Ｙｔ−１を幾何変換行列Ｍｔ，ｔ−１で変換した結果と、基準画像Ｙｔとの差が大きいほど、幾何変換信頼度が小さくなり、その差が小さいほど幾何変換信頼度が大きくなるように、幾何変換信頼度を定めればよい。例えば、Ｙｔ−１を幾何変換行列Ｍｔ，ｔ−１で変換した結果をＹ’とすると、幾何変換行列算出手段２１は、Ｙ’および基準画像Ｙｔの対応する各画素同士に関して、画素値（輝度値）の差の絶対値を計算し、その絶対値の画像全体における平均値の逆数を算出し、その値を幾何変換信頼度とすればよい。なお、この幾何変換信頼度の算出方法は例示であり、幾何変換行列算出手段２１は、他の方法で幾何変換信頼度を算出してもよい。
【００５３】
幾何変換信頼度が算出された後、誤差パラメータ設定手段２４は、幾何変換信頼度に応じて、予測ノイズｗｔに関する正規分布を表す共分散行列Ｑ、および観測ノイズｖｔに関する正規分布を表す共分散行列Ｒを設定する（ステップＳ３）。
【００５４】
ステップＳ３では、誤差パラメータ設定手段２４は、幾何変換信頼度が大きくなるほど、Ｑの各成分の値が小さくなり、Ｒの各成分の値が大きくなるようにし、幾何変換信頼度が小さくなるほど、Ｑの各成分の値が大きくなり、Ｒの各成分の値が小さくなるように、共分散行列Ｑ，Ｒを設定する。ここで、Ｑの各成分とはＱの全ての成分を意味する。同様に、Ｒの各成分とはＲの全ての成分を意味する。
【００５５】
幾何変換信頼度に応じたＱ，Ｒの設定の一例を示す。以下、幾何変換信頼度をｒで表す。また、幾何変換信頼度ｒは０から１までの範囲の値となるように正規化されているものとする。幾何変換信頼度ｒの正規化は、例えば幾何変換行列算出手段２１が行ってもよい。あるいは、誤差パラメータ設定手段２４が行ってもよい。誤差パラメータ設定手段２４は、前のフレームで算出したＱに対して、以下に示す式（８）の計算を行うことによって、新たに共分散行列Ｑを導出する。すなわち、前のフレームで算出したＱに（１−ｒ）を乗じた結果を、新たなＱとする。
【００５６】
Ｑ←（１−ｒ）×Ｑ            式（８）
【００５７】
同様に、誤差パラメータ設定手段２４は、前のフレームで算出したＲに対して、以下に示す式（９）の計算を行うことによって、新たに共分散行列Ｒを導出する。すなわち、前のフレームで算出したＲにｒを乗じた結果を、新たなＲとする。
【００５８】
Ｒ←ｒ×Ｒ          式（９）
【００５９】
なお、最初に式（８）、式（９）の演算を行う場合のために、Ｑ，Ｒの初期値を予め定めておけばよい。そして、最初に式（８）、式（９）の演算を行う場合には、Ｑ，Ｒの初期値を用いればよい。
【００６０】
次に、超解像画像予測手段２２は、１つ前のフレームｔ−１で生成された超解像画像ｘｒ，ｔ−１を、幾何変換行列Ｍｔ，ｔ−１を用いて変形させることで、現フレームｔの超解像画像の予測ｘｐ，ｔを生成する（ステップＳ４）。具体的には、超解像画像予測手段２２は、以下に示す式（１０）のように、超解像画像ｘｒ，ｔ−１を表す列ベクトルを幾何変換行列Ｍｔ，ｔ−１に右側から乗じる演算を行って、超解像画像の予測ｘｐ，ｔを生成する。
【００６１】
ｘｐ，ｔ＝Ｍｔ，ｔ−１ｘｒ，ｔ−１          式（１０）
【００６２】
また、超解像画像予測手段２２は、ステップＳ４でｘｐ，ｔを生成する際に、事前誤差行列Ｐｂ，ｔも合わせて計算する。超解像画像予測手段２２は、ステップＳ４で、現フレームｔにおける事前誤差行列Ｐｂ，ｔを、前述の式（５）により計算すればよい。ただし、式（５）の計算でＰｂ，ｔを算出する際に、超解像画像予測手段２２は、誤差パラメータ設定手段２４がステップＳ３で設定した共分散行列Ｑを用いてＰｂ，ｔを算出する。
【００６３】
ステップＳ４の次に、超解像画像更新手段２３は、ステップＳ４で計算された超解像画像の予測結果ｘｐ，ｔを更新することによって、現フレームにおける超解像画像ｘｒ，ｔを計算する（ステップＳ５）。図９は、第１の実施形態における超解像画像の予測結果更新（ステップＳ５）の処理経過の例を示すフローチャートである。
【００６４】
ステップＳ５において、超解像画像更新手段２３は、まず、現フレームｔにおけるカルマンゲインＫｔを計算する（ステップＳ３１）。超解像画像更新手段２３は、ステップＳ３１で、現フレームｔにおけるカルマンゲインＫｔを、前述の式（６）の計算を行うことにより計算すればよい。ただし、式（６）の計算でＫｔを算出する際に、超解像画像更新手段２３は、誤差パラメータ設定手段２４がステップＳ３で設定した共分散行列Ｒを用いてＫｔを算出する。
【００６５】
また、式（６）で用いるＢはぼかしを表す行列であり、Ｄはダウンサンプリングを表す行列である。このＢ，Ｄは、後述のステップＳ３２で、超解像画像の予測結果に対するシミュレーションを行うときに用いる行列Ｂ，Ｄと同一の行列である。
【００６６】
ステップＳ３１の後、超解像画像更新手段２３は、ステップＳ４（図８参照）で計算された現フレームｔの超解像画像の予測結果ｘｐ，ｔからシミュレーションによって、現フレームｔの低解像画像を生成する。そして、超解像画像更新手段２３は、実際に現フレームｔにおいて入力された低解像画像ｙｔと、シミュレーションによってｘｐ，ｔから生成した低解像画像との差分を計算する（ステップＳ３２）。本例では、超解像画像更新手段２３は、ぼかしを表す行列Ｂおよびダウンサンプリングを表す行列Ｄを用いたシミュレーションにより、低解像画像を、ＤＢｘｐ，ｔの計算により求める。そして、ｙｔとの差分を、（ｙｔ−ＤＢｘｐ，ｔ）の計算によって求めればよい。
【００６７】
次に、超解像画像更新手段２３は、現フレームｔの超解像画像の予測結果ｘｐ，ｔと、ステップＳ３２で計算した差分（ｙｔ−ＤＢｘｐ，ｔ）との重み付き平均を計算することによって、現フレームにおける超解像画像ｘｒ，ｔを計算する（ステップＳ３３）。具体的には、超解像画像更新手段２３は、ステップＳ３１で計算したカルマンゲインＫｔを用いて、以下の式（１１）に示す計算を行えばよい。
【００６８】
ｘｒ，ｔ＝ｘｐ，ｔ＋Ｋｔ（ｙｔ−ＤＢｘｐ，ｔ）          式（１１）
【００６９】
式（１１）において、カルマンゲインＫｔは、（ｙｔ−ＤＢｘｐ，ｔ）に対するアップサンプリングおよび重み付けを行う行列である。式（１１）で表される重み付き加算は、ｘｐ，ｔと（ｙｔ−ＤＢｘｐ，ｔ）との重み付き平均の計算の一態様である。
【００７０】
また、カルマンゲインＫｔは、共分散行列Ｑ，Ｒを用いて計算されているので、幾何変換信頼度がカルマンゲインＫｔに反映されている。
【００７１】
ステップＳ３３の後、超解像画像更新手段２３は、現フレームｔにおける事後誤差行列Ｐａ，ｔを計算する（ステップＳ３４）。超解像画像更新手段２３は、以下に示す式（１２）の計算を行うことでＰａ，ｔを算出すればよい。
【００７２】
Ｐａ，ｔ＝（Ｉ−ＫｔＤＢ）Ｐｂ，ｔ          式（１２）
【００７３】
式（１２）においてＩは単位行列である。
【００７４】
超解像画像更新手段２３は、現フレームｔで計算したｘｒ，ｔおよびＰａ，ｔを超解像画像予測手段２２に渡す。次のフレームｔ＋１のステップＳ４では、１つ前のフレームの超解像画像として、このｘｒ，ｔを用いて処理を行う。また、次のフレームｔ＋１のステップＳ３３では、事前誤差行列Ｐｂ，ｔ＋１を計算する場合に、このＰａ，ｔを用いる。
【００７５】
画像処理システム２０は、ステップＳ１〜Ｓ５の処理を、各フレームの低解像画像が入力されるたびに行う。この結果、フレーム毎に超解像画像が得られる。そして、フレーム毎の超解像画像のシーケンスが超解像動画像となる。よって、画像処理システム２０によって、低解像の動画像から超解像動画像を生成することができる。画像処理システム２０は、フレーム順に超解像画像を出力する。
【００７６】
本実施形態によれば、幾何変換行列算出手段２１が、ステップＳ１で、低解像画像ｙｔ−１およびｙｔを超解像画像と同画素数の画像Ｙｔ−１，Ｙｔに拡大し、Ｙｔ−１からＹｔへの幾何的な変形を表す変換行列をＭｔ，ｔ−１を算出し、さらに幾何変換信頼度を計算する。幾何変換信頼度の値が小さい場合は、変換の信頼度が低く、画像の位置合わせがうまくいっていないことを意味する。逆に、幾何変換信頼度の値が大きい場合は、変換の信頼度が高く、画像の位置合わせがうまくいっていることを意味する。本実施形態では、誤差パラメータ設定手段２４が、幾何変換信頼度に基づいて共分散行列Ｑ，Ｒを設定する。そして、超解像画像予測手段２２は、このＱを用いて事前誤差行列Ｐｂ，ｔを計算し、超解像画像更新手段２３は、そのＰｂ，ｔおよびＲを用いてカルマンゲインを計算する。さらに、超解像画像更新手段２３は、そのカルマンゲインを用いて現フレームにおける超解像画像ｘｒ，ｔを計算する。従って、画像処理システム２０は、画像Ｙｔ−１，Ｙｔの位置合わせに失敗するような場合でも、その場合に応じたパラメータＱ，Ｒを設定して、超解像画像ｘｒ，ｔを計算するので、超解像画像の画質低下を防止することができる。
【００７７】
すなわち、超解像画像更新手段２３が、フレーム毎に、重み付けを行うための行列としてカルマンゲインを計算するが、このカルマンゲインに、幾何変換信頼度が反映されている。この結果、フレーム毎に適切な重みが設定されるので、超解像画像の画質を向上させることができる。
【００７８】
より具体的に説明すると、画像処理システム２０は、幾何変換行列Ｍｔ，ｔ−１を用いた超解像画像の予測の信頼性が低い場合には、現フレームｔに入力された低解像画像ｙｔに関する重みを大きくすることができる。逆に、幾何変換行列Ｍｔ，ｔ−１を用いた超解像画像の予測の信頼性が高い場合には、超解像画像の予測結果ｘｐ，ｔに対する重みを大きくすることができる。その結果、幾何変換行列Ｍｔ，ｔ−１による超解像画像の予測に失敗することがあっても、超解像画像が破綻することを防ぐことができる。
【００７９】
また、本発明では、超解像画像更新手段２３が、ステップＳ３２で計算した差分を用いて、ステップＳ３３で現フレームｔの超解像画像の予測結果を更新する。従って、超解像画像の精度を高めることができる。具体的には、超解像画像を縮小して低解像度化した場合に、元の低解像画像との差が小さい画像が得られる。このことは、生成した超解像画像の精度が高いことを意味する。
【００８０】
なお、画像シーケンスにおける第１のフレーム（最初のフレーム）には、その１つ前のフレームが存在しない。そこで、第１のフレームに関しては、第１のフレームの低解像画像を超解像画像の画素数と同じ画素数にアップサンプリングした画像を、超解像画像とみなし、図８に示す処理を第２のフレームから行ってもよい。この場合、第２のフレームに関して式（５）の計算を行う場合には、第１のフレームにおける事後誤差行列Ｐａ，１が例えば単位行列であると仮定してよい。
【００８１】
また、第１のフレームの１つ前のフレームにおける低解像画像として、第１のフレームの低解像画像と同一の画像を用い、また、第１のフレームの低解像画像をアップサンプリングした画像を、第１のフレームの１つ前のフレームにおける超解像画像をみなして、第１のフレームから図８に示す処理を行ってもよい。この場合にも、第１のフレームの１つ前のフレームにおける事後誤差行列が例えば単位行列であると仮定すればよい。
【００８２】
また、シーンチェンジ直後のように、現フレームｔと、その前のフレームｔ−１とで画像が完全に異なる場合がある。この場合には、誤差パラメータ設定手段２４は、予測ノイズに関する共分散行列Ｑの成分を全て０とし、画像処理システム３０は現フレームｔの低解像画像だけから超解像画像を生成してもよい。この場合、超解像画像予測手段２２は、現フレームｔの低解像画像を拡大した画像を現フレームｔの超解像画像の予測とすればよい。他の動作は、上記の第１の実施形態と同様である。
【００８３】
シーンチェンジがあったか否かの判定は、幾何変換信頼度が予め定めた閾値以下となっているか否かにより判定すればよい。この閾値は、閾値以下の値が０と見なせる程度の小さな値として定めておけばよい。そして、例えば、誤差パラメータ設定手段２４が、幾何変換信頼度が閾値以下であるならば、シーンチェンジが生じたと判定し、幾何変換信頼度が閾値より大きければ、シーンチェンジは生じていないと判定すればよい。
【００８４】
また、シーンチェンジの他の判定方法として、以下の方法を採用してもよい。例えば、誤差パラメータ設定手段２４が、現フレームｔの低解像画像と、前のフレームｔ−１の低解像画像とで、対応する画素同士の差分の絶対値を画素毎に判定する。誤差パラメータ設定手段２４は、画像全体（全画素）について求めた差分の絶対値の総和が閾値以上であれば、シーンチェンジが生じたと判定し、差分の絶対の総和が閾値未満であればシーンチェンジが生じていないと判定してもよい。
【００８５】
なお、ここでは、誤差パラメータ設定手段２４がシーンチェンジの有無の判定を行う場合を例にしたが、他の構成要素がシーンチェンジの有無を判定してもよい。
【００８６】
また、現フレームｔがシーンチェンジ直後と判定された場合、処理の順序を過去のフレームから進めるのではなく、時間的に後のフレームから前のフレームに進めることで超解像画像を生成してもよい。すなわち、本発明の画像処理システムは、時間的に先のフレームｔ＋１の超解像画像からの幾何変換に基づいて、現フレームｔの超解像画像を予測し、その予測結果を、入力された低解像画像ｙｔに基づいて更新して、現フレームｔの超解像画像を生成してもよい。
【００８７】
次に、第１の実施形態の変形例について説明する。
上記の説明では、式（３）および式（４）で表される状態空間モデルにおける状態（超解像画像）を求めるためにカルマンフィルタを適用する場合を示した。カルマンフィルタの代わりに他のフィルタを用いてもよい。例えば、以下に示す参考文献等に記載されたパーティクルフィルタを適用してもよい。
【００８８】
［参考文献］
M.Sanjeev Arulampalam, Simon Maskell, Neil Gordon, Tim Clapp, "A Tutorial on Particle Filters for Online Nonlinear/Non-Gaussian Bayesian Tracking," IEEE Transactions on Signal Processing Vol.50, No.2, pp.174-188, 2002.
【００８９】
また、上記の例では、現フレームｔにおける低解像画像ｙｔと、ｘｐ，ｔからシミュレーションで求めた低解像画像ＤＢｘｐ，ｔとの差分（ｙｔ−ＤＢｘｐ，ｔ）に対して、アップサンプリングおよび重み付けを行うための行列（例えばカルマンゲインＫｔ）を乗算する場合を説明した。アップサンプリングおよび重み付けを行うための行列は、カルマンゲインＫｔ以外であってもよい。
【００９０】
実施形態２．
第１の実施形態では、カルマンゲインを用いた重み付け計算を行う場合を示した。第２の実施形態では、スカラである幾何変換信頼度を重み係数として用いて、式（１１）の代わりに、以下に示す式（１３）の計算を行うことによって、現フレームにおける超解像画像ｘｒ，ｔを計算する。
【００９１】
ｘｒ，ｔ＝ｒ×ｘｐ，ｔ＋（１−ｒ）Ｕ（ｙｔ−ＤＢｘｐ，ｔ）          式（１３）
【００９２】
式（１３）において、ｒは、幾何変換信頼度である。ただし、幾何変換信頼度ｒは０から１までの範囲の値となるように正規化されているものとする。Ｕは、例えばバイリニア補間またはバイキュービック補間等により、（ｙｔ−ＤＢｘｐ，ｔ）を超解像画像と同画素数にアップサンプリングすることを表す行列である。
【００９３】
図１０は、本発明の第２の実施形態の画像処理システムの例を示すブロック図である。第２の実施形態の画像処理システム３０は、幾何変換行列算出手段２１と、超解像画像予測手段２２と、超解像画像更新手段３３とを備える。第１の実施形態と同様の構成要素については、図７と同一の符号を付し、詳細な説明を省略する。ただし、超解像画像予測手段２２は事前誤差行列を算出しない。また、本実施形態では、誤差パラメータ設定手段２４を備えず、幾何変換行列算出手段２１は、計算した幾何変換信頼度を超解像画像更新手段３３に入力する。
【００９４】
超解像画像更新手段３３は、超解像画像の予測結果ｘｐ，ｔに対するシミュレーションを行い、現フレームｔの低解像画像を模擬的に算出する。さらに、超解像画像更新手段３３は、現フレームｔにおける低解像画像ｙｔと、シミュレーションで得た低解像画像との差分を計算する。この処理は、第１の実施形態における超解像画像構成手段２３の処理と同様である。ただし、超解像画像更新手段３３は、計算した差分と、現フレームにおける超解像画像の予測結果ｘｐ，ｔとの重み付き平均を計算して、現フレームｔにおける超解像画像ｘｒ，ｔを計算する場合に、幾何変換信頼度ｒと、（１−ｒ）とをそれぞれ重み係数として、前述の式（１３）に示す重み付き平均の計算を行う。
【００９５】
従って、本実施形態では、超解像画像更新手段３３は、事後誤差行列およびカルマンゲインを算出しない。
【００９６】
幾何変換行列算出手段２１、超解像画像予測手段２２および超解像画像更新手段３３は、例えば、画像処理用プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、コンピュータのプログラム記憶手段（図示略）に記憶された画像処理用プログラムをＣＰＵが読み込み、ＣＰＵがそのプログラムに従って、幾何変換行列算出手段２１、超解像画像予測手段２２および超解像画像更新手段３３として動作する。また、幾何変換行列算出手段２１、超解像画像予測手段２２および超解像画像更新手段３３がそれぞれ別々の回路として実現されていてもよい。
【００９７】
次に、本実施形態の動作について説明する。図１１は、本実施形態の処理経過の例を示すフローチャートである。
【００９８】
画像処理システム３０には、低解像の動画像をなす低解像画像が時間順に入力される。処理対象とする現フレームｔの低解像画像が入力されると、幾何変換行列算出手段２１は、幾何変換行列Ｍｔ，ｔ−１を算出する（ステップＳ４１）。ステップＳ４１の動作は、第１の実施形態のステップＳ１（図８参照）と同様である。例えば、幾何変換行列算出手段２１は、第１の実施形態と同様に、低解像画像ｙｔ−１を拡大した画像Ｙｔ−１を生成し、低解像画像ｙｔを拡大した画像Ｙｔを生成する。Ｙｔ−１，Ｙｔは、超解像画像と同画素数の画像である。そして、幾何変換行列算出手段２１は、前述の式（７）の値が最小となるときのＭｔ，ｔ−１を特定してもよい。
【００９９】
次に、幾何変換行列算出手段２１は、幾何変換信頼度を算出する（ステップＳ４２）。ステップＳ４２の動作は、第１の実施形態のステップＳ２（図８参照）と同様である。すなわち、幾何変換行列算出手段２１は、Ｍｔ，ｔ−１算出時に低解像画像から拡大した画像Ｙｔ−１，Ｙｔのうち、現フレームに対応する画像Ｙｔを基準として、Ｙｔ−１を幾何変換行列Ｍｔ，ｔ−１で変換した結果と、基準画像Ｙｔとの差が大きいほど、幾何変換信頼度が小さくなり、その差が小さいほど幾何変換信頼度が大きくなるように、幾何変換信頼度を定めればよい。ただし、幾何変換行列算出手段２１は、幾何変換信頼度ｒの値が０から１までの範囲の値となるように幾何変換信頼度ｒを正規化する。幾何変換行列算出手段２１は、計算した幾何変換信頼度を超解像画像更新手段３３に入力する。
【０１００】
次に、超解像画像予測手段２２は、１つ前のフレームｔ−１で生成された超解像画像ｘｒ，ｔ−１を、幾何変換行列Ｍｔ，ｔ−１を用いて変形させることで、現フレームｔの超解像画像の予測ｘｐ，ｔを生成する（ステップＳ４３）。ステップＳ４３の動作は、ステップＳ４（図８参照）におけるｘｐ，ｔ生成動作と同様である。すなわち、超解像画像予測手段２２は、前述の式（１０）の計算を行うことによって、現フレームｔの超解像画像の予測ｘｐ，ｔを求めればよい。
【０１０１】
ステップＳ４３の次に、超解像画像更新手段３３は、ステップＳ４３で計算された超解像画像の予測結果ｘｐ，ｔを更新することによって、現フレームにおける超解像画像ｘｒ，ｔを計算する（ステップＳ４４）。この動作の態様は、上述の第１の実施形態と異なる。図１２は、第２の実施形態における超解像画像の予測結果更新（ステップＳ４４）の処理経過の例を示すフローチャートである。
【０１０２】
第２の実施形態では、ステップＳ４４において、超解像画像更新手段３３は、ステップＳ４３で計算された現フレームｔの超解像画像の予測結果ｘｐ，ｔからシミュレーションによって、現フレームｔの低解像画像を生成する。そして、超解像画像更新手段３３は、実際に現フレームｔにおいて入力された低解像画像ｙｔと、シミュレーションによってｘｐ，ｔから生成した低解像画像との差分を計算する（ステップＳ５１）。ステップＳ５１の処理は、第１の実施形態におけるステップＳ３２（図９参照）と同様である。例えば、超解像画像更新手段３３は、ぼかしを表す行列Ｂおよびダウンサンプリングを表す行列Ｄを用いたシミュレーションにより、低解像画像を、ＤＢｘｐ，ｔの計算により求める。そして、ｙｔとの差分を、（ｙｔ−ＤＢｘｐ，ｔ）の計算によって求めればよい。
【０１０３】
次に、超解像画像更新手段３３は、現フレームｔの超解像画像の予測結果ｘｐ，ｔと、ステップＳ５１で計算した差分（ｙｔ−ＤＢｘｐ，ｔ）との重み付き平均を計算する（ステップＳ５２）。具体的には、超解像画像更新手段３３は、幾何変換行列算出手段２１に入力された幾何変換信頼度ｒをｘｐ，ｔ側の重み係数とし、（１−ｒ）を、差分（ｙｔ−ＤＢｘｐ，ｔ）側の重み係数とする。ただし、ｘｐ，ｔ側と、（ｙｔ−ＤＢｘｐ，ｔ）とは、画素数が異なっているので、（ｙｔ−ＤＢｘｐ，ｔ）にＵ（アップサンプリングを表す行列）を乗じ、その結果に（１−ｒ）を乗じる。超解像画像更新手段３３は、このように重み係数ｒ、（１−ｒ）を用いて、前述の式（１３）の計算を行う。
【０１０４】
図１２に示すように、超解像画像更新手段３３は、ステップＳ５１〜Ｓ５４のループ処理を行う。ステップＳ５２の次には、超解像画像更新手段３３は、このループ処理を終了するか否かを判定する（ステップＳ５３）。例えば、超解像画像更新手段３３は、直前のステップＳ５２で求めたｘｒ，ｔと、前回のステップＳ５２で求めたｘｒ，ｔとの差が閾値以下になったならば、ｘｒ，ｔが収束したとみなし、ループ処理を終了すると判定すればよい。また、直前のステップＳ５２で求めたｘｒ，ｔと、前回のステップＳ５２で求めたｘｒ，ｔとの差が閾値より大きければ、ｘｒ，ｔが収束していないとみなして、ループ処理を続行すると判定すればよい。
【０１０５】
ループ処理を続行する場合（ステップＳ５３のＮ）、超解像画像更新手段３３は、超解像画像の予測結果ｘｐ，ｔを、直前のステップＳ５２で求めたｘｒ，ｔに更新する（ステップＳ５４）。そして、超解像画像更新手段３３は、その新たな超解像画像の予測ｘｐ，ｔを用いて、ステップＳ５１以降のループ処理を繰り返す。
【０１０６】
ループ処理を終了すると判定した場合（ステップＳ５３のＹ）、超解像画像更新手段３３は、直前のステップＳ５２で計算されたｘｒ，ｔを現フレームｔの超解像画像として出力する。
【０１０７】
なお、ステップＳ５３の終了判定は、他の方法で行ってもよい。例えば、ステップＳ５１〜Ｓ５４のループ処理の実行回数を予め定めておき、ｘｒ，ｔを計算する処理（ステップＳ５２）の実施回数が所定回数に達したならば、超解像画像更新手段３３は、ループ処理を終了すると判定してもよい。
【０１０８】
第２の実施形態においても、第１の実施形態と同様の効果が得られ、精度の高い超解像画像を生成することができる。すなわち、幾何変換信頼度ｒが低い場合には、Ｕ（ｙｔ−ＤＢｘｐ，ｔ）の重みを高くするように調整することで、ｘｒ，ｔの精度低下を防止することができる。
【０１０９】
なお、カルマンフィルタを適用した第１の実施形態と、第２の実施形態とを比較すると、カルマンフィルタを適用した場合の方が、ループ処理を繰り返す必要がなく、演算時間を短縮できる。よって、第１の実施形態のようにカルマンフィルタを適用して処理を行うことが好ましい。
【０１１０】
図１３は、本発明による画像処理システムの具体的な構成例を示す。コンピュータ４０には、低解像画像の動画として、フレーム毎の低解像画像が順次入力される画像入力手段４１が設けられる。同様に、コンピュータ４０には、超解像画像の動画として、フレーム毎の超解像画像を順次出力する画像出力手段４２が設けられる。さらに、コンピュータ４０は、画像処理用プログラムを記憶する記憶媒体４３を備える。記憶媒体４３は、例えば、磁気ディスク、半導体メモリ等の記憶装置によって実現されるが、記憶媒体４３の態様は特に限定されない。記憶媒体４３は、コンピュータに着脱可能な記憶媒体であってもよい。コンピュータ４０のＣＰＵ（図示略）は、記憶媒体４３から画像処理用プログラムを読み込み、そのプログラムに従って、例えば、第１の実施形態の画像処理システム２０（図７参照）、または、第２の実施形態の画像処理システム３０（図１０参照）として、動作する。
【０１１１】
次に、本発明の最小構成について説明する。図１４は、本発明の最小構成を示すブロック図である。本発明の画像処理システムは、幾何変換パラメータ算出手段５１と、超解像画像予測手段５２と、超解像画像生成手段５３とを備える。
【０１１２】
幾何変換パラメータ算出手段５１（例えば、幾何変換行列算出手段２１）は、前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータ（例えば、幾何変換行列Ｍｔ，ｔ−１）を算出し、当該幾何変換パラメータの信頼度（例えば、幾何変換信頼度）を計算する。
【０１１３】
解像画像予測手段５２（例えば、超解像画像予測手段２２）は、前のフレームに生成された超解像画像を幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成する。
【０１１４】
超解像画像生成手段５３（例えば、超解像画像更新手段２３，３３）は、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成する。そして、超解像画像生成手段５３は、重み付き平均を計算する際に、幾何変換パラメータの信頼度に基づいて重み付き平均を計算する。
【０１１５】
そのような構成によれば、動画の高解像度化を行う場合において、画像の位置合わせが失敗することによって高解像画像の画質低下が生じるという問題を解決することができる。
【０１１６】
また、上記の実施形態には、以下の（１）〜（５）に示す構成の画像処理システムが開示されている。
【０１１７】
（１）前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータ（例えば、幾何変換行列Ｍｔ，ｔ−１）を算出し、幾何変換パラメータの信頼度（例えば、幾何変換信頼度）を計算する幾何変換パラメータ算出手段（例えば、幾何変換行列算出手段２１）と、前のフレームに生成された超解像画像を幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測（例えば、ｘｐ，ｔ）を生成する超解像画像予測手段（例えば、超解像画像予測手段２２）と、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像（例えば、ｙｔ）と、シミュレーションで計算した低解像画像（例えば、ＤＢｘｐ，ｔ）との差分を計算し、当該差分（例えば、（ｙｔ−ＤＢｘｐ，ｔ））を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成する超解像画像生成手段（例えば、超解像画像更新手段２３，３３）とを備え、超解像画像生成手段が、幾何変換パラメータの信頼度に基づいて重み付き平均を計算することを特徴とする画像処理システム。
【０１１８】
（２）超解像画像生成手段（例えば、第１の実施形態における超解像画像更新手段２３）が、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像（例えば、ｙｔ）と、シミュレーションで計算した低解像画像（例えば、ＤＢｘｐ，ｔ）との差分を計算し、カルマンフィルタを適用することによって、当該差分（例えば、（ｙｔ−ＤＢｘｐ，ｔ））を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算し、当該重み付き平均の計算結果を現フレームの超解像画像とする画像処理システム。
【０１１９】
（３）前のフレームの超解像画像に基づいて現フレームの超解像画像を表す場合におけるノイズ（例えば、ｗｔ）を表す第１の誤差パラメータ（例えば、共分散行列Ｑ）と、現フレームの超解像画像に基づいて現フレームの低解像画像を表す場合におけるノイズ（例えば、ｖｔ）を表す第２の誤差パラメータ（例えば、共分散行列Ｒ）とを、幾何変換パラメータの信頼度に基づいて設定する誤差パラメータ設定手段（例えば、誤差パラメータ設定手段２４）を備え、超解像画像生成手段が、第１の誤差パラメータと第２の誤差パラメータとに基づくカルマンゲイン（例えば、Ｋｔ）を計算し、カルマンゲインに、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分（例えば、（ｙｔ−ＤＢｘｐ，ｔ））を乗じ、現フレームの超解像画像の予測結果に加算することで、差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算する画像処理システム。
【０１２０】
（４）超解像画像生成手段（例えば、第２の実施形態における超解像画像更新手段３３）が、幾何変換パラメータの信頼度をｒとしたときに、ｒを現フレームの超解像画像の予測結果の重み係数とし、１−ｒを、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分のアップサンプリング結果の重み係数として重み付き平均を計算する画像処理システム。
【０１２１】
（５）超解像画像生成手段が、現フレームの超解像画像の予測結果に対して、被写体の撮像プロセス（例えば、ぼかしおよびダウンサンプリング）を表すシミュレーション計算を行うことにより、現フレームの低解像画像を算出する画像処理システム。
【０１２２】
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１２３】
この出願は、２００９年８月１３日に出願された日本特許出願２００９−１８７７６８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１２４】
本発明は、低解像画像の動画を高解像画像の動画に変換する画像処理システムに好適に適用できる。例えば、ＮＴＳＣ（National Television System Committee）方式のビデオカメラで撮影された動画像を録画する際に、ハイビジョンと同等の画質やハイビジョンと同等の解像度にリアルタイムに変換しながら保存する画像処理システムに適用できる。また、ＮＴＳＣ方式で録画されたビデオ信号を再生機で再生する際に、ハイビジョンと同等の画質やハイビジョンと同等の解像度にリアルタイムに変換しながら表示機器に出力する画像処理システムにも適用可能である。また、ハイビジョン対応のテレビジョン受像機でＮＴＳＣ方式の映像を受信し、表示する際に、ハイビジョンと同等の画質やハイビジョンと同等の解像度にリアルタイムに変換しながら表示するテレビジョン受像機にも適用可能である。
【符号の説明】
【０１２５】
２１  幾何変換行列算出手段
２２  超解像画像予測手段
２３，３３  超解像画像更新手段
２４  誤差パラメータ設定手段
【図１】
2011018878.tif 000004
【図２】
2011018878.tif 000005
【図３】
2011018878.tif 000006
【図４】
2011018878.tif 000007
【図５】
2011018878.tif 000008
【図６】
2011018878.tif 000009
【図７】
2011018878.tif 000010
【図８】
2011018878.tif 000011
【図９】
2011018878.tif 000012
【図１０】
2011018878.tif 000013
【図１１】
2011018878.tif 000014
【図１２】
2011018878.tif 000015
【図１３】
2011018878.tif 000016
【図１４】
2011018878.tif 000017
【国際調査報告】
2011018878.tif 000018
2011018878.tif 000019
2011018878.tif 000020
2011018878.tif 000021