(57)【要約】  複数枚の低解像度画像を合成して高解像度画像を生成する超解像処理において、動き推定誤差に起因するノイズを抑制した高品質な高解像度画像を生成する。動き推定手段１１は、入力された複数枚の低解像度画像の中から選択した基準画像と残りの参照画像との間の画素の動きを推定し、動き推定結果を出力する。動き推定信頼性評価手段１２は、動き推定手段１１から出力された動き推定結果の信頼性を、動き推定結果によって対応付けられる画素の輝度の類似度などにより評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する。高解像度画像推定手段１６は、動き推定信頼性評価手段１２から出力された動き推定信頼性評価値に応じた重みで、入力された各低解像度画像の各画素を合成し、高解像度画像を生成する。
2007142109.tif 000002
【特許請求の範囲】
【請求項１】
複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化装置において、
低解像度画像間の画素の動きを推定し、動き推定結果を出力する動き推定手段と、
該動き推定手段が出力した動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価手段と、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた合成方法で合成する高解像度画像推定手段とを備えたことを特徴とする画像高解像度化装置。
【請求項２】
請求項１記載の画像高解像度化装置において、
前記高解像度画像推定手段が、信頼性の低い画素は、影響が弱く或いは全く影響しないように高解像度画像を合成することを特徴とする画像高解像度化装置。
【請求項３】
請求項１または２記載の画像高解像度化装置において、
前記高解像度画像推定手段が、信頼性の高い画素は、影響が強く現れるように高解像度画像を合成することを特徴とする画像高解像度化装置。
【請求項４】
請求項１記載の画像高解像度化装置において、
前記高解像度画像推定手段が、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた重みで合成することを特徴とする画像高解像度化装置。
【請求項５】
請求項１乃至４いずれか一に記載の画像高解像度化装置において、
前記動き推定手段が、
２枚の低解像度画像の組み合わせにおいて、一方の低解像度画像上に存在する注目画素の、他方の低解像度画像への動きを推定して第１の動き推定結果として出力すると共に、前記他方の低解像度画像上に存在する、前記注目画素と対応する対応画素の、前記一方の低解像度画像への動きを推定して第２の動き推定結果として出力する構成を有し、
前記動き推定信頼性評価手段が、
前記第１の動き推定結果に対する動き推定信頼性評価値を、前記第１の動き推定結果と、前記第２の動き推定結果との対応関係に基づいて算出する対応関係評価手段を備えたことを特徴とする画像高解像度化装置。
【請求項６】
請求項５記載の画像高解像度化装置において、
前記第１及び第２の動き推定結果が、動き推定ベクトルであり、且つ、
前記対応関係評価手段が、前記第１の動き推定結果に対応する動き推定ベクトルと前記第２の動き推定結果に対応する動き推定ベクトルとの加算ベクトルの大きさに応じた動き推定信頼性評価値を算出する構成を有することを特徴とする画像高解像度化装置。
【請求項７】
請求項１乃至６いずれか一に記載の画像高解像度化装置において、
前記動き推定信頼性評価手段が、
前記動き推定手段が推定した前記画素の動きに対する動き推定信頼性評価値を、前記画素と前記画素に対応する対応画素との輝度の類似度に基づいて算出する類似度評価手段を備えたことを特徴とする画像高解像度化装置。
【請求項８】
請求項１乃至７いずれか一に記載の画像高解像度化装置において、
前記動き推定手段が推定した前記画素の動きの動き量に応じた移動距離評価値を算出する移動距離評価手段を備え、且つ、
前記高解像度画像推定手段が、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記移動距離評価手段で算出された移動距離評価値とに応じた重みで合成する構成を有することを特徴とする画像高解像度化装置。
【請求項９】
請求項１乃至７いずれか一に記載の画像高解像度化装置において、
前記複数枚の低解像度画像の撮影時刻の差分に応じた時間的距離評価値を算出する時間的距離評価手段を備え、且つ、
前記高解像度画像推定手段が、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記時間的距離評価手段で算出された時間的距離評価値とに応じた重みで合成する構成を有することを特徴とする画像高解像度化装置。
【請求項１０】
複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化装置において、
前記複数枚の低解像度画像の中から１枚の基準画像を選択し、該選択した基準画像と残りの各参照画像との間の画素の動きを推定して動き推定結果を出力する動き推定手段と、  該動き推定手段が出力した動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価手段と、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成し、第１の高解像度画像を生成する高解像度画像推定手段と、
前記基準画像を拡大し、前記第１の高解像度画像と同一サイズの第２の高解像度画像を生成する基準画像拡大手段と、
前記第１の高解像度画像の各画素と前記第２の高解像度画像の各画素とを前記動き推定信頼性評価値に応じた重みで合成する高解像度画像合成手段とを備えたことを特徴とする画像高解像度化装置。
【請求項１１】
複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化装置において、
前記複数枚の低解像度画像の中から１枚の基準画像を選択し、該選択した基準画像と残りの各参照画像との間の画素の動きを推定して動き推定結果を出力する動き推定手段と、  該動き推定手段が出力した動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価手段と、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成して第１の高解像度画像を生成する際、各画素の重みを前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じたものにする高解像度画像推定手段と、
前記基準画像を拡大して前記第１の高解像度画像と同一サイズの第２の高解像度画像を生成する基準画像拡大手段と、
前記第１の高解像度画像の各画素と前記第２の高解像度画像の各画素とを前記動き推定信頼性評価値に応じた重みで合成する高解像度画像合成手段とを備えたことを特徴とする画像高解像度化装置。
【請求項１２】
請求項１０または１１記載の画像高解像度化装置において、
前記動き推定手段が推定した前記画素の動きの動き量に応じた移動距離評価値を算出する移動距離評価手段を備え、且つ、
前記高解像度画像合成手段が、
前記第１の高解像度画像の各画素と前記第２の高解像度画像の各画素とを合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記移動距離評価手段で算出された移動距離評価値とに応じた重みで合成する構成を有することを特徴とする画像高解像度化装置。
【請求項１３】
請求項１０または１１記載の画像高解像度化装置において、
前記複数枚の低解像度画像の撮影時刻の差分に応じた時間的距離評価値を算出する時間的距離評価手段を備え、且つ、
前記高解像度画像合成手段が、
前記第１の高解像度画像の各画素と前記第２の高解像度画像の各画素とを合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記時間的距離評価手段で算出された時間的距離評価値とに応じた重みで合成する構成を有することを特徴とする画像高解像度化装置。
【請求項１４】
複数枚の低解像度画像間の画素の動きを推定し、動き推定結果を利用して前記複数枚の低解像度画像を合成することにより高解像度画像を生成する画像高解像度化方法において、
前記動き推定結果の信頼性に基づいて、前記複数枚の低解像度画像を合成する合成方法を変更することを特徴とする画像高解像度化方法。
【請求項１５】
複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化方法において、
低解像度画像間の画素の動きを推定し、動き推定結果を出力する動き推定ステップと、  前記動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価ステップと、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価値に応じた合成方法で合成する高解像度画像推定ステップとを含むことを特徴とする画像高解像度化方法。
【請求項１６】
請求項１５記載の画像高解像度化方法において、
前記高解像度画像推定ステップでは、信頼性の低い画素は、影響が弱く或いは全く影響しないように高解像度画像を合成することを特徴とする画像高解像度化方法。
【請求項１７】
請求項１５または１６記載の画像高解像度化方法において、
前記高解像度画像推定ステップでは、信頼性の高い画素は、影響が強く現れるように高解像度画像を合成することを特徴とする画像高解像度化方法。
【請求項１８】
請求項１５記載の画像高解像度化方法において、
前記高解像度画像推定ステップでは、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価値に応じた重みで合成することを特徴とする画像高解像度化方法。
【請求項１９】
請求項１５乃至１８いずれか一に記載の画像高解像度化方法において、
前記動き推定ステップでは、
２枚の低解像度画像の組み合わせにおいて、一方の低解像度画像上に存在する注目画素の、他方の低解像度画像への動きを推定して第１の動き推定結果として出力すると共に、前記他方の低解像度画像上に存在する、前記注目画素と対応する対応画素の、前記一方の低解像度画像への動きを推定して第２の動き推定結果として出力し、
前記動き推定信頼性評価ステップでは、
前記第１の動き推定結果に対する動き推定信頼性評価値を、前記第１の動き推定結果と、前記第２の動き推定結果との対応関係に基づいて算出することを特徴とする画像高解像度化方法。
【請求項２０】
請求項１９記載の画像高解像度化方法において、
前記第１及び第２の動き推定結果が、動き推定ベクトルであり、且つ、
前記動き推定信頼性評価ステップでは、前記第１の動き推定結果に対応する動き推定ベクトルと前記第２の動き推定結果に対応する動き推定ベクトルとの加算ベクトルの大きさに応じた動き推定信頼性評価値を算出することを特徴とする画像高解像度化方法。
【請求項２１】
請求項１５乃至２０いずれか一に記載の画像高解像度化方法において、
前記動き推定信頼性評価ステップでは、
前記動き推定ステップで推定した前記画素の動き推定結果に対する動き推定信頼性評価値を、前記画素と前記画素に対応する対応画素との輝度の類似度に基づいて算出することを特徴とする画像高解像度化方法。
【請求項２２】
請求項１５乃至２１いずれか一に記載の画像高解像度化方法において、
前記動き推定ステップで推定した前記画素の動きの動き量に応じた移動距離評価値を算出する移動距離評価ステップを含み、
前記高解像度画像推定ステップでは、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価値と前記移動距離評価値とに応じた重みで合成することを特徴とする画像高解像度化方法。
【請求項２３】
請求項１５乃至２１いずれか一に記載の画像高解像度化方法において、
前記複数枚の低解像度画像の撮影時刻の差分に応じた時間的距離評価値を算出する時間的距離評価ステップを含み、且つ、
前記高解像度画像推定ステップでは、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価値と前記時間的距離評価値とに応じた重みで合成することを特徴とする画像高解像度化方法。
【請求項２４】
コンピュータを、複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化装置として機能させるためのプログラムであって、
前記コンピュータを、
低解像度画像間の画素の動きを推定し、動き推定結果を出力する動き推定手段、
該動き推定手段が出力した動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価手段、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた合成方法で合成する高解像度画像推定手段として機能させるためのプログラム。
【請求項２５】
請求項２４記載のプログラムにおいて、
前記高解像度画像推定手段が、信頼性の低い画素は、影響が弱く或いは全く影響しないように高解像度画像を合成することを特徴とするプログラム。
【請求項２６】
請求項２４または２５記載のプログラムにおいて、
前記高解像度画像推定手段が、信頼性の高い画素は、影響が強く現れるように高解像度画像を合成することを特徴とするプログラム。
【請求項２７】
請求項２４記載のプログラムにおいて、
前記高解像度画像推定手段が、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた重みで合成することを特徴とするプログラム。
【請求項２８】
請求項２４乃至２７いずれか一に記載のプログラムにおいて、
前記動き推定手段が、
２枚の低解像度画像の組み合わせにおいて、一方の低解像度画像上に存在する注目画素の、他方の低解像度画像への動きを推定して第１の動き推定結果として出力すると共に、前記他方の低解像度画像上に存在する、前記注目画素と対応する対応画素の、前記一方の低解像度画像への動きを推定して第２の動き推定結果として出力する構成を有し、
前記動き推定信頼性評価手段が、
前記第１の動き推定結果に対する動き推定信頼性評価値を、前記第１の動き推定結果と、前記第２の動き推定結果との対応関係に基づいて算出する対応関係評価手段を備えたことを特徴とするプログラム。
【請求項２９】
請求項２８記載のプログラムにおいて、
前記第１及び第２の動き推定結果が、動き推定ベクトルであり、且つ、
前記対応関係評価手段が、前記第１の動き推定結果に対応する動き推定ベクトルと前記第２の動き推定結果に対応する動き推定ベクトルとの加算ベクトルの大きさに応じた動き推定信頼性評価値を算出する構成を有することを特徴とするプログラム。
【請求項３０】
請求項２４乃至２９いずれか一に記載のプログラムにおいて、
前記動き推定信頼性評価手段が、
前記動き推定手段が推定した前記画素の動き推定結果に対する動き推定信頼性評価値を、前記画素と前記画素に対応する対応画素との輝度の類似度に基づいて算出する類似度評価手段を備えたことを特徴とするプログラム。
【請求項３１】
請求項２４乃至３０いずれか一に記載のプログラムにおいて、
前記コンピュータを、
前記動き推定手段が推定した前記画素の動きの動き量に応じた移動距離評価値を算出する移動距離評価手段として機能させ、且つ、
前記高解像度画像推定手段が、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記移動距離評価手段で算出された移動距離評価値とに応じた重みで合成する構成を有することを特徴とするプログラム。
【請求項３２】
請求項２４乃至３０いずれか一に記載のプログラムにおいて、
前記コンピュータを、
前記複数枚の低解像度画像の撮影時刻の差分に応じた時間的距離評価値を算出する時間的距離評価手段として機能させ、且つ、
前記高解像度画像推定手段が、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記時間的距離評価手段で算出された時間的距離評価値とに応じた重みで合成する構成を有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願）本発明は先の日本特許出願、特願２００６−１５１９００号（２００６年５月３１日出願）の優先権主張に基づき、この先の出願の全記載内容は、引用をもって本書に繰込み記載されたものとみなされる。
本発明は、複数枚の低解像度画像から高解像度画像を生成する画像高解像度化技術に関し、特に動き推定誤差によって生成高解像度画像上に生じるノイズを低減させ、人間の見た目に高品質な画像を生成する技術に関する。
【背景技術】
【０００２】
従来から、同一シーンを撮影した位置ずれのある複数の低解像度画像を合成し、高解像度画像を生成する画像高解像度化方法が提案されている。【０００３】
図２１に、複数枚の低解像度画像を合成して高解像度画像を生成する従来の高解像度化装置の構成例を示す。従来の高解像度化装置は、動き推定手段７１と高解像度画像推定手段７２とを備える。動き推定手段７１は、複数枚の低解像度画像を入力とし、それらの内の、高解像度化する基準画像の各画素について、参照画像との間の動き（位置ずれ）を推定し、推定結果を出力する。高解像度化装置においては、低解像度画像間の位置ずれの検出を画素単位未満の精度（サブピクセル精度）で行う必要がある。【０００４】
動きを推定する手法は、領域ベース手法と特徴ベース手法とに分類できる。領域ベース手法の一般的な方法としてブロックマッチング法がある。ブロックマッチング法は、はじめに低解像度画像を必要とする精度の得られる解像度まで拡大した後にブロックマッチング処理によって移動ベクトルを求める方法である。ブロックマッチング処理は、画像I1中の注目画素(i,j)についてのある大きさのテンプレートブロックと参照画像I2中のブロックとの画素値の差分評価関数の値εを最小とする画素精度の移動ベクトル(ux,uy)を求める処理である。εを算出する方法の例を式（１）と式（２）に示す。I1(i,j)とI2(i,j)は、それぞれ画像I1及び画像I2の座標(i,j)における画素値を表す。但し、BLはブロックサイズである。【０００５】
【数１】
2007142109.tif 000003
【数２】
2007142109.tif 000004
【０００６】
高解像度画像推定手段７２は、低解像度画像と動き推定結果を入力とし、これらの情報から高解像度画像を推定して出力する。高解像度画像推定手段７２の例として、式(３）で表される最尤推定や式（４）の最大事後確率（ＭＡＰ）推定の評価関数を最小化するｘを推定結果として出力する手法がある（例えば、非特許文献１参照）。ただし、ｘは高解像度画像、ｙは低解像度画像、Ａは画像間の動きやダウンサンプリングなどを含んだ画像変換行列、Ｃはハイパスフィルタ、λは定数である。また、画像変換行列Ａに含まれる画像間の動きは、前出した式（１）や式（２）を用いて算出した移動ベクトルを反映したものになっている。【０００７】
【数３】
2007142109.tif 000005
【数４】
2007142109.tif 000006
【０００８】
複数の低解像度画像を合成して高解像度画像を生成する高解像度化の手法は一般に超解像処理と呼ばれる。動き推定処理を含む超解像処理では、前述したように、サブピクセル精度で動き推定を行う必要があるが、ピクセル単位の低解像度画像に基づいて、サブピクセル精度の動き推定を行うことは困難であり、誤差が含まれるのが一般的である。そして、この誤差が高解像度画像に不自然なノイズを発生させる主要な原因となる。【０００９】
しかし、前出の式（３）や式（４）を用いて高解像度画像を生成する、非特許文献１に記載されている従来の技術では、動き推定に含まれる誤差が全く考慮されていない。このため、非特許文献１に記載されている従来の技術では、動き推定に誤差があった場合、生成された高解像度画像に不自然なノイズが発生してしまうという問題があった。即ち、非特許文献１に記載されている従来の技術では、動き推定結果に誤差がないことを前提にして高解像度画像を生成するようにしているため、生成した高解像度画像に不自然なノイズが発生してしまう場合があった。【００１０】
一方、超解像処理により生成する高解像度画像の画質を改善するための技術として、従来、次のような技術が提案されている（特許文献１参照）。【００１１】
特許文献１においては、基準画像と各参照画像との間の動き推定ベクトルと、基準画像と各参照画像との間の時間的距離（例えば、フレーム番号の差分）と、生成しようとしている高解像度画像中の画素（生成画素）と各低解像度画像中の上記生成画素に最も近い画素との間の距離（画素間距離）とに基づいて、各低解像度画像の各画素に対する重みを決定し、この重みを考慮して各低解像度画像の各画素を合成することにより高解像度画像を生成するようにしている。【００１２】
図２２は、特許文献１に記載されている高解像度化装置の構成例を示すブロック図であり、動き推定手段９１と、動き距離評価手段９２と、動き推定評価手段９３と、重み生成手段９４と、高解像度画像推定手段９５とを備える。【００１３】
動き推定手段９１は、複数枚の低解像度画像を入力とし低解像度画像間の動き推定結果（動き推定ベクトル）を出力する。動き距離評価手段９２は、動き推定ベクトルを入力とし、動き推定ベクトルの大きさと画像間の時間的距離と画素間距離とを評価する。より具体的には、動き距離評価手段９２は、動き推定ベクトルの大きさ、時間的距離および画素間距離それぞれについて、その値が大きいほど、画質を劣化させる可能性が高いと評価する。【００１４】
動き推定評価手段９３は、上記動き距離評価手段９２の３つの評価を統合する。重み生成手段９４は、各低解像度画像の各画素に対する重みを決定し、高解像度画像推定手段９５は、重み生成手段９４で決定された重みを利用して各低解像度画像を合成し、高解像度画像を出力する。【００１５】
【特許文献１】特開２００６−０３３０６２号公報
【非特許文献１】S. C. Park and M. K. Park and M. G. Kang, “Super-Resolution Image Reconstruction: A Technical Overview”, IEEE Signal Processing Magazine, vol.20, no.3, pp.21-36, May 2003.
【発明の開示】
【発明が解決しようとする課題】
【００１６】
以下の分析は、本発明の観点からなされたものである。
上記特許文献１及び非特許文献１の全開示事項は、本書に引用をもって繰込み記載されているものとする。【００１７】
上述した特許文献１に記載されている従来の技術によれば、動き推定ベクトルの大きさ、時間的距離および画素間距離に基づいて、各低解像度画像の各画素を合成させる際の重みを決定し、この重みに従って各低解像度画像を合成しているため、非特許文献１に記載されている従来の技術に比較して、高解像度画像の画質を向上させることができる。しかしながら、特許文献１に記載されている従来の技術では、動き推定結果の信頼性（確からしさ）を全く評価していないため、高解像度画像の画質劣化を充分に抑制することができないという問題があった。即ち、動き推定を含む超解像処理では、動き推定における誤差が、生成される高解像度画像に不自然なノイズを発生させる主要な原因となるが、特許文献１に記載されている従来の技術では、動き推定における誤差を全く考慮していないため、画質劣化を充分に抑制することができない。【００１８】
そこで、本発明の目的は、動き推定の信頼性を評価し、評価した信頼性を考慮して低解像度画像を合成することにより、動き推定誤差に起因するノイズを抑制した高品質な高解像度画像を生成できるようにすることにある。
【課題を解決するための手段】
【００１９】
本発明の第１の視点によれば、
複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化装置において、
低解像度画像間の画素の動きを推定し、動き推定結果を出力する動き推定手段と、
該動き推定手段が出力した動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価手段と、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた合成方法で合成する高解像度画像推定手段とを備える画像高解像度化装置が提供される。【００２０】
更には、上記画像高解像度化装置の、前記高解像度画像推定手段に、信頼性の低い画素は、影響が弱く或いは全く影響しないように高解像度画像を合成させることも望ましい。【００２１】
更には、上記画像高解像度化装置の、前記高解像度画像推定手段に、信頼性の高い画素は、影響が強く現れるように高解像度画像を合成させることも望ましい。【００２２】
更には、上記画像高解像度化装置の、前記高解像度画像推定手段に、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた重みで合成させることも望ましい。【００２３】
更には、上記画像高解像度化装置の、前記動き推定手段が、
２枚の低解像度画像の組み合わせにおいて、一方の低解像度画像上に存在する注目画素の、他方の低解像度画像への動きを推定して第１の動き推定結果として出力すると共に、前記他方の低解像度画像上に存在する、前記注目画素と対応する対応画素の、前記一方の低解像度画像への動きを推定して第２の動き推定結果として出力するよう構成し、
前記動き推定信頼性評価手段に、
前記第１の動き推定結果に対する動き推定信頼性評価値を、前記第１の動き推定結果と、前記第２の動き推定結果との対応関係に基づいて算出する対応関係評価手段を備えさせることも望ましい。【００２４】
更には、上記第１及び第２の動き推定結果が、動き推定ベクトルであり、且つ、
前記対応関係評価手段が、前記第１の動き推定結果に対応する動き推定ベクトルと前記第２の動き推定結果に対応する動き推定ベクトルとの加算ベクトルの大きさに応じた動き推定信頼性評価値を算出するように構成することも望ましい。【００２５】
更には、上記画像高解像度化装置の、前記動き推定信頼性評価手段に、
前記動き推定手段が推定した前記画素の動きに対する動き推定信頼性評価値を、前記画素と前記画素に対応する対応画素との輝度の類似度に基づいて算出する類似度評価手段を備えさせることも望ましい。【００２６】
更には、上記画像高解像度化装置に、
前記動き推定手段が推定した前記画素の動きの動き量に応じた移動距離評価値を算出する移動距離評価手段を備えさせ、且つ、前記高解像度画像推定手段が、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記移動距離評価手段で算出された移動距離評価値とに応じた重みで合成するよう構成することも望ましい。【００２７】
更には、上記画像高解像度化装置に、前記複数枚の低解像度画像の撮影時刻の差分に応じた時間的距離評価値を算出する時間的距離評価手段を備えさせ、且つ、前記高解像度画像推定手段が、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記時間的距離評価手段で算出された時間的距離評価値とに応じた重みで合成するよう構成することも望ましい。【００２８】
本発明の第２の視点によれば、
前記複数枚の低解像度画像の中から１枚の基準画像を選択し、該選択した基準画像と残りの各参照画像との間の画素の動きを推定して動き推定結果を出力する動き推定手段と、  該動き推定手段が出力した動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価手段と、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成し、第１の高解像度画像を生成する高解像度画像推定手段と、
前記基準画像を拡大し、前記第１の高解像度画像と同一サイズの第２の高解像度画像を生成する基準画像拡大手段と、
前記第１の高解像度画像の各画素と前記第２の高解像度画像の各画素とを前記動き推定信頼性評価値に応じた重みで合成する高解像度画像合成手段とを備え、複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化装置が提供される。【００２９】
本発明の第３の視点によれば、
前記複数枚の低解像度画像の中から１枚の基準画像を選択し、該選択した基準画像と残りの各参照画像との間の画素の動きを推定して動き推定結果を出力する動き推定手段と、  該動き推定手段が出力した動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価手段と、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成して第１の高解像度画像を生成する際、各画素の重みを前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じたものにする高解像度画像推定手段と、
前記基準画像を拡大して前記第１の高解像度画像と同一サイズの第２の高解像度画像を生成する基準画像拡大手段と、
前記第１の高解像度画像の各画素と前記第２の高解像度画像の各画素とを前記動き推定信頼性評価値に応じた重みで合成する高解像度画像合成手段とを備え、複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化装置が提供される。【００３０】
更には、上記画像高解像度化装置に、前記動き推定手段が推定した前記画素の動きの動き量に応じた移動距離評価値を算出する移動距離評価手段を備えさせ、且つ、前記高解像度画像合成手段が、前記第１の高解像度画像の各画素と前記第２の高解像度画像の各画素とを合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記移動距離評価手段で算出された移動距離評価値とに応じた重みで合成するよう構成することも望ましい。【００３１】
更には、上記画像高解像度化装置に、前記複数枚の低解像度画像の撮影時刻の差分に応じた時間的距離評価値を算出する時間的距離評価手段を備えさせ、且つ、前記高解像度画像合成手段が、前記第１の高解像度画像の各画素と前記第２の高解像度画像の各画素とを合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記時間的距離評価手段で算出された時間的距離評価値とに応じた重みで合成するよう構成することも望ましい。【００３２】
本発明の第４の視点によれば、複数枚の低解像度画像間の画素の動きを推定し、前記動き推定結果の信頼性に基づいて、前記複数枚の低解像度画像を合成し高解像度画像を生成する画像高解像度化方法が提供される。【００３３】
本発明の第５の視点によれば、
低解像度画像間の画素の動きを推定し、動き推定結果を出力する動き推定ステップと、
前記動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価ステップと、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価値に応じた合成方法で合成する高解像度画像推定ステップとを含み、複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化方法が提供される。【００３４】
更には、上記画像高解像度化方法の前記高解像度画像推定ステップで、信頼性の低い画素は、影響が弱く或いは全く影響しないように高解像度画像を合成させることも望ましい。【００３５】
更には、上記画像高解像度化方法の前記高解像度画像推定ステップで、信頼性の高い画素は、影響が強く現れるように高解像度画像を合成させることも望ましい。【００３６】
更には、上記画像高解像度化方法の前記高解像度画像推定ステップで、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価値に応じた重みで合成させることも望ましい。【００３７】
本発明の第６の視点によれば、複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化方法において、低解像度画像間の画素の動きを推定し、動き推定結果を出力する動き推定ステップと、前記動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価ステップと、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価値に応じた重みで合成する高解像度画像推定ステップとを含む画像高解像度化方法が提供される。【００３８】
更には、上記画像高解像度化方法の前記動き推定ステップで、
２枚の低解像度画像の組み合わせにおいて、一方の低解像度画像上に存在する注目画素の、他方の低解像度画像への動きを推定して第１の動き推定結果として出力すると共に、前記他方の低解像度画像上に存在する、前記注目画素と対応する対応画素の、前記一方の低解像度画像への動きを推定して第２の動き推定結果として出力させ、
前記動き推定信頼性評価ステップで、
前記第１の動き推定結果に対する動き推定信頼性評価値を、前記第１の動き推定結果と、前記第２の動き推定結果との対応関係に基づいて算出させることも望ましい。【００３９】
更には、上記画像高解像度化方法の前記第１及び第２の動き推定結果が、動き推定ベクトルであり、且つ、前記動き推定信頼性評価ステップで、前記第１の動き推定結果に対応する動き推定ベクトルと前記第２の動き推定結果に対応する動き推定ベクトルとの加算ベクトルの大きさに応じた動き推定信頼性評価値を算出させることも望ましい。【００４０】
更には、上記画像高解像度化方法の前記動き推定信頼性評価ステップで、前記動き推定ステップで推定した前記画素の動き推定結果に対する動き推定信頼性評価値を、前記画素と前記画素に対応する対応画素との輝度の類似度に基づいて算出させることも望ましい。【００４１】
更には、上記画像高解像度化方法において、更に、前記動き推定ステップで推定した前記画素の動きの動き量に応じた移動距離評価値を算出する移動距離評価ステップを含み、  前記高解像度画像推定ステップで、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価値と前記移動距離評価値とに応じた重みで合成させることも望ましい。【００４２】
更には、上記画像高解像度化方法において、更に、前記複数枚の低解像度画像の撮影時刻の差分に応じた時間的距離評価値を算出する時間的距離評価ステップを含み、且つ、前記高解像度画像推定ステップで、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価値と前記時間的距離評価値とに応じた重みで合成させることも望ましい。【００４３】
本発明の第７の視点によれば、コンピュータを、
低解像度画像間の画素の動きを推定し、動き推定結果を出力する動き推定手段、
該動き推定手段が出力した動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価手段、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた合成方法で合成する高解像度画像推定手段として機能させ、
複数枚の低解像度画像を合成して画像高解像度化装置として機能させるプログラムが提供される。【００４４】
更には、上記プログラムにおいて、前記高解像度画像推定手段として機能するコンピュータが、信頼性の低い画素は、影響が弱く或いは全く影響しないように高解像度画像を合成することも望ましい。【００４５】
更には、上記プログラムにおいて、前記高解像度画像推定手段として機能するコンピュータが、信頼性の高い画素は、影響が強く現れるように高解像度画像を合成することも望ましい。【００４６】
更には、上記プログラムにおいて、前記高解像度画像推定手段として機能するコンピュータが、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた重みで合成することも望ましい。【００４７】
更には、上記プログラムにおいて、前記動き推定手段として機能するコンピュータが、
２枚の低解像度画像の組み合わせにおいて、一方の低解像度画像上に存在する注目画素の、他方の低解像度画像への動きを推定して第１の動き推定結果として出力すると共に、前記他方の低解像度画像上に存在する、前記注目画素と対応する対応画素の、前記一方の低解像度画像への動きを推定して第２の動き推定結果として出力すると共に、
前記コンピュータが、前記第１の動き推定結果に対する動き推定信頼性評価値を、前記第１の動き推定結果と、前記第２の動き推定結果との対応関係に基づいて算出する対応関係評価手段としても機能する構成とすることもできる。【００４８】
更には、上記プログラムにおいて、
前記第１及び第２の動き推定結果が、動き推定ベクトルであり、且つ、前記対応関係評価手段として機能するコンピュータが、前記第１の動き推定結果に対応する動き推定ベクトルと前記第２の動き推定結果に対応する動き推定ベクトルとの加算ベクトルの大きさに応じた動き推定信頼性評価値を算出することも望ましい。【００４９】
更には、上記プログラムにおいて、
前記コンピュータが、前記動き推定手段が推定した前記画素の動き推定結果に対する動き推定信頼性評価値を、前記画素と前記画素に対応する対応画素との輝度の類似度に基づいて算出する類似度評価手段としても機能する構成とすることもできる。【００５０】
更には、上記プログラムにおいて、前記コンピュータを、前記動き推定手段が推定した前記画素の動きの動き量に応じた移動距離評価値を算出する移動距離評価手段としても機能させ、且つ、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記移動距離評価手段で算出された移動距離評価値とに応じた重みで合成する高解像度画像推定手段としても機能する構成とすることもできる。【００５１】
更には、上記プログラムにおいて、前記コンピュータを、前記複数枚の低解像度画像の撮影時刻の差分に応じた時間的距離評価値を算出する時間的距離評価手段としても機能させ、且つ、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記時間的距離評価手段で算出された時間的距離評価値とに応じた重みで合成する高解像度画像推定手段としても機能する構成とすることもできる。【００５２】
〔作用〕
動き推定手段は、入力された複数枚の低解像度画像を参照して低解像度画像間の画素の動きを推定し、動き推定結果を出力する。動き推定信頼性評価手段は、動き推定手段から出力された動き推定結果の信頼性を、動き推定結果によって対応付けられる画素の輝度の類似度などにより評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する。高解像度画像推定手段は、動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた合成方法で、入力された各低解像度画像の各画素を合成し、高解像度画像を生成する。【００５３】
ここで、高解像度画像推定手段は、各低解像度画像の各画素を合成する際、信頼性の低い画素は、影響が弱く或いは全く影響しないように合成し、信頼性の高い画素は、影響が強く現れるように合成する。このように各低解像度画像の各画素を合成するために、動き推定信頼性評価値に応じた重みを利用して合成するようにすることもできる。
【発明の効果】
【００５４】
本発明によれば、動き推定誤差に起因するノイズを抑制した高品質な高解像度画像を生成することができるという効果を得ることができる。その理由は、動き推定結果の信頼性を評価し、評価した信頼性を考慮して低解像度画像を合成するようにしているからである。ここで、ノイズを発生させる主要な原因は、動き推定誤差であるので、動き推定結果の信頼性を評価し、評価した信頼性に応じて低解像度画像を合成することにより、極めて高品質な高解像度画像を生成することが可能になる。図２０（Ａ），（Ｂ）は、それぞれ非特許文献１に記載されている従来技術により生成した高解像度画像、および本発明の画像高解像度化装置により生成した高解像度画像を示した図である。同図から分かるように、本発明の画像高解像度化装置によれば、ノイズのない高品質が高解像度画像を生成することが可能になる。
【図面の簡単な説明】
【００５５】
【図１】本発明の第一の実施例に係る画像高解像度化装置の構成を示すブロック図である。
【図２】入力低解像度画像群の構成および動き推定手段１１の動作を説明するための図である。
【図３】動き推定信頼性評価手段１２の構成例を示すブロック図である。
【図４】類似度評価値ｑ(α,β)を決定する方法を説明するための図である。
【図５】類似度評価値ｑ(α,β)を決定する他の方法を説明するための図である。
【図６】動き距離評価手段１３の構成例を示すブロック図である。
【図７】移動距離評価値ｒ(α,β)を決定する方法を説明するための図である。
【図８】時間的距離評価値ｓ(β)を決定する方法を説明するための図である。
【図９】第一の実施例の動作例を示すフローチャートである。
【図１０】本発明にかかる画像高解像度化装置の第二の実施例の構成例を示すブロック図である。
【図１１】第二の実施例の動作例を示すフローチャートである。
【図１２】本発明の第三の実施例に係る画像高解像度化装置の構成を示すブロック図である。
【図１３】第三の実施例の動作例を示すフローチャートである。
【図１４】本発明の第四の実施例に係る画像高解像度化装置の例構成を示すブロック図である。
【図１５】第四の実施例の動作例を示すフローチャートである。
【図１６】本発明の第五の実施例に係る画像高解像度化装置の構成を示すフローチャートである。
【図１７】第五の実施例の動作例を示すフローチャートである。
【図１８】本発明の第六の実施例に係る画像高解像度化装置の構成を示すフローチャートである。
【図１９】第六の実施例の動作例を示すフローチャートである。
【図２０】本発明の効果を表した図である。
【図２１】従来技術の構成例を示すブロック図である。
【図２２】他の従来技術の構成例を示すブロック図である。
【符号の説明】
【００５６】
１、１ａ〜１ｅ…画像高解像度化装置
１１…動き推定手段
１２…動き推定信頼性評価手段
１２１…対応関係評価手段
１２２…類似度評価手段
１３…動き距離評価手段
１３１…移動距離評価手段
１３２…時間的距離評価手段
１４…動き推定評価手段
１５…重み付け行列算出手段
１６…高解像度画像推定手段
２１…動き推定手段
２２…動き推定信頼性評価手段
２３…動き推定評価手段
２４…重み付け行列算出手段
２５…高解像度画像推定手段
３１…動き推定手段
３２…動き推定信頼性評価手段
３３…動き距離評価手段
３４…動き推定評価手段
３５…合成重み算出手段
３６…高解像度画像推定手段
３７…基準画像拡大手段
３８…高解像度画像合成手段
４１…動き推定手段
４２…動き推定信頼性評価手段
４３…動き推定評価手段
４４…合成重み算出手段
４５…高解像度画像推定手段
４６…基準画像拡大手段
４７…高解像度画像合成手段
５１…動き推定手段
５２…動き推定信頼性評価手段
５３…動き距離評価手段
５４…動き推定評価手段
５５…合成重み算出手段
５６…重み付け行列算出手段
５７…高解像度画像推定手段
５８…基準画像拡大手段
５９…高解像度画像合成手段
６１…動き推定手段
６２…動き推定信頼性評価手段
６３…動き推定評価手段
６４…合成重み算出手段
６５…重み付け行列算出手段
６６…高解像度画像推定手段
６７…基準画像拡大手段
６８…高解像度画像合成手段
７１…動き推定手段
７２…高解像度画像推定手段
８１…基準画像
８２…１枚目の入力画像
８３…２枚目の入力画像
８４…Ｎ枚目の入力画像
９１…動き推定手段
９２…動き距離評価手段
９３…動き推定評価手段
９４…重み生成手段
９５…高解像度画像推定手段
【発明を実施するための最良の形態】
【００５７】
次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。【００５８】
〔第一の実施例〕
図１は、本発明の第一の実施例に係る画像高解像度化装置の構成例を示すブロック図である。図１に示す画像高解像度化装置１は、動き推定手段１１と、動き推定信頼性評価手段１２と、動き距離評価手段１３と、動き推定評価手段１４と、重み付け行列算出手段１５と、高解像度画像推定手段１６とを備え、画像サイズＭの低解像度画像（画像数Ｎ）を入力として高解像度画像（画素数Ｋ）を出力する。図１と図２２とを比較すると、従来の画像高解像度化装置に動き推定信頼性評価手段１２が新たに加えられていることが分かる。【００５９】
動き推定手段１１は、Ｎ枚の低解像度画像を入力とし、１枚の基準画像と、残りの（Ｎ−１）枚の参照画像との間の画素毎の動きを推定し、動き推定結果を出力する。図２に動き推定手段１１の動作説明図を示す。動き推定手段１１は、はじめにＮ枚の低解像度画像の内の、第Ｎｂ番目（枚目）の画像を高解像度化する基準画像８１として選択し、基準画像８１以外の画像群を参照画像とする。図２の例では参照画像として、参照画像８２〜８４が示されている。その後、動き推定手段１１は、動き推定結果として、参照画像８２〜８４の各画素についての基準画像８１への動き推定ベクトルｕ(α,β)と、参照画像８２〜８４の画素と対応する基準画像８１の画素についての参照画像への動き推定ベクトルｖ(α,β)とを前出した式（１）や式（２）を利用して算出して出力する。ここで、βは、参照画像の指標を表し、１≦β≦Ｎ（但しβ＝Ｎｂを除く）によって定義され、αは、画素を示す指標であり、1≦α≦Ｍで定義される。なお、動き推定ベクトルｕ(α,β)，ｖ(α,β)の算出方法は、上記した方法に限られるものではなく、例えば、注目画素αを含むブロックの動き推定ベクトルｕ(α,β)，ｖ(α,β)を推定し、そのブロックに含まれている全ての画素の動き推定ベクトルを上記推定した動き推定ベクトルとする方法などを採用することもできる。【００６０】
更に、動き推定手段１１は、動き推定ベクトルｕ(α,β)，ｖ(α,β)を動き推定結果として出力する処理以外にも、参照画像８２〜８４の各画素について、基準画像８１への動き推定ベクトルｕ(α,β)によって対応付けられる画素との輝度の類似度を示すマッチング距離値Ｓ(α,β)を算出して出力する処理、および基準画像８１と各参照画像８２〜８４との間の撮影時刻の差分に関連する時間的距離Δｔ(β)を算出して出力する処理を行っている。時間的距離Δｔ(β)としては、例えば、撮影時刻の秒単位の差分値や、動画像におけるフレーム数の差分値などを採用することができる。【００６１】
マッチング距離値Ｓ(α,β)の算出方法としては、例えば、前出の式（１）、および式（２）のブロックマッチング処理による算出方法がある。これは対応関係にある画素の周辺情報を用い、それらの画素の差の絶対値和や二乗和をとる方法である。式（１）、および式（２）を用いる場合、マッチング距離値Ｓ(α,β)が小さいほど類似度が高く、マッチング距離値Ｓ(α,β)が大きいほど類似度は低くなる。これ以外にも、マッチング距離値Ｓ(α,β)を算出する際、用いる周辺情報の範囲を変化させることにより、大きな周辺領域のマッチング距離値と小さい周辺領域のマッチング距離値等、複数のマッチング距離値Ｓ(α,β)を算出する方法もある。更に、マッチング距離値Ｓ(α,β)は、本来画素間の類似度を評価することが目的であるので、画素の差分値の総和などの距離値ではなく、領域内画素値の相関係数などの類似度を利用する方法を採用しても良い。更に、注目画素を含むブロックと対応ブロックのマッチング距離値Ｓ(α,β)を求め、それをブロックに含まれる全ての画素のマッチング距離値Ｓ(α,β)とする方法や、ブロック内の対応画素同士の輝度の差の絶対値や二乗値をその画素のマッチング距離値Ｓ(α,β)とする方法を採用しても良い。【００６２】
動き推定信頼性評価手段１２は、動き推定手段１１から出力された動き推定ベクトルｕ(α,β)，ｖ(α,β)と、マッチング距離値Ｓ(α,β)とを入力とし、動き推定評価値として、対応関係評価値ｐ(α,β)と類似度評価値ｑ(α,β)とを出力する。図３は、動き推定信頼性評価手段１２の構成例を示すブロック図である。図３に示す動き推定信頼性評価手段１２は、対応関係評価手段１２１と類似度評価手段１２２とを備える。【００６３】
対応関係評価手段１２１は、動き推定手段１１から出力された動き推定ベクトルｕ(α,β)，ｖ(α,β)を元に、参照画像の注目画素と基準画像の対応画素との関係が１対１の対応関係にあるか否かを示す対応関係評価値ｐ(α,β)を算出する。動き推定ベクトルｕ(α,β)は、参照画像から基準画像への動き推定結果であり、動き推定ベクトルｖ(α,β) は、基準画像から参照画像への動き推定結果である。一般に様々な要因により、探索基準を基準画像にするか、参照画像にするのかによって、動き推定ベクトルは異なるものになる。しかしながら推定される動き推定ベクトルは、基準画像から推定しても、参照画像から逆に推定しても、方向が正反対となるだけで大きさは一致するべきである。すなわちｕ(α,β)＋ｖ(α,β)＝０となるほど正確な動き推定であると考える。参照画像βの注目画素αにおける基準画像の対応画素との対応関係評価値ｐ(α,β)は、ｕ(α,β)＋ｖ(α,β)の加算ベクトルが０に近づくにつれて値が大きくなり、逆に加算ベクトルが大きくなるにつれて小さくなる。ｐ(α,β)の算出方法の一例を式(５)に示す。ただし、κはサブピクセル推定の曖昧さを考慮する閾値を表すパラメタである。【００６４】
【数５】
2007142109.tif 000007
【００６５】
類似度評価手段１２２は、動き推定手段１１から出力される、参照画像βの注目画素αと基準画像の対応画素とのマッチング距離値Ｓ(α,β)を元に、参照画像βの注目画素αにおける類似度評価値ｑ(α,β)を算出する。類似度評価手段１２２における評価値算出方法の一例として、図４に示すようなグラフを利用してマッチング距離値Ｓ(α,β)を類似度評価値ｑ(α,β)に変換する方法がある。すなわち、マッチング距離値Ｓ(α,β)の値が小さいほど動き推定結果の信頼性が高いと考えて類似度評価値ｑ(α,β)を大きくし、マッチング距離値Ｓ(α,β)が大きいほど動き推定結果の信頼性が低いと考えて類似度評価値ｑ(α,β)が小さくなるように変換する。類似度評価値ｑ(α,β)の数式による算出方法の一例を式（６）に示す。ただし、ｌ1およびｌ2は、あらかじめ決められた定数である（但しｌ1＜ｌ2）。【００６６】
【数６】
2007142109.tif 000008
【００６７】
更に、類似度評価値ｑ(α,β)の算出方法としては、上記したもの以外に、図５に示すようなマッチング距離値Ｓ(α,β)とその値に対応する類似度評価値ｑ(α,β)の値をデータとして持つあらかじめ用意されたテーブルから呼び出す方法を採用することもできる。また、動き推定手段１１からの出力が、大きな領域を用いた大局的なマッチング距離値、小さな領域を用いた局所的なマッチング距離値、注目画素を含むブロックのマッチング距離、注目画素と対応画素のマッチング距離など、注目画素についての複数種類のマッチング距離値Ｓ(α,β)を含む場合には、それぞれのマッチング距離値Ｓ(α,β)について類似度評価値ｑ(α,β)を算出し、最終的にそれらの積を類似度評価手段１２２の出力とする方法がある。【００６８】
動き距離評価手段１３は、動き推定手段１１から出力される動き推定ベクトルｕ(α,β)および時間的距離Δｔ(β)を入力とし、動き距離評価値として、移動距離評価値ｒ(α,β)及び時間的距離評価値ｓ(β)を出力する。図６は、動き距離評価手段１３の構成例を示すブロック図である。図６に示す動き距離評価手段１３は、移動距離評価手段１３１と時間的距離評価手段１３２とを備える。【００６９】
移動距離評価手段１３１は、動き推定手段１１から出力される動き推定ベクトルｕ(α,β)から、撮影対象物体と撮影媒体の位置関係の変化により生じる画像の変形を考慮する移動距離評価値ｒ(α,β)を算出する。移動距離評価手段１３１における移動距離評価値算出方法の一例として、図７に示すグラフのように、移動距離|ｕ(α,β)|から移動距離評価値ｒ(α,β)に変換する方法がある。移動距離|ｕ(α,β)|が小さいほど移動距離評価値ｒ(α,β)が大きくなり、移動距離|ｕ(α,β)|が大きいほど移動距離評価値ｒ(α,β)が小さくなる。参照画像βの注目画素αにおける移動距離評価値ｒ(α,β)の数式による算出方法の一例を式（７）に示す。ただし、ｋ1，ｋ2はパラメタである（但しｋ1＜ｋ2）。【００７０】
【数７】
2007142109.tif 000009
【００７１】
移動距離評価値ｒ(α,β)の算出は、類似度評価値q(α,β)の算出方法と同様にあらかじめ用意されているテーブルから呼び出すことによっても行うことが可能である。【００７２】
時間的距離評価手段１３２は、低解像度画像の撮影のタイミングの違いによる変形の影響を考慮する時間的距離評価値ｓ(β)を出力する。参照画像βの時間的距離評価値ｓ(β)は、基準画像と参照画像βとの撮影タイミングの時間的距離Δｔ(β)を元に、撮影環境や撮影対象の性質に合わせて決定された関数により算出することができる。時間的距離Δｔ(β)が小さい時には動き量も小さい可能性が高いので、評価結果が高くなるようにし、逆に時間的距離Δｔ(β)が大きい時には評価結果が低くなるようにする。図８に時間的距離Δｔ(β)から時間的距離評価値ｓ(β)への変換特性の一例を示す。時間的距離評価値ｓ(β)の算出は、図８の特性に従ってあらかじめ用意されたテーブルを参照することにより、求めることも可能である。【００７３】
動き推定評価手段１４は、対応関係評価値ｐ(α,β)、類似度評価値ｑ(α,β)、移動距離評価値ｒ(α,β)および時間的距離評価値ｓ(β)を統合し、入力低解像度画像のそれぞれの画素の動き推定評価値ρ(α,ｎ)を出力する。動き推定評価値ρ(α,ｎ)の算出方法の一例を式（８）に示す。動き推定評価値ρ(α,ｎ)は、基準画像８１を含む全ての低解像度画像に対して値を持ち、ｎが基準画像Ｎｂの場合は１．０となる。また、対応関係評価値、類似度評価値、移動距離評価値、時間的距離評価値の各評価値は、評価結果が高いほど値が大きくなっており、式（８）における動き推定評価値ρ(α,ｎ)は、各評価値の積を取る形式で表現している。なお、動き推定評価値ρ(α,ｎ)は、入力低解像度画像ｎの画素αについての動き推定評価値を表す。動き推定評価値ρ(α,ｎ)のその他の例として、各評価値の積ではなく平均値あるいは加重平均等によって評価値を統合する方法がある。動き推定評価値ρ(α,ｎ)の値は、値が高いほど動き推定の信頼性が高く、逆に値が低いほど動き推定の信頼性が低いことを意味する。【００７４】
【数８】
2007142109.tif 000010
【００７５】
重み付け行列算出手段１５は、動き推定評価値ρ(α,ｎ)から、入力された各低解像度画像のそれぞれの画素の合成の強さを表すＮ個のＭ行×Ｍ列の重み付け行列Ｗnを出力する。重み付け行列Ｗnによって低解像度画像の各画素の合成の強さを制御することにより、動き推定誤差により生じるノイズを抑制する効果がある。入力低解像度画像ｎの重み付け行列Ｗnの算出方法の一例を式（９）に示す。ただし、Ｗn(i,j)は、重み付け行列Ｗnのi行j列の要素である（１≦ｉ≦Ｍ、１≦ｊ≦Ｍ）。重み付け行列Ｗnの要素は、その値が大きいほど対応する画素についての動き推定の信頼性が高く、逆に小さいほど対応する画素の動き推定の信頼性が低いことを意味する。【００７６】
【数９】
2007142109.tif 000011
【００７７】
高解像度画像推定手段１６は、低解像度画像と、動き推定結果である動き推定ベクトルｕ(α,β)と、重み付け行列Ｗnとを入力とし、式（１０）または式（１１）で示される評価関数を最小化するｘを推定高解像度画像（画素数Ｋ）として出力する。重み付け行列Ｗnの要素が大きいつまり信頼性が高い場合は、その対応する画素の式（１０）および式（１１）の評価関数の値に与える影響が大きくなるため、生成される高解像度画像にその画素が与える影響は大きくなる。逆に、重み付け行列Ｗnの要素が小さいつまり信頼性が低い場合は、その対応する画素が評価関数の値に与える影響が小さくなるため、生成される高解像度画像にその画素が与える影響は小さくなる。なお、式（１０）、式（１１）における画像変換行例Ａｎは、式（３）、式（４）における画像変換行列Ａｎと同様に、画像間の動きやダウンサンプリングなどを含むものであり、画像間の動きは、動き推定手段１１が推定した動き推定ベクトルｕ(α,β)を反映したものとなる。【００７８】
【数１０】
2007142109.tif 000012
【数１１】
2007142109.tif 000013
【００７９】
なお、上述した機能を有する画像高解像度化装置１は、コンピュータによって実現可能であり、コンピュータによって実現する場合には、例えば、次のようにする。コンピュータを画像高解像度化装置１として機能させるためのプログラムを記録したディスク、半導体メモリ、その他の記録媒体を用意し、コンピュータに上記プログラムを読み取らせる。コンピュータは、読み取ったプログラムに従って自身の動作を制御することにより、自コンピュータ上に、動き推定手段１１、動き推定信頼性評価手段１２、動き距離評価手段１３、動き推定評価手段１４、重み付け行列算出手段１５および高解像度画像推定手段１６を実現する。【００８０】
〔第１の実施例の動作の説明〕
次に、図９のフローチャートを参照して本実施例の動作を説明する。【００８１】
先ず、動き推定手段１１が、入力されたＮ枚の低解像度画像を参照して動き推定を行い、動き推定ベクトルｕ(α,β)，ｖ(α,β)を出力する。更に、動き推定手段１１は、マッチング距離値Ｓ(α,β)を算出して出力すると共に、時間的距離Δｔ(β)も出力する（ステップＳ１１）。【００８２】
次に、動き推定信頼性評価手段１２内の対応関係評価手段１２１が、動き推定ベクトルｕ(α,β)，ｖ(α,β)を参照し、参照画像の各画素について、基準画像中の対応画素との対応関係評価値ｐ(α,β)を算出する（ステップＳ１２）。【００８３】
その後、動き推定信頼性評価手段１２内の類似度評価手段１２２が、マッチング距離値Ｓ(α,β)を参照し、参照画像の各画素について、基準画像中の対応画素との類似度評価値ｑ(α,β)を算出する（ステップＳ１３）。【００８４】
動き推定信頼性評価手段１２の処理が終了すると、動き距離評価手段１３内の移動距離評価手段１３１が、動き推定ベクトルｕ(α,β)を参照し、参照画像の各画素について、移動距離評価値ｒ(α,β)を算出する（ステップＳ１４）。【００８５】
その後、動き距離評価手段１３内の時間的距離評価手段１３２が、時間的距離Δｔ(β)を元に、時間的評価値ｓ(β)を算出する。（ステップＳ１５）。【００８６】
次に、動き推定評価手段１４が、動き推定信頼性評価手段１２で算出された対応関係評価値ｐ(α,β)および類似度評価値ｑ(α,β)と、動き距離評価手段１３で算出された移動距離評価値ｒ(α,β)および時間的距離評価値ｓ(α,β)とを参照し、動き推定評価値ρ(α,ｎ)を算出する（ステップＳ１６）。【００８７】
その後、重み付け行列算出手段１５が、動き推定評価値ρ(α,ｎ)を参照し、重み付け行列Ｗnを算出する（ステップＳ１７）。【００８８】
そして、最後に、高解像度画像推定手段１６が、入力低解像度画像、動き推定結果である動き推定ベクトルｕ(α,β)、重み付け行列Ｗｎを参照し、前出の式（１０）または式（１１）を最小化する高解像度画像を推定する（ステップＳ１８）。【００８９】
〔第一の実施例の効果〕
本実施例によれば、動き推定誤差に起因するノイズを抑制した高品質な高解像度画像を生成することができるという効果を得ることができる。その理由は、動き推定信頼性評価手段１２が動き推定手段１１から出力される動き推定結果〔動き推定ベクトルｕ(α,β)〕の信頼性を評価して、信頼性の度合いを示す動き推定信頼性評価値〔対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)〕を出力し、高解像度画像推定手段１６が、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)に応じた重みで各低解像度画像の各画素を合成するようにしているからである。【００９０】
〔第二の実施例〕
次に本発明の第二の実施例について説明する。前述した第一の実施例が、動き推定結果に対する信頼性の度合いを表す対応関係評価値ｐ(α,β)，類似度評価値ｑ(α,β)に加えて、移動距離評価値ｒ(α,β)，時間的距離評価値ｓ(β)も考慮した重み付け行列Ｗｎを用いて低解像度画像を合成しているのに対し、本実施例は、動き推定に対する信頼性の度合いを表す対応関係評価値ｐ(α,β)，類似度評価値ｑ(α,β)だけを考慮した重み付け行列Ｗｎを用いて低解像度画像を合成するようにしている。【００９１】
図１０は、本実施例にかかる画像高解像度化装置１ａの構成例を示すブロック図である。図１０に示す画像高解像度化装置１ａは、動き推定手段２１と、動き推定信頼性評価手段２２と、動き推定評価手段２３と、重み付け行列算出手段２４と、高解像度画像推定手段２５とを備える。図１０と図２２とを比較すると、従来技術の動き距離評価手段９２に代わり、動き推定信頼性評価手段２２が設けられていることが分かる。【００９２】
動き推定手段２１は、第一の実施例の動き推定手段１１と同様に、低解像度画像を入力として参照画像と基準画像との間の動き推定結果である動き推定ベクトルｕ(α,β)，ｖ(α,β)と、マッチング距離値Ｓ(α,β)とを出力する。なお、本実施例の動き推定手段２１は、時間的距離Δｔ(β)の算出は行わない。【００９３】
動き推定信頼性評価手段２２は、第一の実施例の動き推定信頼性評価値１２と同様に、対応関係評価手段（図示せず）と類似度評価手段（図示せず）とを備え、それぞれ対応関係評価値ｐ(α,β)および類似度評価値ｑ(α,β)を出力する。【００９４】
動き推定評価手段２３は、対応関係評価値ｐ(α,β)と類似度評価値ｑ(α,β)とを統合し、入力低解像度画像のそれぞれの画素の動き推定評価値ρ(α,ｎ)を出力する。動き推定評価値ρ(α,ｎ)の算出方法の一例を式（１２）に示す。【００９５】
【数１２】
2007142109.tif 000014
【００９６】
動き推定評価値ρ(α,ｎ)の算出方法のその他の例としては、各評価値の積ではなく平均値あるいは加重平均等によって評価値を統合する方法がある。【００９７】
重み付け行列算出手段２４は、第一の実施例の重み付け行列算出手段１５と同様に、動き推定評価値ρ(α,ｎ)を入力とし、重み付け行列Ｗｎを算出する。【００９８】
高解像度画像推定手段２５は、第一の実施例の高解像度画像推定手段１６と同様に、入力低解像度画像、動き推定結果である動き推定ベクトルｕ(α,β)及び重み付け行列Ｗｎを参照し、式（１０）または式（１１）を最小化する高解像度画像を推定する。【００９９】
なお、本実施例の画像高解像度化装置１ａも、第一の実施例の画像高解像度化装置１と同様にコンピュータによって実現することができる。【０１００】
〔第二の実施例の動作の説明〕
次に、図１１のフローチャートを参照して本実施例の動作について説明する。【０１０１】
先ず、動き推定手段２１が、入力低解像度画像を参照して動き推定を行い、動き推定ベクトルｕ(α,β)，ｖ(α,β)を出力すると共に、マッチング距離値Ｓ(α,β)を出力する（ステップＳ２１）。【０１０２】
次に、動き推定信頼性評価手段２２内の対応関係評価手段（図示せず）が、動き推定結果である動き推定ベクトルｕ(α,β)，ｖ(α,β)を参照し、参照画像の各画素について、基準画像中の対応画素との対応関係評価値ｐ(α,β)を算出する（ステップＳ２２）。【０１０３】
その後、動き推定信頼性評価手段２２内の類似度評価手段（図示せず）が、マッチング距離値Ｓ(α,β)を参照し、参照画像の各画素について、基準画像中の対応画素との類似度評価値ｑ(α,β)を算出する（ステップＳ２３）。【０１０４】
次いで、動き推定評価手段２３が、対応関係評価値ｐ(α,β)および類似度評価値ｑ(α,β)を参照し、動き推定評価値ρ(α,ｎ)を算出する（ステップＳ２４）。【０１０５】
その後、重み付け行列算出手段２４が、動き推定評価値ρ(α,ｎ)を参照し、重み付け行列Ｗｎを生成する（ステップＳ２５）。【０１０６】
そして、最後に、高解像度画像推定手段２５が、入力低解像度画像、動き推定結果である動き推定ベクトルｕ(α,β)および重み付け行列Ｗｎを参照し、前出の式（１０）または前記式（１１）を最小化する高解像度画像を推定する（ステップＳ２６）。【０１０７】
〔第二の実施例の効果〕
本実施例によれば、第一の実施例と同様の効果を得られると共に、処理速度を第一の実施例よりも速くすることができるという効果を得ることができる。その理由は、第一の実施例では、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)に加えて、移動距離評価値ｒ(α,β)及び時間的距離評価値ｓ(β)も考慮して低解像度画像を合成する際の重みを決定しているが、本実施例では、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)のみを考慮して重みを決定するようにしており、計算量を少なくすることができるからである。なお、高解像度画像にノイズを発生させる主な原因は、動き推定誤差であるので、本実施例にように、動き推定結果に対する信頼性の度合いを示す対応関係評価値ｐ(α,β)，類似度評価値ｑ(α,β)だけを考慮して重みを決定するようにしても、充分に高品質な高解像度画像を生成することができる。【０１０８】
〔第三の実施例〕
次に本発明の第三の実施例について説明する。図１２は、本発明の第三の実施例に係る画像高解像度化装置１ｂの構成例を示すブロック図である。図１２に示す画像高解像度化装置１ｂは、動き推定手段３１と、動き推定信頼性評価手段３２と、動き距離評価手段３３と、動き推定評価手段３４と、合成重み算出手段３５と、高解像度画像推定手段３６と、基準画像拡大手段３７と、高解像度画像合成手段３８とを備え、画像サイズＭの低解像度画像（画像数Ｎ）を入力として、画素数Ｋの高解像度画像を出力する。【０１０９】
動き推定手段３１は、第一の実施例における動き推定手段１１と同様に、低解像度画像を入力として参照画像と基準画像との間の動き推定結果である動き推定ベクトルｕ(α,β)，ｖ(α,β)と、マッチング距離値Ｓ(α,β)と、時間的距離Δｔ(β)とを出力する。【０１１０】
動き推定信頼性評価手段３２は、第一の実施例の動き推定信頼性評価手段１２と同様に、対応関係評価手段（図示せず）および類似度評価手段（図示せず）を備え、それぞれ対応関係評価値ｐ(α,β)および類似度評価値ｑ(α,β)を出力する。【０１１１】
動き距離評価手段３３は、第一の実施例の動き距離評価手段１３と同様に、移動距離評価手段（図示せず）および時間的距離評価手段（図示せず）を備え、それぞれ移動距離評価値ｒ(α,β)および時間的距離評価値ｓ(β)を出力する。【０１１２】
動き推定評価手段３４は、第一の実施例の動き推定評価手段１４と同様に、対応関係評価値ｐ(α,β)、類似度評価値ｑ(α,β)、移動距離評価値ｒ(α,β)及び時間的距離評価値ｓ(β)を入力とし、動き推定評価値ρ(α,ｎ)を出力する。【０１１３】
合成重み算出手段３５は、動き推定結果である動き推定ベクトルｕ(α,β)および動き推定評価値ρ(α,ｎ)を参照し、推定された高解像度画像と拡大した基準画像とを合成するための各画素の重みωを算出する。合成重みωを算出する方法の一例を以下に示す。【０１１４】
はじめに、入力低解像度画像ｎの画素αにおける動き推定評価値ρ(α,ｎ)と動き推定ベクトルｕ(α,ｎ)を基にして、基準画像Ｎｂの画素γにおける動き推定信頼性平均値φ(γ)を算出する。参照画像から基準画像への動き推定ベクトルｕ(α,ｎ)によって、参照画像ｎと基準画像Ｎｂの画素とが対応付けられているので、基準画像Ｎｂの画素γに対応する動き推定評価値ρ(α,ｎ)の値を求めることができる。なおｎ＝Ｎｂのときはρ(α,Ｎｂ)＝1.0である。得られた動き推定ベクトルｕ(α,ｎ)の状態によって（動き推定が誤っているか否かによって）、基準画像Ｎｂの画素γに対応する参照画像の画素数（参照画素数）は一定ではない。そこで画素γに対応する参照画像の画素数をν(γ)、画素γに対応する参照画像の画素の動き推定評価値ρ(α,ｎ)の総和をμ(γ)として定義すると、動き推定信頼性平均値φ(γ)は、式（１３）に示すものとなる。【０１１５】
【数１３】
2007142109.tif 000015
【０１１６】
次に、動き推定信頼性平均値φ(γ)の分布を画像と考えて、Bi-Cubic法などの一般的な補間方法を用いて拡大することにより、高解像度画像サイズの信頼性マップを作成する。得られた信頼性マップに対して低周波フィルタを作用させて分布を滑らかにした結果を合成重みωとして出力する。【０１１７】
高解像度画像推定手段３６は、入力低解像度画像と動き推定結果である動き推定ベクトルｕ(α,β)とを参照し、高解像度画像（推定高解像度画像）x1を推定する。高解像度画像推定手段３６における高解像度画像の推定方法の一例としては、前出の式（３）や式（４）の評価関数を最小化する方法がある。【０１１８】
基準画像拡大手段３７は、入力低解像度画像のうち、高解像度化する基準画像Ｎｂを、Bi-Cubic法などの一般的な補間手法を用いて拡大することにより、高解像度画像（拡大基準画像）x2を算出する。なお、高解像度画像x1，x2は同一サイズである。【０１１９】
高解像度画像合成手段３８は、高解像画像推定手段３６で推定された高解像度画像x1と、基準画像拡大手段３７で算出された高解像度画像x2と、合成重み算出手段３５で算出された合成重みωを参照し、出力高解像度画像xを算出する。高解像度画像xの算出方法の一例を式（１４）に示す。kは高解像度画像（画像サイズＫ）の画素値を示す（1≦k≦Ｋ）。x(k)、x1(k)、x2(k)及びω(k)は、それぞれ画素kにおけるxの値、x1の値、x2の値及びωの値である。ω(k)の値が大きいつまり動き推定の信頼性が高い画素には、複数枚の画像を合成した高解像度画像x1の影響が大きくなる。逆に、ω(k)の値が小さいつまり動き推定の信頼性が低い画素には、動き推定誤差により生じるノイズのない基準画像Ｎｂを拡大した高解像度画像x2の影響が大きくなる。【０１２０】
【数１４】
2007142109.tif 000016
【０１２１】
なお、本実施例の画像高解像度化装置１ｂも、画像高解像度化装置１，１ａと同様に、コンピュータによって実現することが可能である。【０１２２】
〔第三の実施例の動作の説明〕
次に、図１３のフローチャートを参照して本実施例の動作について説明する。【０１２３】
先ず、動き推定手段３１が、入力低解像度画像を参照して動き推定を行い、動き推定ベクトルｕ(α,β)，ｖ(α,β)を出力する。更に、動き推定手段３１は、マッチング距離値Ｓ(α,β)及び時間的距離Δｔ(β)も出力する（ステップＳ３１）。【０１２４】
次いで、動き推定信頼性評価手段３２が、動き推定ベクトルｕ(α,β)，ｖ(α,β)に基づいて対応関係評価値ｐ(α,β)を算出すると共に、マッチング距離値Ｓ(α,β)に基づいて類似度評価値ｑ(α,β)を算出する（ステップＳ３２）。【０１２５】
その後、動き距離評価手段３３が、動き推定ベクトルｕ(α,β)に基づいて移動距離評価値ｒ(α,β)を算出し、時間的距離Δｔ(β)に基づいて時間的距離評価値ｓ(β)を算出する（ステップＳ３３）。【０１２６】
次いで、動き推定評価手段３４が、対応関係評価値ｐ(α,β)、類似度評価値ｑ(α,β)、移動距離評価値ｒ(α,β)及び時間的距離評価値ｓ(β)に対して、前出の式（９）に示す演算を行うことにより、動き推定評価値ρ(α,ｎ)を算出する（ステップＳ３４）。【０１２７】
その後、合成重み算出手段３５が、動き推定結果である動き推定ベクトルｕ(α,β)及び動き推定評価値ρ(α,ｎ)を参照し、推定高解像度画像と拡大基準画像を合成するための合成重みωを算出する（ステップＳ３５）。【０１２８】
次いで、高解像度画像推定手段３６が、入力低解像度画像及び動き推定結果を参照し、前出の式（３）または式（４）を最小化する高解像度画像を推定する（ステップＳ３６）。【０１２９】
次に、基準画像拡大手段３７が、入力低解像度画像のうち、高解像度化する基準画像Ｎｂを参照し、基準画像Ｎｂを拡大した拡大基準画像を算出する（ステップＳ３７）。【０１３０】
そして、最後に、高解像度画像合成手段３８が、高解像度画像推定手段３６で推定された推定高解像度画像、基準画像拡大手段３７で拡大された拡大基準画像および合成重み算出手段３５で算出された合成重みωを参照し、出力する高解像度画像を算出する（ステップＳ３８）。【０１３１】
〔第三の実施例の効果〕
本実施例によれば、第一の実施例と同様の効果を得ることができる。【０１３２】
〔第四の実施例〕
次に、本発明の第四の実施例について説明する。図１４は、本発明の第四の実施に係る画像高解像度化装置１ｃの構成例を示すブロック図である。図１４に示す画像高解像度化装置１ｃは、動き推定手段４１と、動き推定信頼性評価手段４２と、動き推定評価手段４３と、合成重み算出手段４４と、高解像度画像推定手段４５と、基準画像拡大手段４６と、高解像度画像合成手段４７とを備え、画像サイズＭの低解像度画像（画像数Ｎ）を入力として、画素数Ｋの高解像度画像を出力する。【０１３３】
動き推定手段４１は、第二の実施例における動き推定手段２１と同様に、低解像度画像を入力として、参照画像と基準画像との間の動き推定結果である動き推定ベクトルｕ(α,β)，ｖ(α,β)と、マッチング距離値Ｓ(α,β)とを出力する。【０１３４】
動き推定信頼性評価手段４２は、第一の実施例の動き推定信頼性評価手段１２と同様に、その内部に対応関係評価手段（図示せず）と類似度評価手段（図示せず）とを備え、対応関係評価値ｐ(α,β)および類似度評価値ｑ(α,β)を出力する。【０１３５】
動き推定評価手段４３は、第二の実施例の動き推定評価手段２３と同様に、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)を入力とし、動き推定評価値ρ(α,ｎ)を出力する。【０１３６】
合成重み算出手段４４は、第三の実施例の合成重み算出手段３５と同様に、動き推定結果である動き推定ベクトルｕ(α,β)および動き推定評価値ρ(α,ｎ)を参照し、高解像度画像推定手段４５で推定された高解像度画像と基準画像拡大手段４６で拡大した基準画像とを合成するための各画素の重みωを算出する。【０１３７】
高解像度画像推定手段４５は、第三の実施例の高解像度画像推定手段３６と同様に、入力低解像度画像と動き推定結果を参照し、高解像度画像x1を推定する。【０１３８】
基準画像拡大手段４６は、第三の実施例の基準画像拡大手段３７と同様に、入力低解像度画像のうち、高解像度化する基準画像Ｎｂを、Bi-Cubic法などの一般的な補間手法を用いて拡大することにより、高解像度画像x2を算出する。【０１３９】
高解像度画像合成手段４７は、第三の実施例の高解像度画像合成手段３８と同様に、高解像画像推定手段４５で推定された高解像度画像x1と、基準画像拡大手段４６で算出された高解像度画像x2と、合成重み算出手段４４で算出された合成重みωを参照し、出力高解像度画像xを算出する。【０１４０】
なお、本実施例の画像高解像度化装置１ｃも他の実施例の画像高解像度化装置と同様にコンピュータによって実現可能である。【０１４１】
〔第四の実施例の動作〕
次に、図１５のフローチャートを参照して本実施例の動作を説明する。【０１４２】
先ず、動き推定手段４１が、入力低解像度画像を参照して動き推定を行い、動き推定ベクトルｕ(α,β)，ｖ(α,β)を出力する。更に、動き推定手段４１は、マッチング距離値Ｓ(α,β)も出力する（ステップＳ４１）。【０１４３】
次に、動き推定信頼性評価手段４２が、動き推定ベクトルｕ(α,β)，ｖ(α,β)及びマッチング距離値Ｓ(α,β)を参照し、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)を算出する（ステップＳ４２）。【０１４４】
その後、動き推定評価手段４３が、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)に対して前出の式（１２）に示す演算を行い、動き推定評価値ρ(α,ｎ)を算出する（ステップＳ４３）。【０１４５】
次に、合成重み算出手段４４が、動き推定ベクトルｕ(α,β)及び動き推定評価値ρ(α,ｎ)を参照し、推定高解像度画像と拡大基準画像を合成するための合成重みωを算出する（ステップＳ４４）。【０１４６】
その後、高解像度画像推定手段４５が、入力低解像度画像及び動き推定結果である動き推定ベクトルｕ(α,β)を参照し、前出の式（３）または式（４）を最小化する高解像度画像を推定する（ステップＳ４５）。【０１４７】
次いで、基準画像拡大手段４６が、入力低解像度画像のうち、高解像度化する基準画像Ｎｂを参照し、基準画像Ｎｂを拡大した拡大基準画像を算出する（ステップＳ４６）。【０１４８】
そして、最後に、高解像度画像合成手段４７が、推定高解像度画像、拡大基準画像および合成重みωを参照し、出力する高解像度画像を算出する（ステップＳ４７）。【０１４９】
〔第四の実施例の効果〕
本実施例によれば、第二の実施例と同様の効果を得ることができる。【０１５０】
〔第五の実施例〕
次に、本発明の第五の実施例について説明する。【０１５１】
図１６は、本発明の第五の実施例に係る画像高解像度化装置１ｄの構成例を示すブロック図である。図１６に示す画像高解像度化装置１ｄは、動き推定手段５１と、動き推定信頼性評価手段５２と、動き距離評価手段５３と、動き推定評価手段５４と、合成重み算出手段５５と、重み付け行列算出手段５６と、高解像度画像推定手段５７と、基準画像拡大手段５８と、高解像度画像合成手段５９とを備える。【０１５２】
動き推定手段５１は、第一の実施例における動き推定手段１１と同様に、低解像度画像を入力として参照画像と基準画像との間の動き推定結果である動き推定ベクトルｕ(α,β)，ｖ(α,β)を出力すると共に、マッチング距離値Ｓ(α,β)及び時間的距離Δｔ(β)を出力する。【０１５３】
動き推定信頼性評価手段５２は、第一の実施例の動き推定信頼性評価手段１２と同様に、対応関係評価手段（図示せず）と類似度評価手段（図示せず）とを備え、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)を出力する。【０１５４】
動き距離評価手段５３は、第一の実施例の動き距離評価手段１３と同様に、移動距離評価手段（図示せず）及び時間的距離評価手段（図示せず）を備え、移動距離評価値ｒ(α,β)及び時間的距離評価値ｓ(β)を出力する。【０１５５】
動き推定評価手段５４は、第一の実施例の動き推定評価手段１４と同様に、対応関係評価値ｐ(α,β)、類似度評価値ｑ(α,β)、移動距離評価値ｒ(α,β)及び時間的距離評価値ｓ(β)とを入力とし、動き推定評価値ρ(α,ｎ)を出力する。【０１５６】
合成重み算出手段５５は、第三の実施例の合成重み算出手段３５と同様に、動き推定結果である動き推定ベクトルｕ(α,β)および動き推定評価値ρ(α,ｎ)を参照し、推定された高解像度画像と拡大した基準画像とを合成するための各画素の重みωを算出する。【０１５７】
重み付け行列算出手段５６は、第一の実施例の重み付け行列算出手段１５と同様に、動き推定評価値を入力とし、重み付け行列Ｗｎを算出する。【０１５８】
高解像度画像推定手段５７は、第一の実施例の高解像度画像推定手段１６と同様に、入力低解像度画像、動き推定結果である動き推定ベクトルｕ(α,β)及び重み付け行列Ｗｎを参照し、式（１０）または式（１１）を最小化する高解像度画像（推定高解像度画像）x3を推定する。【０１５９】
基準画像拡大手段５８は、第三の実施例の基準画像拡大手段３７と同様に、入力低解像度画像のうち、高解像度化する基準画像Ｎｂを、Bi-Cubic法などの一般的な補間手法を用いて拡大することにより、高解像度画像x2を算出する。【０１６０】
高解像度画像合成手段５９は、第三の実施例の高解像度画像造成手段３８と同様に、高解像画像推定手段５７で推定された高解像度画像x3と、基準画像拡大手段５８で算出された高解像度画像x2と、合成重み算出手段５５で算出された合成重みωを参照し、出力高解像度画像xを算出する。【０１６１】
なお、本実施例の画像高解像度化装置１ｄも他の実施例の画像高解像度化装置と同様に、コンピュータによって実現可能である。【０１６２】
〔第五の実施例の動作の説明〕
次に、本実施例の動作を図１７のフローチャートを参照して説明する。【０１６３】
先ず、動き推定手段５１が、入力低解像度画像を参照して動き推定を行い、動き推定ベクトルｕ(α,β)，ｖ(α,β)を出力する。更に、動き推定手段５１は、マッチング距離値Ｓ(α,β)及び時間的距離Δｔ(β)を出力する（ステップＳ５１）。【０１６４】
次いで、動き推定信頼性評価手段５２が、動き推定ベクトルｕ(α,β)，ｖ(α,β)に基づいて対応関係評価値ｐ(α,β)を算出し、マッチング距離値Ｓ(α,β)に基づいて類似度評価値ｑ(α,β)を算出する（ステップＳ５２）。【０１６５】
その後、動き距離評価手段５３が、動き推定ベクトルｕ(α,β)に基づいて移動距離評価値ｒ(α,β)を算出すると共に、時間的距離Δｔ(β)に基づいて時間的距離評価値ｓ(β)を算出する（ステップＳ５３）。【０１６６】
次に、動き推定評価手段５４が、対応関係評価値ｐ(α,β)、類似度評価値ｑ(α,β)、移動距離評価値ｒ(α,β)及び時間的距離評価値ｓ(β)に対して、前出の式（９）に示す演算を行うことにより、動き推定評価値ρ(α,ｎ)を算出する（ステップＳ５４）。【０１６７】
その後、合成重み算出手段５５が、動き推定結果である動き推定ベクトルｕ(α,β)及び動き推定評価値ρ(α,ｎ)を参照し、推定高解像度画像と拡大基準画像を合成するための合成重みωを算出する（ステップＳ５５）。【０１６８】
次いで、重み付け行列算出手段５６が、動き推定評価値ρ(α,ｎ)を参照し、重み付け行列Ｗｎを算出する（ステップＳ５６）。【０１６９】
その後、高解像度画像推定手段５７が、入力低解像度画像及び動き推定結果である動き推定ベクトルｕ(α,β)を参照し、前出の式（３）または式（４）を最小化する高解像度画像を推定する（ステップＳ５７）。【０１７０】
次いで、基準画像拡大手段５８が、入力低解像度画像のうち、高解像度化する基準画像Ｎｂを参照し、基準画像Ｎｂを拡大した拡大基準画像を算出する（ステップＳ５８）。【０１７１】
そして、最後に、高解像度画像合成手段５９が、高解像度画像推定手段５７で推定された推定高解像度画像、基準画像拡大手段５８で拡大された拡大基準画像および合成重み算出手段５５で算出された合成重みωを参照し、出力する高解像度画像を算出する（ステップＳ５９）。【０１７２】
〔第五の実施例の効果〕
本実施例によれば、第一の実施例と同様の効果を得ることができる。【０１７３】
〔第六の実施例〕
次に、本発明の第六の実施例について説明する。【０１７４】
図１８は、本発明の第六の実施例に係る画像高解像度化装置１ｅの構成例を示すブロック図である。図１８に示す画像高解像度化装置１ｅは、動き推定手段６１と、動き推定信頼性評価手段６２と、動き推定評価手段６３と、合成重み算出手段６４と、重み付け行列算出手段６５と、高解像度画像推定手段６６と、基準画像拡大手段６７と、高解像度画像合成手段６８とを備える。【０１７５】
動き推定手段６１は、第二の実施例における動き推定手段２１と同様に、低解像度画像を入力として参照画像と基準画像との間の動き推定結果として動き推定ベクトルｕ(α,β)，ｖ(α,β)を出力すると共に、マッチング距離値Ｓ(α,β)を出力する。【０１７６】
動き推定信頼性評価手段６２は、第一の実施例の動き推定信頼性評価手段１２と同様に、対応関係評価手段（図示せず）と類似度評価手段（図示せず）とを備え、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)を出力する。【０１７７】
動き推定評価手段６３は、第二の実施例の動き推定評価手段２３と同様に、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)に対して前出の式（１２）に示す演算を行うことにより、動き推定評価値ρ(α,ｎ)を算出する。【０１７８】
合成重み算出手段６４は、第三の実施例の合成重み算出手段３５と同様に、動き推定結果である動き推定ベクトルｕ(α,β)および動き推定評価値ρ(α,ｎ)を参照し、推定された高解像度画像と拡大した基準画像とを合成するための各画素の重みωを算出する。【０１７９】
重み付け行列算出手段６５は、第一の実施例の重み付け行列算出手段１５と同様に、動き推定評価値ρ(α,ｎ)を入力とし、重み付け行列Ｗｎを算出する。【０１８０】
高解像度画像推定手段６６は、第五の実施例の高解像度画像推定手段５７と同様に、入力低解像度画像、動き推定結果である動き推定ベクトルｕ(α,β)及び重み付け行列Ｗｎを参照し、式（１０）または式（１１）を最小化する高解像度画像x3を推定する。【０１８１】
基準画像拡大手段６７は、第三の実施例の基準画像拡大手段３７と同様に、入力低解像度画像のうち、高解像度化する基準画像Ｎｂを、Bi-Cubic法などの一般的な補間手法を用いて拡大することにより、高解像度画像x2を算出する。【０１８２】
高解像度画像合成手段６８は、第五の実施例の高解像度画像合成手段５９と同様に、高解像画像推定手段６６で推定された高解像度画像x3と、基準画像拡大手段６７で算出された高解像度画像x2と、合成重み算出手段６４で算出された合成重みωを参照し、出力高解像度画像xを算出する。【０１８３】
なお、本実施例の画像高解像度化装置１ｅも他の実施例の画像高解像度化装置と同様に、コンピュータによって実現可能である。【０１８４】
〔第六の実施例の動作の説明〕
次に、図１９のフローチャートを参照して本実施例の動作について説明する。【０１８５】
先ず、動き推定手段６１が、入力低解像度画像を参照して動き推定を行い、動き推定結果として動き推定ベクトルｕ(α,β)，ｖ(α,β)を出力する。更に、動き推定手段６１は、マッチング距離値Ｓ(α,β)も出力する（ステップＳ６１）。【０１８６】
次に、動き推定信頼性評価手段６２が、動き推定結果である動き推定ベクトルｕ(α,β)，ｖ(α,β)およびマッチング距離値Ｓ(α,β)を参照し、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)を算出する（ステップＳ６２）。【０１８７】
その後、動き推定評価手段６３が、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)に対して、式（１２）に示す演算を行うことにより動き推定評価値ρ(α,ｎ)を算出する（ステップＳ６３）。【０１８８】
次に、合成重み算出手段６４が、動き推定結果である動き推定ベクトルｕ(α,β)及び動き推定評価値ρ(α,ｎ)を参照し、推定高解像度画像と拡大基準画像を合成するための合成重みωを算出する（ステップＳ６４）。【０１８９】
その後、重み付け行列算出手段６５が、動き推定評価値ρ(α,ｎ)を参照し、重み付け行列Ｗｎを算出する（ステップＳ６５）。【０１９０】
次いで、高解像度画像推定手段６６が、入力低解像度画像及び動き推定結果である動き推定ベクトルｕ(α,β)を参照し、前出の式（３）または式（４）を最小化する高解像度画像を推定する（ステップＳ６６）。【０１９１】
その後、基準画像拡大手段６７が、入力低解像度画像の内の、高解像度化する基準画像Ｎｂを参照し、基準画像Ｎｂを拡大した拡大基準画像を算出する（ステップＳ６７）。【０１９２】
そして、最後に、高解像度画像合成手段６８が、高解像度画像推定手段６６が推定した推定高解像度画像、基準画像拡大手段６７が算出した拡大基準画像および合成重み算出手段６４が算出した合成重みωを参照し、出力する高解像度画像を算出する（ステップＳ６８）。【０１９３】
〔第六の実施例の効果〕
本実施例によれば、第二の実施例と同様の効果を得ることができる。【０１９４】
以上本発明の実施例について説明したが、本発明は上記実施例に限定されず、その他各種の付加・変更・調整が可能である。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、上記実施例に対する更なる変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。
【産業上の利用可能性】
【０１９５】
本発明は、複数枚の低解像度画像から高解像度画像を生成する画像高解像度化装置に適用することができる。入力画像としては静止画像だけでなく、動画像中の複数フレームにも適用することができるので、映像機器全般に適用することができる。
【図１】
2007142109.tif 000017
【図２】
2007142109.tif 000018
【図３】
2007142109.tif 000019
【図４】
2007142109.tif 000020
【図５】
2007142109.tif 000021
【図６】
2007142109.tif 000022
【図７】
2007142109.tif 000023
【図８】
2007142109.tif 000024
【図９】
2007142109.tif 000025
【図１０】
2007142109.tif 000026
【図１１】
2007142109.tif 000027
【図１２】
2007142109.tif 000028
【図１３】
2007142109.tif 000029
【図１４】
2007142109.tif 000030
【図１５】
2007142109.tif 000031
【図１６】
2007142109.tif 000032
【図１７】
2007142109.tif 000033
【図１８】
2007142109.tif 000034
【図１９】
2007142109.tif 000035
【図２０】
2007142109.tif 000036
【図２１】
2007142109.tif 000037
【図２２】
2007142109.tif 000038
【手続補正書】
【提出日】平成20年2月28日(2008.2.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数枚の低解像度画像を入力低解像度画像群として受信し、前記入力低解像度画像群を合成して高解像度画像を生成し、前記入力低解像度画像群と該高解像度画像とから推測される入力低解像度画像群との類似度が最も高くなる高解像度画像を出力する画像高解像度化装置であって、
低解像度画像間の画素の動きを推定し、動き推定結果を出力する動き推定手段と、
前記動き推定手段が出力した動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価手段と、
前記入力低解像度画像群と前記高解像度画像から推測される入力低解像度画像群との類似度計算を実行する際に前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた類似度計算方法を用い高解像度画像を推定する高解像度画像推定手段とを備えたことを特徴とする画像高解像度化装置。
【請求項２】
請求項１記載の画像高解像度化装置において、
前記高解像度画像推定手段が、信頼性の低い画素は、影響が弱く或いは全く影響しないように高解像度画像を推定することを特徴とする画像高解像度化装置。
【請求項３】
請求項１または２記載の画像高解像度化装置において、
前記高解像度画像推定手段が、信頼性の高い画素は、影響が強く現れるように高解像度画像を推定することを特徴とする画像高解像度化装置。
【請求項４】
請求項１記載の画像高解像度化装置において、
前記高解像度画像推定手段が、前記入力低解像度画像群と前記高解像度画像から推測される入力低解像度画像群との類似度計算を実行する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた重みを用いることを特徴とする画像高解像度化装置。
【請求項５】
請求項１乃至４いずれか一に記載の画像高解像度化装置において、
前記動き推定手段が、
２枚の低解像度画像の組み合わせにおいて、一方の低解像度画像上に存在する注目画素の、他方の低解像度画像への動きを推定して第１の動き推定結果として出力すると共に、前記他方の低解像度画像上に存在する、前記注目画素と対応する対応画素の、前記一方の低解像度画像への動きを推定して第２の動き推定結果として出力する構成を有し、
前記動き推定信頼性評価手段が、
前記第１の動き推定結果に対する動き推定信頼性評価値を、前記第１の動き推定結果と、前記第２の動き推定結果との対応関係に基づいて算出する対応関係評価手段を備えたことを特徴とする画像高解像度化装置。
【請求項６】
請求項５記載の画像高解像度化装置において、
前記第１及び第２の動き推定結果が、動き推定ベクトルであり、且つ、
前記対応関係評価手段が、前記第１の動き推定結果に対応する動き推定ベクトルと前記第２の動き推定結果に対応する動き推定ベクトルとの加算ベクトルの大きさに応じた動き推定信頼性評価値を算出する構成を有することを特徴とする画像高解像度化装置。
【請求項７】
請求項１乃至６いずれか一に記載の画像高解像度化装置において、
前記動き推定信頼性評価手段が、
前記動き推定手段が推定した前記画素の動きに対する動き推定信頼性評価値を、前記画素と前記画素に対応する対応画素との輝度の類似度に基づいて算出する類似度評価手段を備えたことを特徴とする画像高解像度化装置。
【請求項８】
請求項１乃至７いずれか一に記載の画像高解像度化装置において、
前記動き推定手段が推定した前記画素の動きの動き量に応じた移動距離評価値を算出する移動距離評価手段を備え、且つ、
前記高解像度画像推定手段が、
前記入力低解像度画像群と前記高解像度画像から推測される入力低解像度画像群との類似度計算を実行する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記移動距離評価手段で算出された移動距離評価値とに応じた重みを用いる構成を有することを特徴とする画像高解像度化装置。
【請求項９】
請求項１乃至７いずれか一に記載の画像高解像度化装置において、
前記複数枚の低解像度画像の撮影時刻の差分に応じた時間的距離評価値を算出する時間的距離評価手段を備え、且つ、
前記高解像度画像推定手段が、
前記入力低解像度画像群と前記高解像度画像から推測される入力低解像度画像群との類似度計算を実行する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記時間的距離評価手段で算出された時間的距離評価値とに応じた重みを用いる構成を有することを特徴とする画像高解像度化装置。
【請求項１０】
（削除）
【請求項１１】
（削除）
【請求項１２】
（削除）
【請求項１３】
（削除）
【請求項１４】
複数枚の入力低解像度画像間の画素の動きを推定し、動き推定結果を利用して前記入力低解像度画像群と生成された高解像度画像から推測される入力低解像度画像群との類似度が最も高くなる高解像度画像を出力する画像高解像度化方法であって、
前記動き推定結果の信頼性に基づいて、類似度計算方法を変更することを特徴とする画像高解像度化方法。
【請求項１５】
入力低解像度画像群と生成された高解像度画像から推測される入力低解像度画像群との類似度が最も高くなる高解像度画像を出力する画像高解像度化方法であって、
低解像度画像間の画素の動きを推定し、動き推定結果を出力する動き推定ステップと、前記動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価ステップと、
前記入力低解像度画像群と前記高解像度画像から推測される入力低解像度画像群との類似度計算を実行する際に前記動き推定信頼性評価ステップで出力された動き推定信頼性評価値に応じた類似度計算方法を用い高解像度画像を推定する高解像度画像推定ステップとを含むことを特徴とする画像高解像度化方法。
【請求項１６】
請求項１５記載の画像高解像度化方法において、
前記高解像度画像推定ステップでは、信頼性の低い画素は、影響が弱く或いは全く影響しないように高解像度画像を推定することを特徴とする画像高解像度化方法。
【請求項１７】
請求項１５または１６記載の画像高解像度化方法において、
前記高解像度画像推定ステップでは、信頼性の高い画素は、影響が強く現れるように高解像度画像を推定することを特徴とする画像高解像度化方法。
【請求項１８】
請求項１５記載の画像高解像度化方法において、
前記高解像度画像推定ステップでは、前記入力低解像度画像群と前記高解像度画像から推測される入力低解像度画像群との類似度計算を実行する際、前記動き推定信頼性評価ステップで出力された動き推定信頼性評価値に応じた重みを用いることを特徴とする画像高解像度化方法。
【請求項１９】
請求項１５乃至１８いずれか一に記載の画像高解像度化方法において、
前記動き推定ステップでは、
２枚の低解像度画像の組み合わせにおいて、一方の低解像度画像上に存在する注目画素の、他方の低解像度画像への動きを推定して第１の動き推定結果として出力すると共に、前記他方の低解像度画像上に存在する、前記注目画素と対応する対応画素の、前記一方の低解像度画像への動きを推定して第２の動き推定結果として出力し、
前記動き推定信頼性評価ステップでは、
前記第１の動き推定結果に対する動き推定信頼性評価値を、前記第１の動き推定結果と、前記第２の動き推定結果との対応関係に基づいて算出することを特徴とする画像高解像度化方法。
【請求項２０】
請求項１９記載の画像高解像度化方法において、
前記第１及び第２の動き推定結果が、動き推定ベクトルであり、且つ、
前記動き推定信頼性評価ステップでは、前記第１の動き推定結果に対応する動き推定ベクトルと前記第２の動き推定結果に対応する動き推定ベクトルとの加算ベクトルの大きさに応じた動き推定信頼性評価値を算出することを特徴とする画像高解像度化方法。
【請求項２１】
請求項１５乃至２０いずれか一に記載の画像高解像度化方法において、
前記動き推定信頼性評価ステップでは、
前記動き推定ステップで推定した前記画素の動き推定結果に対する動き推定信頼性評価値を、前記画素と前記画素に対応する対応画素との輝度の類似度に基づいて算出することを特徴とする画像高解像度化方法。
【請求項２２】
請求項１５乃至２１いずれか一に記載の画像高解像度化方法において、
前記動き推定ステップで推定した前記画素の動きの動き量に応じた移動距離評価値を算出する移動距離評価ステップを含み、
前記高解像度画像推定ステップでは、
前記入力低解像度画像群と前記高解像度画像から推測される入力低解像度画像群との類似度計算を実行する際、前記動き推定信頼性評価ステップで出力された動き推定信頼性評価値と前記移動距離評価ステップで算出された前記移動距離評価値とに応じた重みを用いることを特徴とする画像高解像度化方法。
【請求項２３】
請求項１５乃至２１いずれか一に記載の画像高解像度化方法において、
前記複数枚の低解像度画像の撮影時刻の差分に応じた時間的距離評価値を算出する時間的距離評価ステップを含み、且つ、
前記高解像度画像推定ステップでは、
前記入力低解像度画像群と前記高解像度画像から推測される入力低解像度画像群との類似度計算を実行する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記時間的距離評価手段で算出された時間的距離評価値とに応じた重みを用いることを特徴とする画像高解像度化方法。
【請求項２４】
コンピュータを、入力低解像度画像群と生成された高解像度画像から推測される入力低解像度画像群との類似度が最も高くなる高解像度画像を出力する画像高解像度化装置として機能させるためのプログラムであって、
前記コンピュータを、
低解像度画像間の画素の動きを推定し、動き推定結果を出力する動き推定手段、
前記動き推定手段が出力した動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価手段、
前記入力低解像度画像群と前記高解像度画像から推測される入力低解像度画像群との類似度計算を実行する際に前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた類似度計算方法を用い高解像度画像を推定する高解像度画像推定手段として機能させるためのプログラム。
【請求項２５】
請求項２４記載のプログラムにおいて、
前記高解像度画像推定手段が、信頼性の低い画素は、影響が弱く或いは全く影響しないように高解像度画像を推定することを特徴とするプログラム。
【請求項２６】
請求項２４または２５記載のプログラムにおいて、
前記高解像度画像推定手段が、信頼性の高い画素は、影響が強く現れるように高解像度画像を推定することを特徴とするプログラム。
【請求項２７】
請求項２４記載のプログラムにおいて、
前記高解像度画像推定手段が、前記入力低解像度画像群と前記高解像度画像から推測される入力低解像度画像群との類似度計算を実行する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた重みを用いることを特徴とするプログラム。
【請求項２８】
請求項２４乃至２７いずれか一に記載のプログラムにおいて、
前記動き推定手段が、
２枚の低解像度画像の組み合わせにおいて、一方の低解像度画像上に存在する注目画素の、他方の低解像度画像への動きを推定して第１の動き推定結果として出力すると共に、前記他方の低解像度画像上に存在する、前記注目画素と対応する対応画素の、前記一方の低解像度画像への動きを推定して第２の動き推定結果として出力する構成を有し、
前記動き推定信頼性評価手段が、
前記第１の動き推定結果に対する動き推定信頼性評価値を、前記第１の動き推定結果と、前記第２の動き推定結果との対応関係に基づいて算出する対応関係評価手段を備えたことを特徴とするプログラム。
【請求項２９】
請求項２８記載のプログラムにおいて、
前記第１及び第２の動き推定結果が、動き推定ベクトルであり、且つ、
前記対応関係評価手段が、前記第１の動き推定結果に対応する動き推定ベクトルと前記第２の動き推定結果に対応する動き推定ベクトルとの加算ベクトルの大きさに応じた動き推定信頼性評価値を算出する構成を有することを特徴とするプログラム。
【請求項３０】
請求項２４乃至２６いずれか一に記載のプログラムにおいて、
前記動き推定信頼性評価手段が、
前記動き推定手段が推定した前記画素の動き推定結果に対する動き推定信頼性評価値を、前記画素と前記画素に対応する対応画素との輝度の類似度に基づいて算出する類似度評価手段を備えたことを特徴とするプログラム。
【請求項３１】
請求項２４乃至３０いずれか一に記載のプログラムにおいて、
前記コンピュータを、
前記動き推定手段が推定した前記画素の動きの動き量に応じた移動距離評価値を算出する移動距離評価手段として機能させ、且つ、
前記高解像度画像推定手段が、
前記入力低解像度画像群と前記高解像度画像から推測される入力低解像度画像群との類似度計算を実行する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記移動距離評価手段で算出された移動距離評価値とに応じた重みで合成する構成を有することを特徴とするプログラム。
【請求項３２】
請求項２４乃至３０いずれか一に記載のプログラムにおいて、
前記コンピュータを、
前記複数枚の低解像度画像の撮影時刻の差分に応じた時間的距離評価値を算出する時間的距離評価手段として機能させ、且つ、
前記高解像度画像推定手段が、
前記入力低解像度画像群と前記高解像度画像から推測される入力低解像度画像群との類似度計算を実行する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記時間的距離評価手段で算出された時間的距離評価値とに応じた重みを用いることを特徴とするプログラム。
【請求項３３】
複数の低解像度画像を合成して高解像度画像を生成する画像高解像度化方法であって、
複数の低解像度画像間の画像の動きを計算し、
前記画像の動きを補償して前記複数の低解像度画像の類似度を評価し、
前記類似度が低い場合に解像度の低い高解像度画像を生成する
ことを特徴とする画像高解像度化方法。
【請求項３４】
複数の低解像度画像を合成して高解像度画像を生成する画像高解像度化方法であって、
第１の低解像度画像から第２の低解像度画像への第１の画像の動きを計算し、
前記第２の低解像度画像から前記第１の低解像度画像への第２の画像の動きを計算し、
前記画像の動きを補償して前記複数の低解像度画像の類似度を評価し、
前記第１の画像の動きと前記第２の画像の動きの対称性が小さい場合に解像度の低い高解像度画像を生成する
ことを特徴とする画像高解像度化方法。
【国際調査報告】
2007142109.tif 000039
2007142109.tif 000040
2007142109.tif 000041