(57)【特許請求の範囲】
【請求項１】
原画像列を縮小して縮小画像列を生成する画像縮小装置であって、
連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも１つの原画像フレームへの位置合わせ情報を生成する位置合わせ情報生成部と、
原画像列を所定の画像縮小率で縮小した縮小画像列を生成する画像縮小部と、
生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像を生成し、生成した拡大画像の画素と原画像の画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を補助情報として生成する位置合わせ情報修正部と、
を備えることを特徴とする画像縮小装置。
【請求項２】
前記位置合わせ情報生成部は、原画像列の時間方向スペクトルパワーを算出して空間方向の周波数分解階層数を決定し、前記周波数分解階層数に応じた空間解像度で原画像の空間解像度となるまで階層的に位置合わせを行なった情報を前記位置合わせ情報として生成することを特徴とする、請求項１に記載の画像縮小装置。
【請求項３】
前記位置合わせ情報生成部は、
前記原画像フレームをブロック分割したブロック単位で位置合わせ情報を生成する第１位置合わせ処理部と、
各ブロック内の小領域のサブブロック単位で位置合わせ情報を生成する第２位置合わせ処理部と、
サブブロック単位で検出した位置合わせ情報が、対応するブロック位置のブロック単位の動き量に対して所定の閾値以上、及び／又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする確度判定を行う位置合わせ情報確度判定部と、
有効と判断したサブブロック単位の位置合わせ情報を、対応するブロック単位の位置合わせ情報にベクトル加算して補正することにより、前記位置合わせ情報修正部で用いる位置合わせ情報を生成する補正位置合わせ情報生成部と、
を備えることを特徴とする、請求項１に記載の画像縮小装置。
【請求項４】
前記位置合わせ情報修正部は、
前記位置合わせ情報生成部によって生成した位置合わせ情報に応じて点広がり関数の幅が変化する動き量適応型点広がり関数を用いて、前記位置合わせ情報を修正した情報を補助情報として生成することを特徴とする、請求項１に記載の画像縮小装置。
【請求項５】
請求項１〜４のいずれか一項に記載の画像縮小装置によって生成された縮小画像列に対して、前記補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行う位置合わせ処理部と、
当該位置合わせを行った拡大後の標本点を画素補完する画素補完部と、
画素補完後の拡大画像を用いて前記原画像列に対応する拡大画像列を生成する拡大画像生成部と、
を備えることを特徴とする画像拡大装置。
【請求項６】
原画像列を縮小して縮小画像列を生成する画像縮小装置として機能するコンピュータに、
連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも１つの原画像フレームへの位置合わせ情報を生成するステップと、
原画像列を所定の画像縮小率で縮小した縮小画像列を生成するステップと、
生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像を生成し、生成した拡大画像の画素と原画像の画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を補助情報として生成するステップと、
を実行させるためのプログラム。
【請求項７】
コンピュータに、
請求項１〜４のいずれか一項に記載の画像縮小装置によって生成された縮小画像列に対して、前記補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行うステップと、
当該位置合わせを行った拡大後の標本点を画素補完するステップと、
画素補完後の拡大画像を用いて前記原画像列に対応する拡大画像列を生成するステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、送信側で原画像に対して画像縮小を施して伝送し、受信側で画像拡大を行なって復元する技術に関し、特に、複数の原画像フレームからなる原画像列を縮小して縮小画像列を生成する画像縮小装置、縮小画像列を拡大して復元する画像拡大装置、及びこれらのプログラムに関する。
【背景技術】
【０００２】
近年、撮像装置及び表示装置の高精細化が進んでおり、超解像（Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ）と称される動画像の高解像化技術が研究されている（例えば、特許文献１参照）。いわゆる８Ｋシステムと呼ばれるスーパーハイビジョン（ＳＨＶ）のような超高精細映像、又は４Ｋシステムと呼ばれるデジタルシネマのような高精細映像は、従来のハイビジョン（ＨＶ）映像の４倍ないし１６倍の高解像度を有するに至っている。
【０００３】
そこで、２枚の画像を利用して超解像を行う際、シーンチェンジ検出や画素位置合わせに適さない画素領域のマスク処理などの前処理を行った後、画素再構成処理により超解像画像を作成する技法が知られている（例えば、特許文献２参照）。
【０００４】
一方、送信側で原画像に対して画像縮小（低解像度化）を施して伝送し、受信側で画像拡大（高解像度化）を行なって復元する技術が知られており、特に、画像縮小を行う際に、受信側で高解像度の画像を作成する際の補助情報として、色調を利用して縮小画像と元の原画像の色調が似ている箇所では高解像度画像を作成するように指示する補助情報を生成する技法がある（例えば、特許文献３参照）。
【０００５】
また、画像を解像度の低い表示装置に表示させる際、画像をブロックに分割し、各ブロックの空間高周波成分を検出してブロック毎の代表値を決定して画像縮小を行い、先に検出した空間高周波成分を補助情報として例えばエッジ領域表示に利用する技法が知られている（例えば、特許文献４参照）。
【０００６】
また、送信側で原画像に対して画像縮小（低解像度化）を施して伝送し、受信側で画像拡大（高解像度化）を行なって復元する技術において、低解像度した画像を最適に符号化する際の符号化パラメータと、この符号化パラメータを高解像度画像に適用するためにスケール変換した補助情報を生成する技法が知られている（例えば、特許文献５参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１０５４９０号公報
【特許文献２】特開２０１０−１３４５８２号公報
【特許文献３】特許第２５４２７２６号明細書
【特許文献４】特許第４４５９７８９号明細書
【特許文献５】特許第４５２３５２２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来技術のように、補助情報は原画像が持つ空間高周波成分をパラメータとして、画像超解像、符号化、エッジ表示などに用いられる。そこで、複数の原画像フレームからなる原画像列を縮小して縮小画像列を生成する場合にも、このような補助情報を用いることは縮小画像列に対して画像拡大を実行する処理（以下、「複数フレーム超解像処理」と称する）に有効であると考えられる。
【０００９】
一般に、複数フレーム超解像処理では、このような補助情報を用いることなく、縮小画像列のうちの１つの被処理フレームからその前後フレームへの位置合わせ（例えば、動き推定に基づく動き補償）による画素補完を行なって画像拡大を行う。したがって、補助情報を用いない複数フレーム超解像処理では、縮小画像列のみを用いて位置合わせを行うため、位置合わせ精度が低いという問題があった。
【００１０】
そこで、原画像列に対する位置合わせを行うことで、高精度の位置合わせ情報を取得することができ、この位置合わせ情報を補助情報とすることが考えられる。この場合、複数フレーム超解像処理時には、所定の点広がり関数による復元過程を経て画像拡大が行われる。ただし、この位置合わせ情報は、当該所定の点広がり関数による復元過程を考慮したものではないため、複数フレーム超解像処理後の画質について更なる改善の余地がある。
【００１１】
本発明は、上述の問題を鑑みて為されたものであり、複数の原画像フレームからなる原画像列を縮小して縮小画像列を生成する画像縮小装置、縮小画像列を拡大して復元する画像拡大装置、及びこれらのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の画像縮小装置は、複数の原画像フレームからなる原画像列を縮小して縮小画像列を生成するとともに、複数フレーム超解像処理に用いる補助情報を生成する装置である。従来の補助情報を用いない一般的な複数フレーム超解像処理では、縮小画像列を用いて位置合わせを行うものであったのに対して、本発明の画像縮小装置は、原画像列を用いて位置合わせを行なって、縮小画像列を用いて生成するよりも高精度の位置合わせ情報を生成しておき、さらに、複数フレーム超解像時の点広がり関数による復元過程を考慮して、この位置合わせ情報を修正し、複数フレーム超解像処理に適した修正後位置合わせ情報を生成する。
【００１３】
つまり、本発明に係る画像縮小装置は、原画像列を用いて被処理フレームからその前後フレームへの位置合わせ情報を生成するとともに、原画像列を所定の画像縮小率で縮小した縮小画像列を生成する。さらに、本発明に係る画像縮小装置は、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の被処理フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なうことで拡大画像を生成し、生成した拡大画像の画素と原画像の画素との差分値を算出し、当該位置合わせ情報の値を点広がり関数幅を超えない範囲でシフトしながら当該差分値が最小となるシフト量を算出し、このシフト量を当該位置合わせ情報の値に加算することにより原画像列を用いて生成した位置合わせ情報を修正し、この修正後位置合わせ情報を補助情報とする。本発明に係る画像拡大装置は、この修正後位置合わせ情報を補助情報として縮小画像列とともに取得し、画像縮小装置で利用した点広がり関数を用いて画素補完を行って当該縮小画像列を拡大する。これにより、従来技術よりもさらに高画質な複数フレーム超解像処理の画像を生成することができる。
【００１４】
即ち、本発明の画像縮小装置は、原画像列を縮小して縮小画像列を生成する画像縮小装置であって、連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも１つの原画像フレームへの位置合わせ情報を生成する位置合わせ情報生成部と、原画像列を所定の画像縮小率で縮小した縮小画像列を生成する画像縮小部と、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像を生成し、生成した拡大画像の画素と原画像の画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を補助情報として生成する位置合わせ情報修正部と、を備えることを特徴とする。
【００１５】
また、本発明の画像縮小装置において、前記位置合わせ情報生成部は、原画像列の時間方向スペクトルパワーを算出して空間方向の周波数分解階層数を決定し、前記周波数分解階層数に応じた空間解像度で原画像の空間解像度となるまで階層的に位置合わせを行なった情報を前記位置合わせ情報として生成することを特徴とする。
【００１６】
また、本発明の画像縮小装置において、前記位置合わせ情報生成部は、前記原画像フレームをブロック分割したブロック単位で位置合わせ情報を生成する第１位置合わせ処理部と、各ブロック内の小領域のサブブロック単位で位置合わせ情報を生成する第２位置合わせ処理部と、サブブロック単位で検出した位置合わせ情報が、対応するブロック位置のブロック単位の動き量に対して所定の閾値以上、及び／又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする確度判定を行う位置合わせ情報確度判定部と、有効と判断したサブブロック単位の位置合わせ情報を、対応するブロック単位の位置合わせ情報にベクトル加算して補正することにより、前記位置合わせ情報修正部で用いる位置合わせ情報を生成する補正位置合わせ情報生成部と、を備えることを特徴とする。
【００１７】
また、本発明の画像縮小装置において、前記位置合わせ情報修正部は、前記位置合わせ情報生成部によって生成した位置合わせ情報に応じて点広がり関数の幅が変化する動き量適応型点広がり関数を用いて、前記位置合わせ情報を修正した情報を補助情報として生成することを特徴とする。
【００１８】
さらに、本発明の画像拡大装置は、本発明の画像縮小装置によって生成された縮小画像列に対して、前記補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行う位置合わせ処理部と、当該位置合わせを行った拡大後の標本点を画素補完する画素補完部と、画素補完後の拡大画像を用いて前記原画像列に対応する拡大画像列を生成する拡大画像生成部と、を備えることを特徴とする。
【００１９】
本発明のプログラムは、原画像列を縮小して縮小画像列を生成する画像縮小装置として機能するコンピュータに、連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも１つの原画像フレームへの位置合わせ情報を生成するステップと、原画像列を所定の画像縮小率で縮小した縮小画像列を生成するステップと、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像を生成し、生成した拡大画像の画素と原画像の画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を補助情報として生成するステップと、を実行させるためのプログラムである。
【００２０】
また、本発明のプログラムは、コンピュータに、本発明の画像縮小装置によって生成された縮小画像列に対して、前記補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行うステップと、当該位置合わせを行った拡大後の標本点を画素補完するステップと、画素補完後の拡大画像を用いて前記原画像列に対応する拡大画像列を生成するステップと、を実行させるためのプログラムである。
【発明の効果】
【００２１】
本発明によれば、複数フレーム超解像処理のために、原画像精度のみならず点広がり関数による復元過程の誤差を修正した修正後位置合わせ情報を用いることができるようになるので、従来よりも高画質な超解像処理の画像を得ることができるようになる。
【００２２】
また、原画像精度の位置合わせ情報に応じて点広がり関数の幅が変化する動き量適応型点広がり関数を用いることにより、より高精度の修正後位置合わせ情報を生成することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明による一実施例の画像縮小装置のブロック図である。
【図２】本発明による一実施例の画像縮小装置における位置合わせ情報生成部のブロック図である。
【図３】本発明による一実施例の画像縮小装置における画像縮小部のブロック図である。
【図４】本発明による一実施例の画像縮小装置における位置合わせ情報修正部のブロック図である。
【図５】本発明による一実施例の画像拡大装置のブロック図である。
【図６】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部のブロック図である。
【図７】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における時間方向高周波領域パワー算出部のブロック図である。
【図８】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における空間方向低周波領域パワー算出部のブロック図である。
【図９】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における位置合わせ開始分解能決定部のブロック図である。
【図１０】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における階層型位置合わせ処理部のブロック図である。
【図１１】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部の動作を示す動作フローである。
【図１２】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部におけるフレーム画像列の時間方向周波数帯域毎のパワーの算出例を示す図である。
【図１３】（ａ），（ｂ），（ｃ），（ｄ）は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部におけるフレーム画像列について時間方向にＮｍａｘ階に分解する例を示す図である。
【図１４】（ａ），（ｂ）は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における２次元２階離散ウェーブレットの例を示す図である。
【図１５】（ａ），（ｂ），（ｃ），（ｄ）は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における空間方向の低周波領域のパワーの割合と位置合わせ開始階数の関係を例示する図である。
【図１６】（ａ），（ｂ），（ｃ），（ｄ）は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における位置合わせ開始階数とブロックサイズの関係例を示す図である。
【図１７】本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部のブロック図である。
【図１８】本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部の動作フロー図である。
【図１９】（ａ），（ｂ）は、本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部の位置合わせ情報の算出例を説明する図である。
【図２０】本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部の確度判定例を説明する図である。
【図２１】本発明による一実施例の画像縮小装置で利用可能な点広がり関数を生成する動き量適応型点広がり関数生成装置のブロック図である。
【図２２】本発明による一実施例の画像縮小装置で利用可能な点広がり関数を生成する動き量適応型点広がり関数生成装置の処理の説明図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して、本発明による一実施例の画像縮小装置及び画像拡大装置を順に説明する。
【００２５】
〔画像縮小装置〕
図１は、本発明による一実施例の画像縮小装置のブロック図である。本実施例の画像縮小装置１０は、制御部２０と、記憶部３０とを備える。制御部２０は、位置合わせ情報生成部２０１と、画像縮小部２０２と、位置合わせ情報修正部２０３とを備える。本実施例の画像縮小装置１０をコンピュータとして構成させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられる記憶部３０に記憶される。コンピュータに備えられる制御部２０は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部３０から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。尚、後述の説明で明らかとなるが、記憶部３０には、「ブロック分割サイズ情報」、「画像縮小率情報」、「マザーウェーブレット情報」、及び「点広がり関数情報」が格納されている。
【００２６】
位置合わせ情報生成部２０１は、連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも１つの原画像フレームへの位置合わせ情報を生成し、位置合わせ情報修正部２０３に送出する。位置合わせ情報生成部２０１の詳細は、図２を参照して後述する。
【００２７】
画像縮小部２０２は、原画像列を所定の画像縮小率で縮小した縮小画像列を生成し、外部に送出するとともに、位置合わせ情報修正部２０３に送出する。画像縮小部２０２の詳細は、図３を参照して後述する。
【００２８】
位置合わせ情報修正部２０３は、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像を生成し、生成した拡大画像の画素と原画像の画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を補助情報として生成し、外部に送出する。位置合わせ情報修正部２０３の詳細は、図４を参照して後述する。
【００２９】
図２は、本発明による一実施例の画像縮小装置における位置合わせ情報生成部のブロック図である。位置合わせ情報生成部２０１は、ブロック分割部２０１１と、ブロックマッチング処理部２０１２とを備える。
【００３０】
ブロック分割部２０１１は、入力される原画像列のうちの被処理フレーム位置の原画像を基準フレーム画像として、記憶部３０に格納されるブロック分割サイズ情報を読み出し、ブロック分割サイズ情報で指定されるＢｘ×Ｂｙサイズのブロックに分割する。
【００３１】
ブロックマッチング処理部２０１２は、ブロック分割した基準フレーム画像に対して、その前後フレーム位置の原画像を参照フレーム画像として小数画素精度ブロックマッチングを行い、ブロック毎の位置合わせ情報（つまり、ブロックマッチングによる動き情報に対応する情報）を出力する。代表的な小数画素精度ブロックマッチングとして、パラボラフィッティング法などがある。また、後述するように、階層型位置合わせ処理により位置合わせ情報を生成することもできる。
【００３２】
図３は、本発明による一実施例の画像縮小装置における画像縮小部のブロック図である。画像縮小部２０２は、ウェーブレット分解部２０２１と、空間低周波成分抽出部２０２２と、縮小画像生成部２０２３とを備える。
【００３３】
ウェーブレット分解部２０２１は、ｎ階空間ウェーブレット分解法を用いて画像縮小を行う例である（ｎは、０を含む自然数）。ウェーブレット分解部２０２１は、記憶部３０に予め格納されているマザーウェーブレット情報（つまり、マザーウェーブレットの分解係数を表すフィルタ係数の情報）と、画像縮小率の情報を読み出し、当該被処理フレーム位置の原画像を基準フレーム画像としてマザーウェーブレット情報を用いて当該画像縮小率に対応する分解能でウェーブレット分解を行ない、ウェーブレット分解した画像を空間低周波成分抽出部２０２２に送出する。
【００３４】
空間低周波成分抽出部２０２２は、ウェーブレット分解した画像の低周波成分（例えば、ｎ＝１として、１階空間ウェーブレット分解を行なった場合には、水平・垂直方向に低周波成分の画像）を抽出して縮小画像生成部２０２３に送出する。
【００３５】
縮小画像生成部２０２３は、抽出した低周波成分に対応する縮小画像を生成する。これにより、画像縮小部２０２に入力される原画像列は、縮小画像列に変換される。尚、マザーウェーブレットを可変として、マザーウェーブレットを変化させることで縮小画像列に含まれる折り返し歪量を制御することもできるため、この場合、可変するマザーウェーブレットの情報をマザーウェーブレット情報として記憶部３０に格納する。
【００３６】
図４は、本発明による一実施例の画像縮小装置における位置合わせ情報修正部のブロック図である。位置合わせ情報修正部２０３は、全画素比較処理部２０３１と、加算部２０３４と、補助情報生成部２０３５とを備えており、全画素比較処理部２０３１は、画素補完処理部２０３２と補完誤差算出部２０３３からなる。
【００３７】
画素補完処理部２０３２は、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の被処理フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なうことで拡大画像を生成し、当該縮小画像列の被処理フレームに対応する原画像とともに、補完誤差算出部２０３３に送出する。
【００３８】
補完誤差算出部２０３３は、生成した拡大画像の画素と原画像の画素との差分値を算出し、画素補完処理部２０３２に対して当該位置合わせ情報の値を点広がり関数幅を超えない範囲でシフトしながら当該差分値が最小となるシフト量を算出し、加算部２０３４に送出する。生成した拡大画像の画素と原画像の画素との差分値の算出は、生成した拡大画像の全画素について行うことにより、画素毎に当該最小となるシフト量が算出される。
【００３９】
加算部２０３４は、画素毎に算出した当該最小となるシフト量を、当該位置合わせ情報の各画素に対する値（同一ブロック内では、各画素に同じ値が付与されている）に加算することにより、画素単位で修正した修正後位置合わせ情報として補助情報生成部２０３５に送出する。
【００４０】
補助情報生成部２０３５は、生成した修正後位置合わせ情報と、記憶部３０に格納されるブロック分割サイズ情報、画像縮小率情報及び点広がり関数情報とを含めて、補助情報として生成し、外部に送出する。これにより、原画像列を用いて生成した位置合わせ情報を、画素補完における点広がり関数を考慮した位置合わせ情報に修正した補助情報を生成することができる。尚、画像拡大装置側でウェーブレット再構成を用いた拡大処理を行う用途に対しては、マザーウェーブレット情報を補助情報に含めることができる。ただし、後述する一実施例の画像拡大装置５０では、マザーウェーブレット情報を使用しない例について説明する。
【００４１】
次に、本発明による一実施例の画像拡大装置について説明する。
【００４２】
〔画像拡大装置〕
図５は、本発明による一実施例の画像拡大装置のブロック図である。本実施例の画像拡大装置５０は、縮小画像列に対して、補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点を画素補完し、画素補完後の拡大画像を用いて原画像列に対応する拡大画像列を生成する装置であり、制御部６０と、記憶部７０とを備える。制御部６０は、位置合わせ処理部６０１と、画素補完処理部６０２と、拡大画像生成部６０３とを備える。本実施例の画像拡大装置５０をコンピュータとして構成させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられる記憶部７０に記憶される。コンピュータに備えられる制御部７０は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部７０から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。
【００４３】
位置合わせ処理部６０１は、画像縮小装置１０から、縮小画像列と、修正後位置合わせ情報、ブロック分割サイズ情報、画像縮小率情報及び点広がり関数情報を含む補助情報とを入力し、まず、縮小画像列における被処理フレーム位置の縮小画像について、入力される画像縮小率情報を用いて当該画像縮小率に対応する拡大率で、縮小画像列に対応する拡大画像列（ただし、補完を要する標本点が存在する拡大画像列）を生成し、さらに、この拡大画像列における各拡大画像について、ブロック分割サイズ情報に基づく個々のブロックにおける画素値を修正後位置合わせ情報に基づいて各縮小画像列からの画素の対応付けを示す情報を生成して、画素補完処理部６０２に送出する。
【００４４】
画素補完処理部６０２は、各縮小画像列からの画素の対応付けを示す情報と、点広がり関数情報を用いて、生成した拡大画像列における各拡大画像について画素補完を施し、順次、拡大画像生成部６０３に送出する。
【００４５】
拡大画像生成部６０３は、画素補完を施した各拡大画像からなる拡大画像列を構成して外部に送出する。これにより、原画像列に相当する拡大画像列を高精度に復元することができるようになる。
【００４６】
次に、図６〜図１６を参照して、位置合わせ情報生成部の別例を説明する。
【００４７】
（位置合わせ情報の生成）
位置合わせ情報生成部２０１ｂとして、時間方向及び空間方向の周波数解析にウェーブレット変換を用いる場合について説明する。尚、時間方向及び空間方向の周波数解析には、ウェーブレット変換を用いる場合以外に、他の直交変換又はＦＦＴ（Fast Fourier transform）を用いることができる。
【００４８】
[装置構成]
図６は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部のブロック図である。本例の位置合わせ情報生成部２０１ｂは、原画像列の時間方向スペクトルパワーを算出して空間方向の周波数分解階層数を決定し、周波数分解階層数に応じた空間解像度で原画像の空間解像度となるまで階層的に位置合わせを行なった情報を位置合わせ情報として生成する機能を有し、具体的には、時間方向高周波領域パワー算出部２０１１ｂと、空間分解階数決定部２０１２ｂと、空間方向低周波領域パワー算出部２０１３ｂと、位置合わせ開始分解能決定部２０１４ｂと、階層型位置合わせ処理部２０１５ｂとを備える。
【００４９】
時間方向高周波領域パワー算出部２０１１ｂは、位置合わせ処理を行う基準フレームＦ（ｔＣ）及び位置合わせ情報の探索に用いる参照フレームＦ（ｔＲ）を含む、時刻ｔ＝ｔ０・・・ｔｍにおける複数フレームのフレーム画像列Ｆ（ｔ０），・・・，Ｆ（ｔＣ），・・・，Ｆ（ｔＲ），・・・，Ｆ（ｔｍ）を入力し、基準フレームＦ（ｔＣ）における全画素について、この複数フレームを時間方向に予め規定した最大階数の周波領域に分解した後、全画素における時間方向の周波数帯域毎のパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出して空間分解階数決定部２０１２ｂに送出する。
【００５０】
例えば、図７に示すように、時間方向高周波領域パワー算出部２０１１ｂは、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）を含む、時刻ｔ＝ｔ０・・・ｔｍにおけるフレーム画像列Ｆ（ｔ０），・・・，Ｆ（ｔＣ），・・・，Ｆ（ｔＲ），・・・，Ｆ（ｔｍ）を入力し、基準フレームＦ（ｔＣ）の全画素について時間方向に予め規定したＮｍａｘ階（例えば、４階）の離散ウェーブレット分解を行う時間方向１次元Ｎｍａｘ階離散ウェーブレット分解処理部２１１１ｂと、基準フレームＦ（ｔＣ）の全画素における時間方向の周波数帯域毎のパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出して空間分解階数決定部２０１２ｂに送出する時間方向周波数帯域別パワー算出部２１１２ｂから構成することができる。
【００５１】
空間分解階数決定部２０１２は、時間方向高周波領域パワー算出部２０１１ｂによって算出した時間方向の高周波領域のパワーの割合から、時間方向の高周波領域のパワーの割合が大きいほど、動領域面積が大きく、且つ動き量が大きいと判断し、時間方向の高周波領域のパワーの割合に応じて空間周波数の分解階数Ｎｓ（即ち、空間方向の分解能）を決定し、決定した空間周波数の分解階数Ｎｓの情報を空間方向低周波領域パワー算出部２０１３ｂに送出する。
【００５２】
空間方向低周波領域パワー算出部２０１３ｂは、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）と空間周波数の分解階数Ｎｓの情報を入力し、空間周波数の分解階数Ｎｓに基づいて、基準フレームＦ（ｔＣ）及び／又は参照フレームＦ（ｔＲ）に対して空間Ｎｓ階離散ウェーブレット分解を実行し、当該フレームにおける空間周波数帯域毎のパワーを算出し、算出した空間周波数帯域毎のパワーから当該フレームにおける空間方向の低周波領域のパワーの割合を算出し、算出した空間方向の低周波領域のパワーの割合と空間Ｎｓ階離散ウェーブレット分解したデータを位置合わせ開始分解能決定部２０１４ｂに送出する。
【００５３】
尚、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の双方に対して空間Ｎｓ階離散ウェーブレット分解を実行することは、後の処理として、固定のブロックサイズ及び探索範囲の大きさで階層型位置合わせ処理を行う際のウェーブレット再構成を階層的に行うことにより、元画像に対して可変のブロックサイズ及び探索範囲の大きさとする階層型位置合わせ処理を行うことができる点で有利であり、特に、位置合わせ処理を階層的に行うための分解能の決定のためには、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）のうちの空間方向の低周波領域のパワーの割合が大きいほうを選定するのが好適となる。以下の説明では、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の双方について空間Ｎｓ階離散ウェーブレット分解を行う例を説明する。
【００５４】
例えば、図８に示すように、空間方向低周波領域パワー算出部２０１３ｂは、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）を入力し、空間分解階数決定部２０１２ｂによって決定した空間周波数の分解階数Ｎｓに基づいて、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の各々の全画素に対して空間Ｎｓ階離散ウェーブレット分解を行う空間方向２次元Ｎｓ階離散ウェーブレット分解処理部２１３１ｂと、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の各々における空間周波数帯域毎のパワーを算出し、算出した空間周波数帯域毎のパワーから基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の各々における空間方向の低周波領域のパワーの割合を算出し、算出した基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の各々における空間方向の低周波領域のパワーの割合の大きいほうの情報を位置合わせ開始分解能決定部２０１４ｂに送出する空間方向周波数帯域別パワー算出部２１３２ｂから構成することができる。
【００５５】
位置合わせ開始分解能決定部２０１４ｂは、空間方向低周波領域パワー算出部２０１３ｂによって算出した空間方向の低周波領域のパワーの割合の情報から、空間方向の低周波領域のパワーの割合が大きいほど（空間方向の高周波領域のパワーの割合が小さいほど）、動領域面積が大きく、且つ動き量が大きいと判断し、位置合わせ処理を階層的に開始するための分解能（以下、「位置合わせ開始分解能」と称する）が小さい値（即ち、低解像度画像）となるように、空間方向の低周波領域のパワーの割合に応じて位置合わせ開始分解能を決定し、決定した階層的な位置合わせ開始分解能の情報を階層型位置合わせ処理部２０１５ｂに送出する。
【００５６】
例えば、図９に示すように、位置合わせ開始分解能決定部２０１４ｂは、空間方向低周波領域パワー算出部２０１３ｂによって算出した空間方向の低周波領域のパワーの割合から、空間方向の低周波領域のパワーの割合が大きいほど（空間方向の高周波領域のパワーの割合が小さいほど）動領域面積が大きく、且つ動き量が大きいと判断し、位置合わせを開始する階数（以下、「位置合わせ開始階数」と称する）ｎｓが大きな値となるように、空間方向の低周波領域のパワーの割合に応じて位置合わせ開始階数ｎｓを決定し、決定した位置合わせ開始階数ｎｓの情報を階層型位置合わせ処理部２０１５ｂに送出する位置合わせ開始階数決定部２１４１ｂとして構成することができる。
【００５７】
階層型位置合わせ処理部２０１５ｂは、位置合わせ開始階数ｎｓに応じた空間方向に低周波領域の基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の画像を得るために、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の空間方向２次元Ｎｓ階離散ウェーブレット分解したデータに対して、位置合わせ開始階数ｎｓに応じた空間ｎｓ階ウェーブレットの再構成を行い、予め定めたブロックサイズ及び探索範囲の大きさで位置合わせ処理を実行し、続いて空間ｎｓ−１階ウェーブレットの再構成を行い、当該予め定めたブロックサイズ及び探索範囲の大きさで位置合わせ処理を再度実行し、最上位の階層（即ち、元の画像レベル）にて当該予め定めたブロックサイズ及び探索範囲の大きさで位置合わせ情報の検出を行うまで階数をデクリメントして繰り返す。この階層型位置合わせ処理の動作は、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）を入力し、位置合わせ開始分解能に基づいて、基準フレームＦ（ｔＣ）に対して順次ブロックサイズ及び探索範囲の大きさを縮小しながら位置合わせ処理を行うことと類似した処理となる。ただし、空間ｎｓ階ウェーブレット分解及び再構成を経て順次繰り返すことによる階層型位置合わせ処理によれば、階層に応じて順次可変にすべきブロックサイズ及び探索範囲の大きさを用意する必要がなく固定とすることができ、且つ画像シーンに応じた位置合わせ開始階数ｎｓに応じた位置合わせ処理を行うため、高精度化が期待できる。
【００５８】
例えば、図１０に示すように、階層型位置合わせ処理部２０１５ｂは、位置合わせ開始階数ｎｓに応じた空間方向に低周波領域の基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の画像を得るために位置合わせ開始階数ｎｓに応じた空間ｎｓ階ウェーブレットの再構成を行い、予め定めたブロックサイズ及び探索範囲の大きさで小数画素精度のブロックマッチングによる位置合わせ処理を行う位置合わせ情報生成部２１５１ｂと、この位置合わせ情報の生成処理を最上位の階数に対応する元の画像レベルとなるまで階数をデクリメントして繰り返すために、空間方向低周波領域パワー算出部２０１３ｂによって算出した空間Ｎｓ階離散ウェーブレット分解データに対して位置合わせ開始階数ｎｓよりも上位の階数の画像となるように空間方向に１階上位のウェーブレット再構成を実行して位置合わせ情報生成部２１５１ｂに送出する空間１階ウェーブレット再構成部２１５２ｂから構成することができる。従って、位置合わせ情報生成部２１５１ｂは、空間１階ウェーブレット再構成部２１５２ｂから得られる基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の再構成画像を用いて、位置合わせ処理を階層的に繰り返し、最終的な一合わせ情報を決定して出力することができる。
【００５９】
以下、本例の位置合わせ情報生成部の動作について更に詳細に説明する。
【００６０】
[装置動作]
図１１は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部の動作を示す動作フローである。ステップＳ１にて、位置合わせ情報生成部２０１ｂは、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）を含む、時刻ｔ＝ｔ０・・・ｔｍにおけるフレーム画像列Ｆ（ｔ０），・・・，Ｆ（ｔＣ），・・・，Ｆ（ｔＲ），・・・，Ｆ（ｔｍ）を入力して、位置合わせ情報生成部２０１ｂが備える記憶部（図示せず）に適宜読み出し可能に格納する。
【００６１】
ステップＳ２にて、時間方向高周波領域パワー算出部２０１１ｂにより、フレーム画像列Ｆ（ｔ０），・・・，Ｆ（ｔＣ），・・・，Ｆ（ｔＲ），・・・，Ｆ（ｔｍ）を入力し、基準フレームＦ（ｔＣ）における全画素について時間方向に予め規定した最大階数の周波領域に分解した後、全画素における時間方向の周波数帯域毎のパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出する。
【００６２】
例えば、図１２に示すように、フレーム画像列Ｆ（ｔ０），・・・，Ｆ（ｔＣ），・・・，Ｆ（ｔＲ），・・・，Ｆ（ｔｍ）における或る画素Ｒ（ｋ，ｌ）について、時間方向に予め規定した最大階数（Ｎｍａｘ）の周波領域に分解した後、全画素における時間方向周波数帯域毎のパワーを算出することができる。例えば、図１３に示すように、１６フレームのフレーム画像列Ｆ（ｔ）を時間方向にＮｍａｘ階に分解するとすれば、Ｎｍａｘ＝１では、低周波領域Ｌ１及び高周波領域Ｈ１として分割することができ（図１３（ａ）参照）、Ｎｍａｘ＝２では、低周波領域Ｌ２及び高周波領域Ｈ１，Ｈ２として分割することができ（図１３（ｂ）参照）、Ｎｍａｘ＝３では、低周波領域Ｌ３及び高周波領域Ｈ１，Ｈ２，Ｈ３として分割することができ（図１３（ｃ）参照）、Ｎｍａｘ＝４では、低周波領域Ｌ４及び高周波領域Ｈ１，Ｈ２，Ｈ３，Ｈ４として分割することができる（図１３（ｄ）参照）。
【００６３】
ステップＳ３にて、空間分解階数決定部２０１２ｂにより、算出した時間方向の高周波領域のパワーの割合から、時間方向の高周波領域のパワーの割合が大きいほど動領域面積が大きく、且つ動き量が大きいと判断し、空間周波数の分解階数Ｎｓが大きな値となるように、時間方向の高周波領域のパワーの割合に応じて準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の空間周波数の分解階数Ｎｓを決定する。
【００６４】
例えば、表１に示すように、時間方向の高周波領域のパワーの割合と空間周波数の分解階数Ｎｓとの間で規定されるテーブルを予め保持しておく。
【００６５】
【表１】
0005498970.tif 000002
【００６６】
ステップＳ４にて、空間方向低周波領域パワー算出部２０１３ｂにより、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）を入力し、空間分解階数決定部２０１２ｂによって決定した空間周波数の分解階数Ｎｓに基づいて、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）に対して空間Ｎｓ階離散ウェーブレット分解を実行し、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）における空間周波数帯域毎のパワーをそれぞれ算出し、位置合わせ開始分解能（又は位置合わせ開始階数ｎｓ）の決定のために、算出した空間周波数帯域毎のパワーから基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）における空間周波数帯域毎のパワーの割合の大きいほうを選定する。基準フレームＦ（ｔＣ）又は参照フレームＦ（ｔＲ）における空間周波数帯域毎のパワーの割合のみを算出してもよい。
【００６７】
例えば、図１４（ａ）に示すように、基準フレームＦ（ｔＣ）の全画素に対して空間方向に２次元２階離散ウェーブレット分解を実行して、各周波領域のパワーを算出し、算出した空間周波数帯域毎のパワーから空間方向の低周波領域のパワーの割合を算出することができる。また、図１４（ｂ）に示すように、基準フレームＦ（ｔＣ）の空間方向の低周波領域（例えば、ＬＬ２）のみを抽出して基準フレームＦ（ｔＣ）の低周波領域のみの画像を再構成することができる。
【００６８】
ステップＳ５にて、位置合わせ開始分解能決定部２０１４ｂにより、空間Ｎｓ階離散ウェーブレット分解データ及び空間方向の低周波領域のパワーの割合から、空間方向の低周波領域のパワーの割合が大きいほど（空間方向の高周波領域のパワーの割合が小さいほど）動領域面積が大きく、且つ動き量が大きいと判断し、位置合わせ開始分解能が小さい値（位置合わせ開始階数ｎｓが大きい値）となるように、空間方向の低周波領域のパワーの割合に応じて階層的な位置合わせ開始分解能（又は位置合わせ開始階数ｎｓ）を決定する。ただし、ｎｓ≦Ｎｓである。
【００６９】
例えば、表２に示すように、空間方向の低周波領域のパワーの割合と位置合わせ開始分解能（又は位置合わせ開始階数ｎｓ）との間で規定されるテーブルを予め保持しておく。尚、位置合わせ開始階数が大きくなるにつれて、元の画像が低解像度化することを意味しており、元の画像に対して相対的にブロックサイズ及び位置合わせ情報の探索範囲の大きさが増大することを意味している。例えば、空間分解能１／１６，１／８，１／４，１／２とすれば、それぞれ（ブロックサイズ，位置合わせ情報の探索範囲の大きさ）は、（１６×１６，水平・垂直１６画素），（８×８，水平・垂直８画素），（４×４，水平・垂直４画素），（２×２，水平・垂直２画素）などである。ここで、例えば、空間分解能１／１６は、元の画像における水平標本化周波数Ｈｓ及び垂直標本化周波数Ｖｓにおいて、１６画素を１画素として標本化する低解像度化を意味する。
【００７０】
【表２】
0005498970.tif 000003
【００７１】
つまり、図１５に示すように、空間方向の低周波領域のパワーの割合によって、位置合わせ開始階数ｎｓを関連付けることができる。例えば、Ｎｓ＝４のとき、低周波領域（ＬＬ４）及び高周波領域（ＬＬ４以外）のそれぞれのパワーを算出して、全体における低周波領域（ＬＬ４）の割合が、９９．５％以上であれば、位置合わせ開始階数ｎｓ＝４として４階層の低周波領域のみの画像を再構成することができる（図１５（ｄ）参照）。また、全体における低周波領域（ＬＬ４）の割合が、９８．０％以上９９．５％未満であれば、位置合わせ開始階数ｎｓ＝３として３階層の低周波領域（この場合、ＬＬ３）のみの画像を再構成することができる（図１５（ｃ）参照）。同様に、全体における低周波領域（ＬＬ４）の割合が、９５．０％以上９８．０％未満であれば、位置合わせ開始階数ｎｓ＝２として２階層の低周波領域（この場合、ＬＬ２）のみの画像を再構成することができ（図１５（ｂ）参照）、全体における低周波領域（ＬＬ４）の割合が、９５．０％未満であれば、位置合わせ開始階数ｎｓ＝１として１階層の低周波領域（この場合、ＬＬ１）のみの画像を再構成することができる（図１５（ａ）参照）。
【００７２】
ステップＳ６にて、階層型位置合わせ処理部２０１５ｂにより、位置合わせ開始分解能（位置合わせ開始階数ｎｓ）に基づいた基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の低周波画像に対して、基準フレームＦ（ｔＣ）の低周波画像を所定のブロックサイズに分割し、分割した各ブロックについて、所定の位置合わせ情報の探索範囲の大きさで、小数画素精度のブロックマッチングによる位置合わせ情報の生成処理を行う。
【００７３】
ステップＳ７にて、階層型位置合わせ処理部２０１５ｂにより、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）に対してブロックサイズ及び位置合わせ情報の探索範囲の大きさを縮小しながら位置合わせ処理を繰り返す効果を得るために、算出していた基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の空間ｎｓ階離散ウェーブレット分解データに対して位置合わせ開始階数ｎｓよりも上位の階数の画像となるように空間方向に１階上位のウェーブレット再構成を実行する。
【００７４】
階層型位置合わせ処理部２０１５ｂは、空間１階ウェーブレット再構成部２１５２ｂから得られる基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の再構成画像を用いて、最上位の階層（即ち、元の画像レベルにおける位置合わせ情報）となるまで順次階数をデクリメントして位置合わせ処理を繰り返し（ステップＳ８）、最終的な位置合わせ情報を決定して出力することができる（ステップＳ９）。
【００７５】
例えば、図１６（ａ）〜（ｄ）に示すように、位置合わせ開始階数ｎｓが大きいほどブロックサイズが大きくなる様子を示しており、ブロックサイズが大きいほど参照フレームＦ（ｔＲ）における位置合わせ情報の探索範囲の大きさも大きくなる。
【００７６】
つまり、基準フレームＦ（ｔＣ）のｎｓ階低周波画像を水平及び垂直のブロックサイズ（Ｂｘｎｓ，Ｂｙｎｓ）の或るブロックＢｎｓ（上添え字は、階級を示す）に分割し、参照フレームＦ（ｔＲ）の±Ｓｘｎｓ，±Ｓｙｎｓの範囲（例えば、±２ブロック）で探索し、各ブロックの位置合わせ情報ｖｎｓを算出する。次に、基準フレームＦ（ｔＣ）のｎｓ−１階低周波画像を、ブロックサイズ（Ｂｘｎｓ，Ｂｙｎｓ）で分割し、参照フレームＦ（ｔＲ）のｎｓ階低周波画像上の同じ位置から２×ｖｎｓだけずらした場所を中心位置とする水平及び垂直画素数としてそれぞれ±Ｓｘｎｓ，±Ｓｙｎｓの範囲で探索し、得られた位置合わせ情報に２×ｖｎｓをベクトル加算して、ｎｓ−１階低周波画像における位置合わせ情報ｖｎｓ−１を算出する。このようにして、最上位の階数（即ち、１階）まで位置合わせ処理を繰り返すことにより、高精度化を図ることができる。
【００７７】
尚、位置合わせ処理は、２次関数近似による小数画素位置のブロックマッチング法を用いて行うのは、最上位の階数（即ち、１階）でのみ行うのが好適であり、次式で与えられる。
【００７８】
0005498970.tif 000004
【００７９】
尚、探索位置における画素位置をxとしたとき、SSD(x)は、画素位置におけるＳＳＤ値（誤差二乗和）を表し、より具体的には、SSD(0)は中心位置におけるＳＳＤ値、SSD(−1)は中心位置から−Ｓｘ（Ｓｙ）画素の位置におけるＳＳＤ値、SSD(1)は中心位置から＋Ｓｘ（Ｓｙ）画素の位置におけるＳＳＤ値を表す。上記の式から、水平又は垂直方向の小数画素精度の画素位置（小数画素位置）をそれぞれ算出することができる。
【００８０】
このように、時空間方向の周波数パワーに基づいて位置合わせ情報を生成することができる。
【００８１】
次に、本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部について説明する。
【００８２】
（位置合わせ情報の確度判定）
図１７は、本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部のブロック図である。本例の位置合わせ情報生成部２０１ｃは、原画像フレームをブロック分割したブロック単位で位置合わせ情報を生成し、各ブロック内の小領域のサブブロック単位で位置合わせ情報を生成し、サブブロック単位で検出した位置合わせ情報が、対応するブロック位置のブロック単位の動き量に対して所定の閾値以上、及び／又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする確度判定を行ない、有効と判断したサブブロック単位の位置合わせ情報を、対応するブロック単位の位置合わせ情報にベクトル加算して補正することにより、位置合わせ情報修正部２０３で用いる位置合わせ情報を生成する機能を有し、具体的には、ブロック単位小数画素位置合わせ処理部２０１１ｃと、画素単位小数位置合わせ処理部２０１２ｃと、位置合わせ情報確度判定部２０１３ｃと、補正位置合わせ情報生成部２０１４ｃとを備える。尚、本例の位置合わせ情報生成部２０１ｃは、各構成要素が処理するのに必要なデータを格納する記憶部（図示せず）を備える。位置合わせ処理を行う基準フレームをＦ（ｔＣ）、及び位置合わせ情報の探索を行う参照フレームをＦ（ｔＲ）とする。
【００８３】
ブロック単位小数画素位置合わせ処理部２０１１ｃは、原画像列についてブロック単位で位置合わせ情報を算出する。より具体的には、後述するように、ブロック単位小数画素位置合わせ処理部２０１１ｃは、基準フレームＦ（ｔＣ）、及び参照フレームＦ（ｔＲ）を入力して、基準フレームＦ（ｔＣ）を例えば１６×１６画素のブロックＢｉ，ｊ（ｉ，ｊは、水平及び垂直のブロック番号）で分割し、参照フレームＦ（ｔＲ）上を探索してブロック単位の位置合わせ情報ｖＢｉ，ｊを求め、当該記憶部に保持する。ブロック単位の位置合わせ処理は、小数画素精度の位置合わせ処理を行うのが好適である。
【００８４】
画素単位小数画素位置合わせ処理部２０１２ｃは、ブロックＢｉ，ｊ内の小領域のサブブロック単位（例えば、１画素単位）で位置合わせ情報を算出する。より具体的には、後述するように、画素単位小数画素位置合わせ処理部２０１２ｃは、ブロックＢｉ，ｊ内の画素位置（ｋ，ｌ）について、各画素位置の位置合わせ情報ｕｉ，ｊ（ｋ，ｌ）を求め、当該記憶部に保持する。小領域のサブブロック単位（例えば、１画素単位）の位置合わせ情報は、小数画素精度の位置合わせ処理を行うのが好適である。
【００８５】
位置合わせ情報確度判定部２０１３ｃは、当該記憶部に保持したブロック単位及びサブブロック単位で検出した位置合わせ情報を読み出し、サブブロック単位で検出した位置合わせ情報が、対応するブロック位置のブロック単位の動き量に対して所定の閾値以上、及び／又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする確度判定を行う。位置合わせ情報確度判定部２０１３ｃは、確度判定によって得られたサブブロック単位の位置合わせ情報について有効であるか否かを表す情報と、ブロック単位及びサブブロック単位で検出した位置合わせ情報を補正位置合わせ情報生成部２０１４ｃに送出する。より具体的には、位置合わせ情報確度判定部２０１３ｃは、サブブロック単位で検出した位置合わせ情報が、ブロック単位の動き量の半値以上である場合、及び／又は、一致度評価関数値が一定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする。
【００８６】
補正位置合わせ情報生成部２０１４ｃは、有効と判断したサブブロック単位の位置合わせ情報を、対応するブロック単位の位置合わせ情報にベクトル加算して補正する。
【００８７】
これにより、ブロック単位で求めた位置合わせ情報に関して、より小領域のサブブロック単位（例えば、画素単位）で再検出し、サブブロック単位（例えば、画素単位）の位置合わせ情報について有効又は無効の判定を行うため、確度の高い位置合わせ情報を得ることができる。また、少なくとも小領域のサブブロック単位（例えば、画素単位）で小数画素精度の位置合わせ処理を行うため、精度の高い位置合わせ情報を得ることができる。
【００８８】
以下、図１８を参照して、本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部の動作について詳細に説明する。
【００８９】
ステップＳ１１にて、原画像列を構成する基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）を入力し、適宜記憶部に保持する。
【００９０】
ステップＳ１２にて、ブロック単位小数画素位置合わせ処理部２０１１ｃにより、まず、ブロック単位（例えば、１６×１６画素のブロック単位）の小数画素精度の位置合わせ情報の生成を行う。例えば、図１９（ａ）に示すように、基準フレームＦ（ｔＣ）をブロックＢｉ，ｊ（ｉ，ｊは、水平及び垂直のブロック番号）で分割し、図１９（ｂ）に示すように、参照フレームＦ（ｔＲ）上を探索してブロック単位の位置合わせ情報ｖＢｉ，ｊを求める。
【００９１】
ステップＳ１３にて、画素単位小数画素位置合わせ処理部２０１２ｃにより、小領域のサブブロック単位（例えば、画素単位）の小数画素精度の位置合わせ処理を行う。以下、画素単位の小数画素精度の位置合わせ処理を行う例を説明する。
【００９２】
ブロックＢｉ，ｊ内の画素位置（ｋ，ｌ）とし、各画素位置の位置合わせ情報ｕｉ，ｊ（ｋ，ｌ）を、上述したように、画素単位の小数画素精度位置における位置合わせ情報の生成を行う。画素単位の位置合わせ処理は、２次関数近似（パラボラフィッティング）を用いた一致度評価関数とするブロックマッチング法を用いて、参照フレームＦ（ｔＲ）上をブロック単位の位置合わせ情報ｖＢｉ，ｊだけずらした位置を中心とする±Ｓｘ’（Ｓｙ’）の範囲で探索する。尚、探索範囲の大きさを規定する±Ｓｘ’又はＳｙ’の大きさは、±１画素とすることができる。
【００９３】
ステップＳ１４にて、位置合わせ情報確度判定部２０１３ｃにより、求めた画素単位の位置合わせ情報ｕｉ，ｊ（ｋ，ｌ）が、ブロック単位の動き量に対して所定の閾値以上、及び／又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする（ステップＳ１５，Ｓ１６）。
【００９４】
例えば、求めた画素単位の位置合わせ情報ｕｉ，ｊ（ｋ，ｌ）が、ブロック単位の動き量の半値、即ち±（０．５，０．５）以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする（図２０参照）。
【００９５】
更に別の例として、求めた画素単位の位置合わせ情報ｕｉ，ｊ（ｋ，ｌ）が、ＳＳＤ値が一定の閾値（例えば、SSD(0)の値）以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする。
【００９６】
更に別の例として、求めた画素単位の位置合わせ情報ｕｉ，ｊ（ｋ，ｌ）が、ブロック単位の動き量の半値、即ち±（０．５，０．５）以上である場合、且つＳＳＤ値（誤差二乗和）が一定の閾値（例えば、SSD(0)の値）以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする。
【００９７】
有効と判断した場合に、補正位置合わせ情報生成部２０１４ｃにより、この基準フレームＦ（ｔＣ）における小領域のサブブロック単位（例えば、画素単位）の位置合わせ情報Ｖ（ｉ，ｊ，ｋ，ｌ）を、Ｖ（ｉ，ｊ，ｋ，ｌ）＝ｖＢｉ，ｊ＋ｕｉ，ｊ（ｋ，ｌ）として補正する。
【００９８】
尚、補正位置合わせ情報生成部２０１４ｃは、無効であるとされた対象の画素単位小数精度位置の位置合わせ情報については、その周囲の有効値（例えば、最も隣接する有効値）で置き換えるか、又は周囲の複数の有効値で平均化するか、又は、ブロック単位の位置合わせ情報で置き換える（即ち、Ｖ（ｉ，ｊ，ｋ，ｌ）＝ｖＢｉ，ｊ）ことにより、全ての小領域のサブブロック単位（例えば、画素単位）の位置合わせ情報Ｖ（ｉ，ｊ，ｋ，ｌ）を決定することもできる。
【００９９】
このように、本実施例の位置合わせ情報生成部２０１ｃであれば、ブロック単位で求めた位置合わせ情報に関して、より小領域のサブブロック単位（例えば、画素単位）にて小数精度で再検出し、サブブロック単位の位置合わせ情報について有効及び無効の判定を行うため、確度の高く、且つ精度も高い位置合わせ情報を得ることができる。
【０１００】
次に、動き量適応型点広がり関数について説明する。
【０１０１】
（動き量適応型点広がり関数）
図２１は、本発明による一実施例の画像縮小装置で利用可能な点広がり関数を生成する動き量適応型点広がり関数生成装置のブロック図である。通常、画像縮小の際に発生する動きぼけ関数として点広がり関数ＰＳＦ（Point Spreading Function）を用い、画像拡大の際にその逆関数を利用して超解像を行う。したがって、動き量適応型点広がり関数生成装置３００は、原画像列を用いて位置合わせ情報を生成し、この位置合わせ情報に応じて適応的に点広がり関数が変化する動き量適応型点広がり関数を生成する例である。この動き量適応型点広がり関数は、前述した画像縮小装置１０における記憶部３０に予め記憶しておくことで利用可能となる。
【０１０２】
動き量適応型点広がり関数生成装置３００は、位置合わせ情報生成部２０１によって生成した位置合わせ情報に応じて点広がり関数の幅が変化する動き量適応型点広がり関数を用いて、当該位置合わせ情報を修正した情報を補助情報として生成する機能を有し、位置合わせ情報修正部２０３に組み入れることができる。具体的には、動き量適応型点広がり関数生成装置３００は、位置合わせ情報生成部３０１と、画素対応付け処理部３０２と、再構成処理部３０３とを備える。
【０１０３】
位置合わせ情報生成部３０１は、図１で説明した場合と同様に、原画像列を用いて位置合わせ情報を生成する。
【０１０４】
画素対応付け処理部３０２は、原画像列を用いて生成した位置合わせ情報から、図１で説明した場合と同様に生成された縮小画像列について、複数フレーム間で画素の対応付けを行い、超解像元フレーム（縮小画像列のフレーム）の画素を被超解像フレーム（画像拡大するフレーム）上に反映する対応付け情報を生成して再構成処理部３０３に送出する（図２１参照）。
【０１０５】
再構成処理部３０３は、縮小画像の画素を、画像拡大するフレーム上に反映するときの事後確率（被超解像フレーム上に複数の低解像度な超解像元フレームの画素が与えられた時の事後確率）を最大にする高解像度画像の推定を行って高解像度画像を再構成するのに必要な動き量適応型点広がり関数を決定する。この推定にはＭＡＰ（Ｍａｘｉｍｕｍ Ａ Ｐｏｓｔｅｒｉｏｒ）法や、その他の方法を用いることができる。また動き量適応型点広がり関数は、原画像列を用いて生成した位置合わせ情報を基に、ＰＳＦを拡張した動きぼけ関数である。詳細に後述するが、再構成処理部３０３は、動き量適応型点広がり関数として、点広がり関数ＰＳＦを模擬する２次元ガウス関数近似を用いて、２次元ガウス関数近似の水平及び垂直方向の動きぼけ量を制御することができる。
【０１０６】
従来からのＭＡＰ法（以下、「従来ＭＡＰ法」と称する）は、ｘを高解像度な画像復元されたフレーム画像ベクトル、ｙを低解像度な超解像元フレーム画像ベクトル、Ｎを入力フレーム数とした時の事後確率ｐ(ｘ｜ｙ１，ｙ２，・・・，ｙＮ)を最大にする高解像度フレーム画像を推定する方法である。
【０１０７】
0005498970.tif 000005
【０１０８】
【数１】
0005498970.tif 000006
【０１０９】
式（１）での第１項では、Ｄはサブサンプリングを表す行列、Ｂｋは点広がり関数ＰＳＦ行列、Ｗｋは位置合わせ情報（特に、シーンやカメラの動きを表す動き量にも適用できる）の行列を示す。
【０１１０】
ゆえに、式（１）の第１項の||ｙｋ−Ｄ・Ｂｋ・Ｗｋ・ｘ||２は、ｋ番目の低解像度の超解像元フレーム画像と、観測信号としての高解像度の画像復元されるフレーム画像にＰＳＦによる解像度変換時の動きぼけとｋ番目の超解像元フレームからの位置合わせ情報を与えてサブサンプリングした画像との二乗誤差となる。
【０１１１】
そして、式（１）の第２項のλ||Ｃ・ｘ||２は、λが事前情報の寄与度合いを示す変数量、Ｃが入力画像の事前情報として与えられる「画像縮小率情報」の行列となる。
【０１１２】
ただし、従来ＭＡＰ法では、「点広がり関数ＰＳＦ」、「位置合わせ情報」、「画像縮小率情報」は補助情報としては与えられないことに注意する。ゆえに、従来ＭＡＰ法におけるＣは、例えば４近傍のＭＲＦ(Markov Random Field)を仮定して、４近傍のラプラシアンカーネルを利用するものであるため、シーンやカメラの動きに十分に対応できていなかった。
【０１１３】
本例の動き量適応型点広がり関数生成装置３００は、「位置合わせ情報」及び「画像縮小率情報」が補助情報としては与えられない状況下で、式（１）の点広がり関数ＰＳＦのＢｋを、２次元ガウス関数近似による点広がり関数とし、位置合わせ情報（つまり、フレーム間動きベクトルの向きと大きさに対応する情報）に応じて、２次元ガウス関数近似による点広がり関数の拡張を行う。この拡張されたＰＳＦ関数を動き量適応型点広がり関数カーネルＥＢｋとする。
【０１１４】
式(２)に、動き量適応型点広がり関数カーネルＥＢｋを用いたＭＡＰ再構成処理式を示す。
【０１１５】
【数２】
0005498970.tif 000007
【０１１６】
より具体的に、「２次元ガウス関数近似による点広がり関数ＰＳＫ」と、「動き量適応型点広がり関数（拡張された２次元ガウス関数近似による点広がり関数ＰＳＫ）」について、詳細に説明する。
【０１１７】
〔２次元ガウス関数近似による点広がり関数〕
ＰＳＫを、２次元のガウス関数で近似するあたり、式（３）のように、半値幅をｗとし、面積が１の規格化ガウス関数の振幅をαとして定義する。
【０１１８】
【数３】
0005498970.tif 000008
【０１１９】
式（３）より、２次元のガウス関数は、式（４）のようになる。ここで、水平方向の基準位置はｘ０、垂直方向の基準位置はｙ０となる。
【０１２０】
【数４】
0005498970.tif 000009
【０１２１】
〔動き量適応型点広がり関数（拡張された２次元ガウス関数近以による点広がり関数）〕
動き量適応型点広がり関数生成装置３００は、式（４）の点広がり関数を拡張する。位置合わせ情報ｍの水平方向の動き量をｍｘ、垂直方向の動き量をｍｙとすると、式（４）のガウス関数における水平方向と垂直方向の半値幅は、式（５）のように制御される。
【０１２２】
【数５】
0005498970.tif 000010
【０１２３】
式（５）は、位置合わせ情報の向きと大きさに応じて点広がり関数の広がり方向と広がり量を制御するものである。
【０１２４】
動き量適応型点広がり関数生成装置３００の再構成処理では、式（２）のカーネルＥＢｋを式（５）の２次元のガウス関数として、画像拡大倍率に応じて式（５）の半値幅ｗを決定し、式（２）のλを変化させながら式（２）の繰り返し演算を行い、最適な高解像度画像を求めることができる。
【０１２５】
このように、動き量適応型点広がり関数生成装置３００で生成した動き量適応型点広がり関数を、図１に示す画像縮小装置１０に適用すれば、動き量に対する鮮鋭な位置合わせ情報を生成することができる。
【産業上の利用可能性】
【０１２６】
本発明によれば、複数フレーム超解像処理のために、原画像精度のみならず点広がり関数による復元過程の誤差を修正した修正後位置合わせ情報を用いることができるようになるので、従来よりも高画質な超解像処理の画像を得ることができ、縮小画像から拡大画像を得る用途に有用である。
【符号の説明】
【０１２７】
１０  画像縮小装置
２０  制御部
３０  記憶部
５０  画像拡大装置
６０  制御部
７０  記憶部
２０１，２０１ｂ，２０１ｃ  位置合わせ情報生成部
２０２  画像縮小部
２０３  位置合わせ情報修正部
３００  動き量適応型点広がり関数生成装置
３０１  位置合わせ情報生成部
３０２  画素対応付け処理部
３０３  再構成処理部
６０１  位置合わせ処理部
６０２  画素補完処理部
６０３  拡大画像生成部
２０１１  ブロック分割部
２０１２  ブロックマッチング処理部
２０２１  ウェーブレット分解部
２０２２  空間低周波成分抽出部
２０２３  縮小画像生成部
２０３１  全画素比較処理部
２０３２  画素補完処理部
２０３３  補完誤差算出部
２０３４  加算部
２０３５  補助情報生成部
２０１１ｂ  時間方向高周波領域パワー算出部
２０１２ｂ  空間分解階数決定部
２０１３ｂ  空間方向低周波領域パワー算出部
２０１４ｂ  位置合わせ開始分解能決定部
２０１５ｂ  階層型位置合わせ処理部
２０１１ｃ  ブロック単位小数画素位置合わせ処理部
２０１２ｃ  画素単位小数位置合わせ処理部
２０１３ｃ  位置合わせ情報確度判定部
２０１４ｃ  補正位置合わせ情報生成部
【図１】
0005498970.tif 000011
【図２】
0005498970.tif 000012
【図３】
0005498970.tif 000013
【図４】
0005498970.tif 000014
【図５】
0005498970.tif 000015
【図６】
0005498970.tif 000016
【図７】
0005498970.tif 000017
【図８】
0005498970.tif 000018
【図９】
0005498970.tif 000019
【図１０】
0005498970.tif 000020
【図１１】
0005498970.tif 000021
【図１２】
0005498970.tif 000022
【図１３】
0005498970.tif 000023
【図１４】
0005498970.tif 000024
【図１５】
0005498970.tif 000025
【図１６】
0005498970.tif 000026
【図１７】
0005498970.tif 000027
【図１８】
0005498970.tif 000028
【図１９】
0005498970.tif 000029
【図２０】
0005498970.tif 000030
【図２１】
0005498970.tif 000031
【図２２】
0005498970.tif 000032