(57)【要約】【課題】複数の出力画像を生成する際の処理量を削減すること。【解決手段】実施形態の画像処理装置は、第１画像処理部と、第２画像処理部とを備える。第１画像処理部は、入力画像の処理対象フレームの時間的に前後の参照フレームにおいて対応点を探索し、前記対応点の移動量である動きベクトルを算出する位置合わせ処理部を備え、前記入力画像に対して第１の画像処理を行う。第２画像処理部は、位置合わせ処理部で算出された動きベクトルに基づいて、第２の画像処理を行い、出力画像を出力する。【選択図】図１
2014178876.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の処理対象フレームの時間的に前後の参照フレームにおいて対応点を探索し、前記対応点の移動量である動きベクトルを算出する位置合わせ処理部を備え、前記入力画像に対して第１の画像処理を行う第１画像処理部と、
前記位置合わせ処理部で算出された動きベクトルに基づいて、第２の画像処理を行い、出力画像を出力する第２画像処理部と、
を備えた画像処理装置。
【請求項２】
前記第１画像処理部は、第１解像度の前記入力画像を、超解像処理により、前記第１解像度より高い第２解像度の出力画像に変換する第１超解像処理部、を備え、
前記第２画像処理部は、第２解像度の出力画像を、前記超解像処理により、前記第２解像度より高い第３解像度の出力画像に変換する第２超解像処理部、を備え、
前記第１超解像処理部は、前記位置合わせ処理部を備え、
前記第２超解像処理部は、前記位置合わせ処理部で算出された動きベクトルに基づいて、前記第２解像度の出力画像を前記第３解像度の出力画像に変換する、
請求項１に記載の画像処理装置。
【請求項３】
前記第１画像処理部は、第１解像度の入力画像を第１解像度より高い第２解像度の出力画像に変換する第１超解像処理部、を備え
前記第２画像処理部は、前記第１解像度の出力画像を前記第２解像度より高い第３解像度の出力画像に変換する第２超解像処理部、を備え、
前記第１超解像処理部は、前記位置合わせ処理部、を備え、
前記第２超解像処理部は、前記位置合わせ処理部で算出された動きベクトルに基づいて、前記第１解像度の出力画像を前記第３解像度の出力画像に変換する、
請求項１に記載の画像処理装置。
【請求項４】
前記第１画像処理部は、
第１解像度の入力画像の画素を、第２解像度を表すことが可能な画素数に増加して第１初期画像を生成する第１補間拡大処理部と、
前記入力画像の画素を、第３解像度を表すことが可能な画素数に増加して第２初期画像を生成する第２補間拡大処理部と、
前記位置合わせ処理部と、を備え、
前記第２画像処理部は、
前記第１初期画像と前記第２初期画像と前記入力画像と前記動きベクトルとに基づいて、前記第２解像度の出力画像と前記第３解像度の出力画像とを生成する再構成処理部、
を備えた請求項１に記載の画像処理装置。
【請求項５】
前記再構成処理部は、
前記第２初期画像と前記動きベクトルから予測画像を生成する予測画像生成部と、
前記予測画像と前記入力画像との誤差を計算し誤差画像を生成する誤差計算部と、
前記誤差画像で前記第１初期画像を補正して、前記第２解像度の出力画像を得る第１誤差補正部と、
前記誤差画像で前記第２初期画像を補正して、前記第３解像度の出力画像を得る第２誤差補正部と、
を備えた請求項４に記載の画像処理装置。
【請求項６】
前記第１画像処理部は、
第１解像度の入力画像の画素を、前記第１解像度より高い複数の解像度を表すことが可能な画素数に増加して、解像度の異なる複数の初期画像からなる初期画像群を生成する補間拡大処理部と、
前記位置合わせ処理部と、を備え、
前記第２画像処理部は、
前記初期画像群と前記入力画像と前記動きベクトルとに基づいて、前記複数の解像度の出力画像からなる出力画像群を生成する再構成処理部と、
前記出力画像群から、所定の解像度の出力画像を切り出す画像切り出し部と、
を備えた請求項１に記載の画像処理装置。
【請求項７】
前記再構成処理部は、
前記初期画像群の各初期画像と前記動きベクトルから予測画像を生成する予測画像生成部と、
前記予測画像と前記入力画像との誤差を計算し誤差画像を生成する誤差計算部と、
前記誤差画像で前記初期画像群の複数の初期画像を補正して、複数の解像度の出力画像を得る誤差補正部と、
を備えた請求項６に記載の画像処理装置。
【請求項８】
前記第１画像処理部は、第１解像度で第１フレームレートの入力画像を、第２フレームレートの画像に変換するフレームレート変換部、を備え、
前記第２画像処理部は、
前記第２フレームレートの画像を、超解像処理により、前記第１解像度より高い第２解像度の出力画像に変換する超解像処理部と、
前記第２フレームレートの画像からフレームを選択して、前記第２フレームレートより低い第３フレームレートの出力画像を出力するフレーム選択部と、を備え、
前記フレームレート変換部は、
前記入力画像の処理対象フレームの時間的に前後の参照フレームにおいて対応点を探索し、前記対応点の移動量である動きベクトルを算出する位置合わせ処理部を備え、
前記超解像処理部は、前記フレームレート変換部の前記位置合わせ処理部で算出された動きベクトルに基づいて、前記第１解像度の出力画像を前記第２解像度の出力画像に変換する、
請求項１に記載の画像処理装置。
【請求項９】
前記第１画像処理部は、
第１解像度のインターレース形式の入力画像を、超解像処理により、前記第１解像度より高い第２解像度のインターレース形式の画像に変換する超解像処理部、を備え、
前記第２画像処理部は、
前記第２解像度のインターレース形式の画像を、プログレッシブ形式の出力画像に変換するインターレース・プログレッシブ変換部、を備え、
前記超解像処理部は、
前記入力画像の処理対象フレームの時間的に前後の参照フレームにおいて対応点を探索し、前記対応点の移動量である動きベクトルを算出する位置合わせ処理部、を備え、
前記インターレース・プログレッシブ変換部は、前記位置合わせ処理部で算出された動きベクトルに基づいて、前記第２解像度のインターレース形式の画像を、プログレッシブ形式の出力画像に変換する、
請求項１に記載の画像処理装置。
【請求項１０】
前記第２画像処理部は、
前記第２解像度の画像の画素を、第３解像度を表すことが可能な画素数に増加して初期画像を生成する補間拡大処理部、をさらに備え、
前記インターレース・プログレッシブ変換部は、
前記初期画像と前記動きベクトルから予測画像を生成する予測画像生成部と、
前記予測画像と前記入力画像との誤差を計算し誤差画像を生成する誤差計算部と、
前記誤差画像で前記初期画像を補正して、前記プログレッシブ形式の出力画像を得る誤差補正部と、
を備えた請求項９に記載の画像処理装置。
【請求項１１】
入力画像の処理対象フレームの時間的に前後の参照フレームにおいて対応点を探索し、前記対応点の移動量である動きベクトルを算出し、前記入力画像に対して第１の画像処理を行うステップと、
算出された動きベクトルに基づいて、第２の画像処理を行い、出力画像を出力するステップと、
を含む画像処理方法。
【請求項１２】
入力画像の処理対象フレームの時間的に前後の参照フレームにおいて対応点を探索し、前記対応点の移動量である動きベクトルを算出し、前記入力画像に対して第１の画像処理を行うステップと、
算出された動きベクトルに基づいて、第２の画像処理を行い、出力画像を出力するステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、方法およびプログラムに関する。
【背景技術】
【０００２】
近年、ＴＶ受像機やディスプレイに超解像技術を使った製品が市販されている。超解像技術は、画像の画素サンプリング時に失われる詳細な部分を画像処理によって再現する技術である。
【０００３】
超解像技術にはさまざまな方式が提案されているが、複数フレーム超解像と呼ばれる、複数フレームの低解像度入力画像を位置合わせして高解像度出力画像を生成する画像処理技術がある。複数フレーム超解像処理は、位置合わせ処理、再構成処理、補間拡大処理によって、第１解像度の入力画像を第１解像度より高い第２解像度の出力画像に高解像度化している。
【０００４】
また、近年、一つの入力画像から複数のフォーマットの画像や複数の解像度の画像を生成するニーズが高まってきている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３９６２８号公報
【特許文献２】特開２００９−１６３５８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような従来の超解像処理では、位置合わせ処理と再構成処理の処理量が増大している。特に、一つの入力画像から複数の解像度の画像を生成する場合には、位置合わせ処理、再構成処理、補間拡大処理を行って第１解像度の入力画像を第２解像度に高解像度化し、さらに、位置合わせ処理、再構成処理、補間拡大処理を行って第２解像度の画像から第３解像度の出力画像に高解像度化しているため、超解像処理の処理量がさらに増大してしまう。
【課題を解決するための手段】
【０００７】
実施形態の画像処理装置は、第１画像処理部と、第２画像処理部とを備える。第１画像処理部は、入力画像の処理対象フレームの時間的に前後の参照フレームにおいて対応点を探索し、前記対応点の移動量である動きベクトルを算出する位置合わせ処理部を備え、前記入力画像に対して第１の画像処理を行う。第２画像処理部は、位置合わせ処理部で算出された動きベクトルに基づいて、第２の画像処理を行い、出力画像を出力する。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態１の画像処理装置の機能的構成を示すブロック図である。
【図２】図２は、実施形態１の再構成処理部の機能的構成を示すブロック図である。
【図３】図３は、実施形態１の超解像処理の手順を示すフローチャートである。
【図４】図４は、実施形態１の再構成処理の手順を示すフローチャートである。
【図５】図５は、実施形態２の画像処理装置の機能的構成を示すブロック図である。
【図６】図６は、実施形態２の超解像処理の手順を示すフローチャートである。
【図７】図７は、実施形態３の画像処理装置の機能的構成を示すブロック図である。
【図８】図８は、実施形態３の超解像処理の手順を示すフローチャートである。
【図９】図９は、実施形態３の再構成処理の手順を示すフローチャートである。
【図１０】図１０は、実施形態４の画像処理装置の機能的構成を示すブロック図である。
【図１１】図１１は、実施形態４の初期画像群の一例を示す図である。
【図１２】図１２は、実施形態４の超解像処理の手順を示すフローチャートである。
【図１３】図１３は、実施形態５の画像処理装置の機能的構成を示すブロック図である。
【図１４】図１４は、実施形態５の画像処理の手順を示すフローチャートである。
【図１５】図１５は、実施形態６の画像処理装置の機能的構成を示すブロック図である。
【図１６】図１６は、実施形態６の画像処理の手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、画像処理装置、方法およびプログラムの実施形態を詳細に説明する。
【００１０】
（実施形態１）
図１は、実施形態１の画像処理装置１００の機能的構成を示すブロック図である。図１に示すように、本実施形態の画像処理装置１００は、第１画像処理部としての第１超解像処理部１１０と、第２画像処理部としての第２超解像処理部１５０とを備えている。
【００１１】
第１超解像処理部１１０は、第１解像度の入力画像を入力し、当該入力画像に超解像処理を施して、第１解像度より解像度の高い第２解像度の画像を出力する。第２超解像処理部１５０は、第１超解像処理部１１０から出力された第２解像度の画像から、第２解像度より高い第３解像度の出力画像を出力する。この結果、本実施形態の画像処理装置１００は、第２解像度の出力画像と第３解像度の出力画像という異なる解像度の出力画像を出力する。
【００１２】
ここで、解像度としては、例えば、第１解像度をＨＤＴＶの解像度（画素数１９２０×１０８０）、第２解像度を４Ｋ（画素数３８４０×２１６０）、第３解像度を８Ｋ（画素数７６８０×４３２０）とすることができるが、これらに限定されるものではない。
【００１３】
また、超解像処理とは、画像の画素サンプリング時（例えば、撮像素子による光電変換時や縮小処理時）に失われる詳細な部分（ナイキスト周波数以上の成分）を画像処理によって再現する技術である。例えば、低解像度のＮＴＳＣ方式のビデオカメラやＤＶＤの画像を大画面液晶ＴＶに表示する場合の高解像度化する際に超解像処理が用いられ、詳細な部分を再現して、解像度が高い鮮明な画像を得ることができる。
【００１４】
本実施形態では、超解像処理の方式として、特に画像の詳細部分の再現率が高く高性能な複数フレーム超解像方式を採用している。この複数フレーム超解像方式では、処理対象の基準フレームに対して、時間的に前後する複数の参照フレームから、同じ物体の同じ部分を対応点として検出して基準フレーム上に重ね合わせ、単一フレームよりも情報量が多くなった状態から１フレームの高解像フレームを生成している。そして、当該処理を、１フレームずつ進めながら連続して行うことにより高解像の映像が生成される。
【００１５】
第１超解像処理部１１０は、入力画像に対して超解像処理を行い、図１に示すように、位置合わせ処理部１１１と、再構成処理部１１２と、補間拡大処理部１１３とを備えている。
【００１６】
位置合わせ処理部１１１は、入力画像の処理対象フレームである基準フレームの時間的に前後の参照フレームにおいて基準フレーム上の点と同一部分と見なせる点である対応点を探索し、２つの点の移動量を動きベクトルとして算出する。
【００１７】
補間拡大処理部１１３は、バイリニアやバイキュービックアルゴリズム等の補間アルゴリズムによって、第１解像度の入力画像を、第２解像度を表すことが可能な画素数に増加して初期画像を生成する補間拡大処理を行う。ここで、解像度は画像がどれだけ細かな部分を表現しているかを示すパラメータであり、画素数はどれだけ詳細な部分を表現可能なフォーマットかを示すパラメータである。補間拡大処理では、画素数は増加するが、解像度は増加しない。
【００１８】
再構成処理部１１２は、入力画像、位置合わせ処理部１１１で算出された動きベクトル、補間拡大処理部１１３で出力される初期画像とを入力し、これら３つに基づき、画素数が増加した初期画像の解像度を増加させて出力する再構成処理をフレーム単位に連続的に行う。これにより、再構成処理部１１２からは、第２解像度の出力画像が出力される。
【００１９】
第２超解像処理部１５０は、第１超解像処理部１１０の再構成処理部１１２から出力された第２解像度の出力画像に対して超解像処理を行うものであり、図１に示すように、再構成処理部１５２と、補間拡大処理部１５３とを備えている。
【００２０】
補間拡大処理部１５３は、第１超解像処理部１１０の再構成処理部１１２から出力された第２解像度の出力画像に対して上記補間拡大処理を行い、第２解像度の出力画像を第３解像度を表すことが可能な画素数に増加した初期画像を生成する。
【００２１】
再構成処理部１５２は、第２解像度の出力画像、第１超解像処理部１１０の位置合わせ処理部１１１で算出された動きベクトル、補間拡大処理部１５３で出力される初期画像とを入力し、これら３つに基づき、フレーム単位で連続的に上記再構成処理を行って、画素数が増加した初期画像の解像度を増加させた第３解像度の出力画像を生成して出力する。
【００２２】
ここで、本実施形態では、第２超解像処理部１５０に、第１超解像処理部１１０のような位置合わせ処理部１１１を設けていない。すなわち、第２超解像処理部１５０の再構成処理部１５２は、第２解像度の出力画像から算出される動きベクトルを用いるのではなく、第１超解像処理部１１０の位置合わせ処理部１１１で第１解像度の入力画像から算出された動きベクトルを用いて再構成処理をおこなっている。
【００２３】
これは、本来、動きベクトルは、解像度が異なっても同一であるため、第１超解像処理部１１０において第１解像度の入力画像から求めた動きベクトルを、第２超解像処理部１５０の再構成処理部１５２でも用いることにより、第２超解像処理部１５０での超解像処理における位置合わせ処理を省略し、これによって超解像処理の処理量の削減を図っている。
【００２４】
次に、再構成処理部１１２，１５２の詳細について説明する。図２は、実施形態１の再構成処理部１１２，１５２の機能的構成を示すブロック図である。第１超解像処理部１１０の再構成処理部１１２と第２超解像処理部１５０の再構成処理部１５２は同じ構成をしているため、あわせて説明する。
【００２５】
再構成処理部１１２，１５２は、図２に示すように、画像バッファ２０１と、予測画像生成部２０２と、誤差計算部２０３と、誤差補正部２０４とを備えている。
【００２６】
画像バッファ２０１は、補間拡大処理部１１３，１５３から出力された初期画像を一時的に保存する。予測画像生成部２０２は、画像バッファ２０１から初期画像を読み出し、初期画像と、位置合わせ処理部１１１から出力された動きベクトルとから予測画像を生成する。ここで、補間拡大処理の拡大率に応じて動きベクトルがスケーリングして用いられる。
【００２７】
誤差計算部２０３は、予測画像と、再構成処理部１１２の場合に第１解像度の入力画像、再構成処理部１５２の場合に第２解像度の出力画像との誤差を計算して誤差画像を生成する。
【００２８】
誤差補正部２０４は、生成された誤差画像で画像バッファ２０１の初期画像を補正して出力画像が生成される。
【００２９】
次に以上のように構成された本実施形態の超解像処理について説明する。図３は、実施形態１の超解像処理の手順を示すフローチャートである。
【００３０】
まず、第１超解像処理部１１０は、第１解像度の入力画像を取得し（ステップＳ１１）、位置合わせ処理部１１１が入力画像に対して位置合わせ処理を行って動きベクトルを算出する（ステップＳ１２）。
【００３１】
次に、第１超解像処理部１１０の補間拡大処理部１１３は、入力画像に対して補間拡大処理を行って初期画像を生成する（ステップＳ１３）。そして、第１超解像処理部１１０の再構成処理部１１２は、位置合わせ処理部１１１で算出された動きベクトルと、補間拡大処理部１１３で求めた初期画像と、入力画像とを用いて再構成処理を行って、第２解像度の出力画像を出力する（ステップＳ１４）。
【００３２】
次に、第２超解像処理部１５０の補間拡大処理部１５３は、第２解像度の出力画像に対して補間拡大処理を行って初期画像を生成する（ステップＳ１５）。そして、第２超解像処理部１５０の再構成処理部１５２は、位置合わせ処理部１１１で算出された動きベクトルと、補間拡大処理部１５３で求めた初期画像と、第２解像度の出力画像とを用いて再構成処理を行って、第３解像度の出力画像を出力する（ステップＳ１６）。
【００３３】
ここで、図４は、実施形態１の再構成処理（ステップＳ１４，Ｓ１６）の手順を示すフローチャートである。まず、予測画像生成部２０２は、画像バッファ２０１の初期画像と位置合わせ処理部１１１で算出された動きベクトルとから予測画像を生成する（ステップＳ２１）。
【００３４】
そして、誤差計算部２０３は、予測画像と入力画像（再構成処理部１１２の場合）あるいは第２解像度の出力画像（再構成処理部１５２の場合）との誤差を計算して誤差画像を生成する（ステップＳ２２）。
【００３５】
そして、誤差補正部２０４は画像バッファ２０１の初期画像を誤差画像で補正する（ステップＳ２３）。そして、再構成処理部１１２，１５２は、誤差が所定の閾値以下となったか否かを判断し（ステップＳ２４）、所定の閾値以下でない場合には（ステップＳ２４：Ｎｏ）、ステップＳ２１からＳ２３までの処理を繰り返す。
【００３６】
一方、ステップＳ２４で誤差が所定の閾値以下となった場合には（ステップＳ２４：Ｙｅｓ）、処理を終了する。これにより、再構成処理部１１２では第２解像度の出力画像が、再構成処理部１５２では第３解像度の出力画像がそれぞれ生成される。
【００３７】
このように本実施形態では、第２超解像処理部１５０の再構成処理部１５２において、第１超解像処理部１１０において第１解像度の入力画像から求めた動きベクトルを用いることにより、第２超解像処理部１５０での超解像処理における位置合わせ処理を省略し、これによって超解像処理の処理量の削減を図ることができる。
【００３８】
（実施形態２）
実施形態１では、第１解像度の入力画像から第２解像度の出力画像を超解像処理で求め、第２解像度の出力画像から第３解像度の出力画像を超解像処理で求めるという２段階の超解像処理を行っていた。この実施形態２では、第１超解像処理部１１０による超解像処理と第２超解像処理部５５０による超解像処理とを並行して行い、第１解像度の入力画像から第２解像度の出力画像を超解像処理で求め、第１解像度の出力画像から第３解像度の出力画像を超解像処理で求めている。
【００３９】
図５は、実施形態２の画像処理装置５００の機能的構成を示すブロック図である。図５に示すように、本実施形態の画像処理装置５００は、第１画像処理部としての第１超解像処理部１１０と、第２画像処理部としての第２超解像処理部５５０とを備えている。ここで、第１超解像処理部１１０の構成は実施形態１と同様である。すなわち、第１超解像処理部１１０は、第１解像度の入力画像を入力し、当該入力画像に超解像処理を施して、第１解像度より解像度の高い第２解像度の画像を出力する。
【００４０】
第２超解像処理部５５０は、第１解像度の入力画像から、第２解像度より高い第３解像度の出力画像を出力する。この結果、本実施形態の画像処理装置５００は、第２解像度の出力画像と第３解像度の出力画像という異なる解像度の出力画像を出力する。
【００４１】
第２超解像処理部５５０は、図５に示すように、再構成処理部５５２と、補間拡大処理部５５３とを備えている。
【００４２】
補間拡大処理部５５３は、第１解像度の入力画像に対して上記補間拡大処理を行い、第１解像度の入力画像を第３解像度を表すことが可能な画素数に増加した初期画像を生成する。
【００４３】
再構成処理部５５２は、第１解像度の入力画像、第１超解像処理部１１０の位置合わせ処理部１１１で算出された動きベクトル、補間拡大処理部５５３で出力される初期画像を入力し、これら３つに基づき、フレーム単位で連続的に上記再構成処理を行って、画素数が増加した初期画像の解像度を増加させた第３解像度の出力画像を生成して出力する。
【００４４】
ここで、本実施形態でも、実施形態１と同様に、第２超解像処理部５５０に、第１超解像処理部１１０のような位置合わせ処理部１１１を設けていない。すなわち、第２超解像処理部５５０の再構成処理部５５２は、第２解像度の出力画像から算出される動きベクトルを用いるのではなく、第１超解像処理部１１０の位置合わせ処理部１１１で第１解像度の入力画像から算出された動きベクトルを用いて再構成処理をおこなっている。これにより、第２超解像処理部５５０での超解像処理における位置合わせ処理を省略し、超解像処理の処理量の削減を図っている。
【００４５】
次に以上のように構成された本実施形態の超解像処理について説明する。図６は、実施形態２の超解像処理の手順を示すフローチャートである。
【００４６】
まず、第１超解像処理部１１０は、第１解像度の入力画像を取得し（ステップＳ３１）、位置合わせ処理部１１１が入力画像に対して位置合わせ処理を行って動きベクトルを算出する（ステップＳ３２）。
【００４７】
次に、第１超解像処理部１１０の補間拡大処理部１１３は、入力画像に対して補間拡大処理を行って初期画像を生成する（ステップＳ３３）。そして、第１超解像処理部１１０の再構成処理部１１２は、位置合わせ処理部１１１で算出された動きベクトルと、補間拡大処理部１１３で求めた初期画像と、入力画像とを用いて再構成処理を行って、第２解像度の出力画像を出力する（ステップＳ３４）。
【００４８】
ステップＳ３３、Ｓ３４と並行して、第２超解像処理部５５０の補間拡大処理部５５３は、第１解像度の入力画像に対して補間拡大処理を行って初期画像を生成する（ステップＳ３５）。そして、第２超解像処理部５５０の再構成処理部５５２は、位置合わせ処理部１１１で算出された動きベクトルと、補間拡大処理部５５３で求めた初期画像と、第１解像度の入力画像とを用いて再構成処理を行って、第３解像度の出力画像を出力する（ステップＳ３６）。
【００４９】
このように本実施形態では、第２超解像処理部５５０の再構成処理部５５２において、第１超解像処理部１１０において第１解像度の入力画像から求めた動きベクトルを用いることにより、第１超解像処理部１１０による超解像処理と第２超解像処理部５５０による超解像処理とを並行して行う場合においても、第２超解像処理部５５０での超解像処理における位置合わせ処理を省略し、これによって超解像処理の処理量の削減を図ることができる。
【００５０】
なお、本実施形態では、第１超解像処理部１１０による超解像処理と第２超解像処理部５５０による超解像処理とを並行して行っていたが、これに限定されるものではなく、第１超解像処理部１１０による超解像処理と第２超解像処理部５５０による超解像処理とを順番に行うように構成してもよい。具体的には、図６において、ステップＳ３３、Ｓ３４の処理の後に、ステップＳ３５、Ｓ３６の処理を行うように構成してもよい。
【００５１】
（実施形態３）
実施形態３では、第１解像度の入力画像に対して超解像処理を行って、第２解像度の出力画像と第３解像度の出力画像とを生成する際の再構成処理において、第１解像度の入力画像から算出された動きベクトルから生成された予測画像を用いて第２解像度の出力画像と第３解像度の出力画像とを生成している。
【００５２】
図７は、実施形態３の画像処理装置７００の機能的構成を示すブロック図である。図７に示すように、本実施形態の画像処理装置７００は、位置合わせ処理部１１１と、第１補間拡大処理部１１３−１と、第２補間拡大処理部１１３−２と、再構成処理部７１２とを備え、第１解像度の入力画像に対して超解像処理を行って、第２解像度の出力画像と第３解像度の出力画像とを生成する。ここで、位置合わせ処理部１１１、第１補間拡大処理部１１３−１、第２補間拡大処理部１１３−２が第１画像処理部に相当し、再構成処理部７１２が第２画像処理部に相当する。また、位置合わせ処理部１１１の機能は、実施形態１と同様である。
【００５３】
第１補間拡大処理部１１３−１は、第１解像度の入力画像を、第２解像度を表すことが可能な画素数に増加した第１初期画像を生成する補間拡大処理を行う。第２補間拡大処理部１１３−２は、第１解像度の入力画像を、第３解像度を表すことが可能な画素数に増加した第２初期画像を生成する補間拡大処理を行う。
【００５４】
再構成処理部７１２は、第１解像度の入力画像、位置合わせ処理部１１１で算出された動きベクトル、第１補間拡大処理部１１３−１で出力される第１初期画像、第２補間拡大処理部１１３−２で出力される第２初期画像を入力し、これらに基づき、フレーム単位で連続的に上記再構成処理を行って、画素数が増加した第１初期画像の解像度を増加させた第２解像度の出力画像、画素数が増加した第２初期画像の解像度を増加させた第３解像度の出力画像を生成して出力する。
【００５５】
再構成処理部７１２は、図７に示すように、第１画像バッファ２０１−１と、第２画像バッファ２０１−２と、予測画像生成部２０２と、誤差計算部２０３と、第１誤差補正部２０４−１と、第２誤差補正部２０４−２とを備えている。
【００５６】
第１画像バッファ２０１−１は、第１補間拡大処理部１１３−１から出力された第１初期画像を一時的に保存する。第２画像バッファ２０１−２は、第２補間拡大処理部１１３−２から出力された第２初期画像を一時的に保存する。
【００５７】
予測画像生成部２０２は、第２画像バッファ２０１−２から第２初期画像を読み出し、第２初期画像と、位置合わせ処理部１１１から出力された動きベクトルとから予測画像を生成する。
【００５８】
誤差計算部２０３は、予測画像と、第１解像度の入力画像との誤差を計算して誤差画像を生成する。
【００５９】
第１誤差補正部２０４−１は、誤差計算部２０３で生成された誤差画像で第１画像バッファ２０１−１の第１初期画像を補正して第２解像度の出力画像を生成する。第２誤差補正部２０４−２は、誤差計算部２０３で生成された誤差画像で第２画像バッファ２０１−２の第２初期画像を補正して第３解像度の出力画像を生成する。
【００６０】
次に以上のように構成された本実施形態の超解像処理について説明する。図８は、実施形態３の超解像処理の手順を示すフローチャートである。
【００６１】
まず、位置合わせ処理部１１１は第１解像度の入力画像を取得し（ステップＳ４１）、入力画像に対して位置合わせ処理を行って動きベクトルを算出する（ステップＳ４２）。
【００６２】
次に、第１補間拡大処理部１１３−１は、入力画像に対して補間拡大処理を行って、第１初期画像を生成する（ステップＳ４３）。また、第２補間拡大処理部１１３−２は、入力画像に対して補間拡大処理を行って第２初期画像を生成する（ステップＳ４４）。
【００６３】
再構成処理部７１２は、位置合わせ処理部１１１で算出された動きベクトルと、第１補間拡大処理部１１３−１で求めた第１初期画像と、第２補間拡大処理部１１３−２で求めた第２初期画像と、入力画像とを用いて再構成処理を行って、第２解像度の出力画像および第３解像度の出力画像を出力する（ステップＳ４５）。
【００６４】
ここで、図９は、実施形態３の再構成処理（ステップＳ４５）の手順を示すフローチャートである。まず、予測画像生成部２０２は、第２画像バッファ２０１−２の第２初期画像と位置合わせ処理部１１１で算出された動きベクトルとから予測画像を生成する（ステップＳ５１）。
【００６５】
そして、誤差計算部２０３は、予測画像と入力画像との誤差を計算して誤差画像を生成する（ステップＳ５２）。
【００６６】
そして、第１誤差補正部２０４−１は第１画像バッファ２０１−１の第１初期画像を誤差画像で補正する（ステップＳ５３）。そして、再構成処理部７１２は、誤差が所定の閾値以下となったか否かを判断し（ステップＳ５４）、所定の閾値以下でない場合には（ステップＳ５４：Ｎｏ）、ステップＳ５１からＳ５３までの処理を繰り返す。
【００６７】
一方、ステップＳ５４で誤差が所定の閾値以下となった場合には（ステップＳ５４：Ｙｅｓ）、処理を終了する。これにより、第２解像度の出力画像が生成されて出力される。
【００６８】
一方、第１誤差補正部２０４−２は第２画像バッファ２０１−２の第２初期画像を誤差画像で補正する（ステップＳ５５）。そして、再構成処理部７１２は、誤差が所定の閾値以下となったか否かを判断し（ステップＳ５６）、所定の閾値以下でない場合には（ステップＳ５６：Ｎｏ）、ステップＳ５１、Ｓ５２、Ｓ５５の処理を繰り返す。
【００６９】
一方、ステップＳ５６で誤差が所定の閾値以下となった場合には（ステップＳ５６：Ｙｅｓ）、処理を終了する。これにより、第３解像度の出力画像が生成されて出力される。
【００７０】
このように本実施形態では、第１解像度の入力画像に対して超解像処理を行って、第２解像度の出力画像と第３解像度の出力画像とを生成する際の再構成処理において、第１解像度の入力画像から算出された動きベクトルから生成された予測画像を用いて第２解像度の出力画像と第３解像度の出力画像とを生成しているので、超解像処理における処理量を削減することができる。
【００７１】
なお、本実施形態では、第２画像バッファ２０１−２の第２初期画像を用いて予測画像を生成しているが、第１画像バッファ２０１−１の第１初期画像を用いて予測画像を生成するように予測画像生成部２０２を構成してもよい。
【００７２】
（実施形態４）
実施形態４では、第１解像度の入力画像から複数の異なる解像度を表現可能な画素数の初期画像を複数生成し、当該複数の初期画像から、互いに異なる解像度の複数の出力画像からなる出力画像群を生成し、この際、各解像度の出力画像の生成においてすべて入力画像から求めた動きベクトルを用いている。
【００７３】
図１０は、実施形態４の画像処理装置１０００の機能的構成を示すブロック図である。図１０に示すように、本実施形態の画像処理装置１０００は、位置合わせ処理部１１１と、補間拡大処理部１１１３と、再構成処理部１０１２と、画像切り出し部１０１５とを備え、第１解像度の入力画像に対して超解像処理を行って第２〜５解像度の出力画像を生成し、第２〜５解像度の出力画像から第２解像度の出力画像を生成する。ここで、位置合わせ処理部１１１、補間拡大処理部１１１３が第１画像処理部に相当し、再構成処理部１０１２、画像切り出し部１０１５が第２画像処理部に相当する。また、位置合わせ処理部１１１の機能は、実施形態１と同様である。
【００７４】
補間拡大処理部１１１３は、第１解像度の入力画像を互いに異なる第２〜５解像度を表すことが可能な画素数に増加した初期画像群を生成する補間拡大処理を行う。図１１は、実施形態４の初期画像群の一例を示す図である。図１１に示すように、初期画像群が、第２〜５解像度のそれぞれを表現可能な画素数に増加した初期画像１１０１〜１１０４から構成される。
【００７５】
図１０に戻り、再構成処理部１０１２は、第１解像度の入力画像、位置合わせ処理部１１１で算出された動きベクトル、補間拡大処理部１１１３で出力される初期画像群を入力し、これらに基づき、フレーム単位で連続的に上記再構成処理を行って、初期画像群の各初期画像の解像度を増加させた第２〜５解像度の出力画像からなる出力画像群を生成して出力する。
【００７６】
再構成処理部１０１２は、図１０に示すように、画像バッファ２０１と、予測画像生成部２０２と、誤差計算部２０３と、誤差補正部２０４とを備えている。これらの各部の機能は実施形態１と同様である。但し、本実施形態では、再構成処理部１０１２は、画像バッファ２０１の初期画像群の各初期画像に対応して各解像度の出力画像を生成し、出力画像群として出力する。
【００７７】
画像切り出し部１０１５は、再構成処理部１０１２から出力される第２〜５解像度の出力画像からなる出力画像群から、所望の解像度の出力画像を切り出す。本例では、第２解像度の出力画像を切り出しているが、これに限定されるものではない。また、図１１の形式の画像を用いる顔画像認識装置や文字認識装置の入力画像とすることもできる。
【００７８】
次に以上のように構成された本実施形態の超解像処理について説明する。図１２は、実施形態４の超解像処理の手順を示すフローチャートである。
【００７９】
まず、位置合わせ処理部１１１は第１解像度の入力画像を取得し（ステップＳ６１）、入力画像に対して位置合わせ処理を行って動きベクトルを算出する（ステップＳ６２）。
【００８０】
次に、補間拡大処理部１１１３は、入力画像に対して補間拡大処理を行って、第２〜５解像度のそれぞれを表現可能な画素数を増加させた複数の初期画像からなる初期画像群を生成する（ステップＳ６３）。
【００８１】
再構成処理部１０１２は、位置合わせ処理部１１１で算出された動きベクトルと、補間拡大処理部１１１３で求めた初期画像群と、入力画像とを用いて再構成処理を行って、第２〜５解像度の出力画像からなる出力画像群を出力する（ステップＳ６４）。ここで、再構成処理は、初期画像群の各初期画像に対して実施形態１の再構成処理が実行される。
【００８２】
次に、画像切り出し部１０１５は、出力画像群の中から、例えば、第２解像度の出力画像を切り出して出力する（ステップＳ６５）。
【００８３】
このように本実施形態では、第１解像度の入力画像から複数の異なる解像度を表現可能な画素数の初期画像を複数生成し、当該複数の初期画像から、互いに異なる解像度の複数の出力画像からなる出力画像群を生成し、この際、各解像度の出力画像の生成においてすべて入力画像から求めた動きベクトルを用いているので、各解像度の出力画像の生成ごとに異なる動きベクトルを算出する必要がなく、超解像処理の処理量の削減を図ることができる。
【００８４】
（実施形態５）
この実施形態５では、入力画像に対しフレームレート変換を行った後に、超解像処理を行い、フレームレート変換の際に算出した動きベクトルを超解像処理で用いている。
【００８５】
図１３は、実施形態５の画像処理装置１３００の機能的構成を示すブロック図である。図１３に示すように、本実施形態の画像処理装置１３００は、第１画像処理部としてのフレームレート変換部１３１０と、第２画像処理部としての超解像処理部１３５０およびフレーム選択部１３５５とを備えている。
【００８６】
フレームレート変換部１３１０は、第１フレームレートの第１解像度の入力画像を、第２フレームレートの第１解像度の画像に変換する。ここで、本実施形態では、一例として、第１フレームレートを３０ｆｐｓ、第２フレームレートを６０ｆｐｓとするが、これに限定されるものではなく、第２フレームレートが第１フレームレートよりも高ければよい。フレームレート変換部１３１０は、図１３に示すように、フレーム遅延部１３０１と、フレーム補間部１３１２と、位置合わせ処理部１３１１と、フレーム選択部１３１４とを備えている。
【００８７】
フレーム遅延部１３０１は、入力画像のフレームを時間的に遅らせる。位置合わせ処理部１３１１は、実施形態１と同様の機能を有し、時間的に前のフレームと位置合わせを行う。フレーム補間部１３１２は、フレーム遅延部１３０１によって時間的に遅らされた前のフレームと現在のフレームとの間に新たなフレームを生成して挿入することによりフレーム補間を行って補間画像を生成する。かかるフレーム補間を、入力画像の各フレーム間で行うことにより、第１フレームレートが２倍の第２フレームレートに変換されることになる。フレーム選択部１３１４は、入力画像と、フレーム補間部１３１２で生成された補間画像とを時間的に正しく出力されるように切り替える。
【００８８】
超解像処理部１３５０は、フレームレート変換部１３１０で生成された補間画像（第１解像度）を、超解像処理により第２解像度の出力画像に変換して高解像度化する。超解像処理部１３５０は、実施形態１の第２超解像処理部と同様に、補間拡大処理部１５３と、再構成処理部１５２とを備えている。ここで、補間拡大処理部１５３、再構成処理部１５２の機能は実施形態１と同様である。
【００８９】
ここで、本実施形態では、実施形態１と同様に、超解像処理部１３５０に、位置合わせ処理部を設けておらず、フレームレート変換部１３１０の位置合わせ処理部１３１１で第１解像度の入力画像から算出された動きベクトルを用いて再構成処理をおこなっている。
【００９０】
これは、仮に、超解像処理部１３５０に、補間画像から動きベクトルを求める位置合わせ処理部を設けると、補間画像は、フレーム間にフレームを補間した画像であり、このような補間フレームのある補間画像から動きベクトルを求めると画質が劣化してしまう可能性がある。このため、本実施形態の超解像処理部１３５０では、入力画像から算出された動きベクトルを用いて再構成処理を行って、出力画像の高画質化を図ると共に超解像処理の処理量の削減を図っている。
【００９１】
フレーム選択部１３５５は、再構成処理部１５２から出力される第２フレームレートで第２解像度の出力画像からフレームを間引いて、第２フレームレートより低い第３フレームレートで第２解像度の出力画像を選択して出力する。
【００９２】
次に以上のように構成された本実施形態の画像処理について説明する。図１４は、実施形態５の画像処理の手順を示すフローチャートである。
【００９３】
まず、位置合わせ処理部１３１１は第１解像度の入力画像を取得し（ステップＳ７１）、入力画像に対して位置合わせ処理を行って動きベクトルを算出する（ステップＳ７２）。
【００９４】
次に、フレーム遅延部１３０１は、入力画像のフレームを時間的に遅らせる（ステップＳ７３）。そして、フレーム補間部１３１２は、フレーム遅延部１３０１によって時間的に遅らされた前のフレームと現在のフレームとの間にフレーム補間を行う（ステップＳ７４）。
【００９５】
次に、フレーム選択部１３１４は、第１フレームレートと第２フレームレートとに基づき補間タイミングか否かを判断する（ステップＳ７５）。例えば、変換後の第２フレームレートが入力画像の第１フレームレートの２倍である場合には、１フレームおきに補間タイミングとなる。
【００９６】
そして、補間タイミングである場合には（ステップＳ７５：Ｙｅｓ）、フレーム選択部１３１４は補間画像を出力する（ステップＳ７６）。一方、補間タイミングでない場合には（ステップＳ７５：Ｎｏ）、フレーム選択部１３１４は入力画像を出力する（ステップＳ７７）。
【００９７】
次に、超解像処理部１３５０の補間拡大処理部１５３は補間画像を入力して補間拡大処理を行い、第１解像度の補間画像を第２解像度の表現可能な画素数に増加した初期画像を生成する（ステップＳ７８）。次に、再構成処理部１５２は、位置合わせ処理部１３１１で算出された動きベクトルと、補間拡大処理部１５３で求めた初期画像と、補間画像とを用いて再構成処理を行って、第２フレームレートで第２解像度の出力画像を出力する（ステップＳ７９）。
【００９８】
次に、フレーム選択部１３５５は、再構成処理部１５２から出力される第２フレームレートで第２解像度の出力画像を間引いて第３フレームレートで第２解像度の出力画像を出力する（ステップＳ８０）。
【００９９】
このように本実施形態では、入力画像に対しフレームレート変換を行った後に、超解像処理を行い、フレームレート変換の際に算出した動きベクトルを超解像処理で用いているので、出力画像の高画質化を図ると共に超解像処理の処理量の削減を図ることができる。
【０１００】
（実施形態６）
実施形態６では、入力画像に対し超解像処理を行った後に、インターレース・プログレッシブ変換を行い、超解像処理の際に算出した動きベクトルをインターレース・プログレッシブ変換で用いている。
【０１０１】
図１５は、実施形態６の画像処理装置１５００の機能的構成を示すブロック図である。図１５に示すように、本実施形態の画像処理装置１５００は、第１画像処理部としての超解像処理部１５１０と、第２画像処理部としての第２補間拡大処理部１５１５およびインターレース・プログレッシブ変換部１５１６（以下、「ＩＰ変換部１５１６」という。）とを備えている。本実施形態の画像処理装置１５００は、インターレース形式の画像で第１解像度の入力画像に超解像処理を行って第２解像度のインターレース形式の画像を出力し、さらに、第２解像度のインターレース形式の画像をプログレッシブ形式の画像に変換して出力する。
【０１０２】
超解像処理部１５１０は、図１５に示すように、位置合わせ処理部１５１１と、再構成処理部１５１２と、第１補間拡大処理部１５１３とを備えている。
【０１０３】
位置合わせ処理部１５１１は、入力画像の処理対象フレームである基準フレームの時間的に前後の参照フレームにおいて、インターレース形式の偶数フィールドと奇数フィールドに各フィールド単位で、基準フレーム上の点と同一箇所を示す参照フレーム上の点である対応点を探索し、２つの点の移動量を動きベクトルとして算出する。
【０１０４】
第１補間拡大処理部１５１３は、バイリニアやバイキュービックアルゴリズム等の補間アルゴリズムによって、第１解像度のインターレース形式の入力画像を、第２解像度を表すことが可能な画素数に増加して初期画像を生成する補間拡大処理を行う。
【０１０５】
再構成処理部１５１２は、入力画像、位置合わせ処理部１５１１で算出された動きベクトル、第１補間拡大処理部１５１３で出力される初期画像とを入力し、これら３つに基づき、画素数が増加した初期画像の解像度を増加させて出力する再構成処理をフレーム単位に連続的に行う。これにより、再構成処理部１５１２からは、第２解像度のインターレース形式の画像が出力される。
【０１０６】
第２補間拡大処理部１５１５は、第２解像度のインターレース形式の画像を、２倍の解像度を表すことが可能な画素数に増加して初期画像を生成する。
【０１０７】
ＩＰ変換部１５１６は、入力画像、位置合わせ処理部１５１１で算出された動きベクトル、第２補間拡大処理部１５１５で出力される初期画像とを入力し、これら３つに基づき、インターレース形式の初期画像をプログレッシブ形式の出力画像に変換する。
【０１０８】
ここで、ＩＰ変換は、画像の垂直方向の解像度を２倍とする超解像処理を行うことと等価であるため、本実施形態のＩＰ変換部１５１６は、図２を用いて説明した実施形態１の再構成処理部１５２と同様の構成を有している。すなわち、ＩＰ変換部１５１６は、動きベクトルと初期画像とから予測画像を生成し、予測画像と入力画像との誤差計算を行って誤差画像を生成し、初期画像に対して誤差補正を行うことでＩＰ変換の結果を高解像化する。
【０１０９】
次に以上のように構成された本実施形態の画像処理について説明する。図１６は、実施形態６の画像処理の手順を示すフローチャートである。
【０１１０】
まず、位置合わせ処理部１５１１は第１解像度のインターレース形式の入力画像を取得し（ステップＳ１００１）、インターレース形式の入力画像に対して位置合わせ処理を行って動きベクトルを算出する（ステップＳ１００２）。
【０１１１】
次に、第１補間拡大処理部１５１３は、入力画像に対して補間拡大処理を行って、初期画像を生成する（ステップＳ１００３）。
【０１１２】
次に、再構成処理部１５１２は、位置合わせ処理部１５１１で算出された動きベクトルと、第１補間拡大処理部１５１３で求めた初期画像と、入力画像とを用いて再構成処理を行って、第２解像度のインターレース形式の画像を出力する（ステップＳ１００４）。
【０１１３】
次に、第２補間拡大処理部１５１５は、第２解像度のインターレース形式の画像に対して補間拡大処理を行って、インターレース形式の初期画像を生成する（ステップＳ１００５）。そして、ＩＰ変換部１５１６は、入力画像、位置合わせ処理部１５１１で算出された動きベクトル、第２補間拡大処理部１５１５で出力される初期画像とを入力し、これら３つに基づき、インターレース形式の画像である初期画像をプログレッシブ形式の出力画像に変換する（ステップＳ１００６）。
【０１１４】
このように本実施形態では、入力画像に対し超解像処理を行った後に、インターレース・プログレッシブ変換を行い、超解像処理の際に算出した動きベクトルをインターレース・プログレッシブ変換で用いているので、ＩＰ変換処理で位置合わせ処理を省略することで、ＩＰ変換処理の処理量の削減を図ることができる。
【０１１５】
また、本実施形態では、ＩＰ変換部１５１６は、超解像処理部１５１０で実行される画素単位の位置合わせ処理の結果としての動きベクトルを用いてＩＰ変換処理を行っている。さらに、ＩＰ変換部１５１６は、超解像処理が行われる前の入力画像を入力して、この入力画像を用いてＩＰ変換処理を行っている。このため、領域単位の動きベクトルを用いて通常のＩＰ変換処理を行ったり、超解像処理前の入力画像を用いないで通常のＩＰ変換処理を行う場合に比べて、ＩＰ変換処理結果としてのプログレッシブ形式の出力画像の高画質化を図ることができる。
【０１１６】
なお、本実施形態では、ＩＰ変換部１５１６として再構成処理部と同一の構成としているが、これに限定されるものではなく、通常のＩＰ変換処理を行うようにＩＰ変換部１５１６を構成してもよい。この場合には、位置合わせ処理部１５１１において画素レベルまでの対応点検出ではなく、ブロック等の領域での対応点の探索や位置合わせを行えばよいので、それほどの高画質化を望まない場合に、装置構成を簡易化することができるというメリットがある。
【０１１７】
また、位置合わせ処理、再構成処理、補間拡大処理を、インターレース形式の画像のフィールドごとではなく、画面のアクティビティに応じてフレームごとに処理した結果と切り替えたり、ブレンディングしたり適応的に処理内容を変えるように構成してもよい。
【０１１８】
上記実施形態では、画像処理装置の第１画像処理部に相当する部位と第２画像処理部に相当する部位とにより、第２解像度の出力画像と第３解像度の出力画像や第２フレームレートの出力画像と第３フレームレートの出力画像あるいはインターレース形式の出力画像とプログレッシブ形式の出力画像等のように、複数の出力画像を出力しているが、これに限定されるものではなく、第２画像処理部に相当する部位だけが、出力画像を出力するように構成してもよい。
【０１１９】
上記実施形態の画像処理装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Read  Only  Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【０１２０】
上記実施形態の画像処理装置で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１２１】
また、上記実施形態の画像処理装置で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上記実施形態の画像処理装置で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【０１２２】
また、上記実施形態の画像処理装置で実行される画像処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１２３】
上記実施形態の画像処理装置で実行される画像処理プログラムは、上述した各部（位置合わせ処理部、補間拡大処理部、第１補間拡大処理部、第２補間拡大処理部、再構成処理部、フレーム遅延部、フレーム補間部、フレーム選択部、ＩＰ変換部等）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記記憶媒体から画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、位置合わせ処理部、補間拡大処理部、第１補間拡大処理部、第２補間拡大処理部、再構成処理部、フレーム遅延部、フレーム補間部、フレーム選択部、ＩＰ変換部等がＲＡＭ上に生成されるようになっている。
【０１２４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１２５】
１００，５００，７００，１０００，１３００，１５００  画像処理装置
１１０  第１超解像処理部
１５０，５５０  第２超解像処理部
１１１，１３１１，１５１１  位置合わせ処理部
１１２，１５２，５５２，７１２，１０１２，１５１２  再構成処理部
１１３，１５３，５５３，１１１３  補間拡大処理部
１０１５  画像切り出し部
１５１６  ＩＰ変換部
【図１】
2014178876.tif 000003
【図２】
2014178876.tif 000004
【図３】
2014178876.tif 000005
【図４】
2014178876.tif 000006
【図５】
2014178876.tif 000007
【図６】
2014178876.tif 000008
【図７】
2014178876.tif 000009
【図８】
2014178876.tif 000010
【図９】
2014178876.tif 000011
【図１０】
2014178876.tif 000012
【図１１】
2014178876.tif 000013
【図１２】
2014178876.tif 000014
【図１３】
2014178876.tif 000015
【図１４】
2014178876.tif 000016
【図１５】
2014178876.tif 000017
【図１６】
2014178876.tif 000018