(57)【要約】【課題】超解像処理に適したフレームバッファ管理を行なう画像処理装置を提供する。【解決手段】画像処理装置は、入力動画像データの各フレームについて優先度を求める優先度算出部と、優先度に基づいてフレームバッファに保持する複数のフレームを決定する制御部と、フレームバッファに保持された複数のフレームの全部又は一部を用いて超解像処理を実行する超解像処理部を含む。【選択図】図１
2012029172.tif 000002
【特許請求の範囲】
【請求項１】
入力動画像データの各フレームについて優先度を求める優先度算出部と、
前記優先度に基づいてフレームバッファに保持する複数のフレームを決定する制御部と、
前記フレームバッファに保持された前記複数のフレームの全部又は一部を用いて超解像処理を実行する超解像処理部
を含むことを特徴とする画像処理装置。
【請求項２】
前記超解像処理部は、前記優先度に基づいて前記複数のフレームから選択されたフレームを用いて超解像処理を実行することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記入力動画像データを動画像符号化ストリームとして受け取り復号化するとともに動画像統計情報を算出する動画像復号部を更に含み、前記優先度算出部は、前記動画像統計情報に基づいて前記優先度を求めることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記動画像統計情報は、量子化パラメータ、ピクチャ種別、及びフレームの総ビット数を少なくとも含むことを特徴とする請求項１乃至３何れか一項記載の画像処理装置。
【請求項５】
入力動画像データの各フレームについて優先度を求め、
前記優先度に基づいてフレームバッファに保持する複数のフレームを決定し、
前記フレームバッファに保持された前記複数のフレームの全部又は一部を用いて超解像処理を実行する
各段階を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願開示は、一般に画像処理装置及び画像処理方法に関し、詳しくは超解像処理を行なう画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
超解像処理は、例えば、入力動画像データの解像度に対して高い解像度の画像からなる出力画像データを生成する。その際、複数のフレームを一枚ごとに独立に静止画像として処理することにより高解像度化を行なう単純なフレーム内処理と、複数のフレームを一纏めにして処理して画像間の情報を利用することにより高解像度化を行なうフレーム間処理とがある。本願では、以下の条件をすべて満たす超解像処理を対象とする。
１）入出力は動画像である。
２）出力画像は入力動画像を高解像度化したものである。
３）入力画像を複数枚ためておくための超解像用フレームバッファを用いる。
４）入力画像フレームを複数枚参照して１フレームの出力画像を得る。
５）超解像用フレームバッファに格納されるフレーム数は、超解像処理で同時に参照される最大枚数と等しいか又は最大枚数よりも多い。
上記の条件を満たす超解像処理を便宜上、フレーム間超解像処理と呼ぶ。フレーム間超解像処理の具体的な処理のアルゴリズムについては、どのようなものであってもよい。
【０００３】
フレーム間超解像処理においては、参照する動画像フレームに応じて、出力される高解像度画像の画質に大きな影響が出る。高画質な画像を得るために、超解像用フレームバッファには、以下の条件を満たすような動画像フレームを保持することが望ましい。まず、画質上優れたフレームを保持することが望ましい。これは、符号化ノイズが多いフレームは、超解像処理の入力情報として適さないからである。また次の条件として、画素値が同一である複数のフレームよりも、少しずつ異なる（即ち対象が少しずつ動いている）複数フレームを保持することが望ましい。これは、複数の全く同一の画像をフレーム間超解像処理の入力として使用した場合、超解像処理は入力フレーム１枚を用いた場合と同等の効果しか発揮できず、超解像用フレームバッファを有効に活用できていないからである。
【０００４】
フレーム間超解像処理における一般的なフレームバッファは、ＦＩＦＯとして実装される。次の動画像フレームが入力されるとき、フレームバッファからは時間順が一番古いフレームが破棄される。このようなフレームバッファ管理方法は、フレーム間超解像処理に対して適切なフレームセットを提供するとは限らない。例えば、時間順が比較的新しいが符号化による画質劣化が激しいフレームは、フレームバッファメモリから破棄し、それよりも古いが高品質であるフレームは、そのままフレームバッファに保持することが望ましい。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１０５６８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上を鑑みると、超解像処理に適したフレームバッファ管理を行なう画像処理装置及び画像処理方法が望まれる。
【課題を解決するための手段】
【０００７】
画像処理装置は、入力動画像データの各フレームについて優先度を求める優先度算出部と、前記優先度に基づいてフレームバッファに保持する複数のフレームを決定する制御部と、前記フレームバッファに保持された前記複数のフレームの全部又は一部を用いて超解像処理を実行する超解像処理部を含むことを特徴とする。
【０００８】
画像処理方法は、入力動画像データの各フレームについて優先度を求め、前記優先度に基づいてフレームバッファに保持する複数のフレームを決定し、前記フレームバッファに保持された前記複数のフレームの全部又は一部を用いて超解像処理を実行する各段階を含むことを特徴とする。
【発明の効果】
【０００９】
本願開示の少なくとも１つの実施例によれば、優先度に基づいてフレームバッファに保持する複数のフレームを決定するので、超解像処理に適したフレームバッファ管理を行なうことが可能となる。
【図面の簡単な説明】
【００１０】
【図１】画像処理装置の第１の実施例を示す図である。
【図２】フレームバッファの論理構成を示す図である。
【図３】動画像復号部の一例を示す図である。
【図４】フレーム間の参照関係を示す図である。
【図５】フレーム画像優先度算出部の一例を示す図である。
【図６】図１に示す全体制御部の処理を示すフローチャートである。
【図７】画像処理装置の第２の実施例を示す図である。
【図８】事前判定部の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下に、本発明の実施例を添付の図面を用いて詳細に説明する。
【００１２】
図１は、画像処理装置の第１の実施例を示す図である。図１に示す画像処理装置１０は、全体制御部１１、動画像復号部１２、フレーム画像優先度算出部１３、超解像処理部１４、メモリコントローラ１５、ストリーム入力部１６、外部メモリ１７、及び映像出力部１８を含む。ストリーム入力部１６は、外部の動画像データ源から動画像符号化ストリームを受け取り、受け取った動画像符号化ストリームをメモリコントローラ１５に供給する。この動画像符号化ストリームは、例えば、ＭＰＥＧ２やＨ．２６４に記載されるストリームであってよい。メモリコントローラ１５は、動画像符号化ストリームを外部メモリ１７に格納する。
【００１３】
動画像復号部１２は、全体制御部１１の制御の下で動作し、外部メモリ１７から動画像符号化ストリームを読み出して、動画像符号化ストリームを復号化するとともに動画像統計情報を算出する。動画像復号部１２により復号化された動画像データの各フレームは、メモリコントローラ１５を介して外部メモリ１７のフレームバッファに格納される。このフレームバッファは、外部メモリ１７の特定のアドレスに確保されたメモリ領域である。また動画像復号部１２により算出された動画像統計情報は、フレーム画像優先度算出部１３に供給される。この動画像統計情報は、フレーム毎に算出されてフレーム画像優先度算出部１３に供給されてよい。
【００１４】
フレーム画像優先度算出部１３は、全体制御部１１の制御下で動作し、動画像統計情報に基づいて入力動画像データの各フレームについて優先度を求める。フレーム画像優先度算出部１３により求められた優先度は、全体制御部１１に供給される。全体制御部１１は、優先度に基づいてフレームバッファに保持する複数のフレームを決定する。具体的には、フレームバッファに現在保持している複数のフレームのうちで、破棄可能なフレームのうちで最も優先度の低いものを破棄フレームとして選択する。動画像復号部１２は、破棄フレームとして選択されたフレームのメモリ領域に、復号化された動画像データの最新のフレームを上書きする。フレームバッファとしては所定枚数としてＮ枚のフレーム格納領域が確保されている。上記のように、優先度の最も低いフレームを順次破棄して、新たに復号化されたフレームを順次書き込んでいくことで、常時Ｎ枚のフレームをフレームバッファに保持しておく。超解像処理部１４は、全体制御部１１の制御下で動作し、フレームバッファに保持された複数のフレームの全部又は一部を用いて超解像処理を実行する。この際、超解像処理部１４は、前記の優先度に基づいて複数のフレームから選択されたフレームを用いて超解像処理を実行してよい。
【００１５】
なおあるフレームに対して算出される上記優先度は、当該フレームの画質及び当該フレームと他のフレームとの画像が同一であるか否かを少なくとも考慮して決定される。前述のように、フレームバッファには画質上優れたフレームを保持することが望ましい。また画素値が同一である複数のフレームよりも、少しずつ異なる（即ち対象が少しずつ動いている）複数フレームを保持することが望ましい。即ち、あるフレームに対して算出される優先度は、当該フレームの画質が高い程高く、当該フレームの画像と他のフレームの画像とが類似している程低くなるように決定される。
【００１６】
図２は、フレームバッファの論理構成を示す図である。この例では、超解像処理用のフレームバッファ２１は、現在時刻（超解像処理の着目フレーム）をｔとして、時刻ｔ−６からｔ＋６までの１３枚のフレームを保持している。時刻ｔのフレームに対して、例えば時刻ｔ−６からｔ＋６までの１３枚のフレームを用いて、超解像処理部１４が超解像処理を実行してよい。或いは、時刻ｔのフレーム以外に優先度の高いものを例えば６枚選択し、合計７枚のフレームを用いて、超解像処理部１４が超解像処理を実行してよい。
【００１７】
この１３枚のフレームのうちで破棄可能なフレームは、現在時刻ｔ及び過去の全てのフレーム（ｔ−１からｔ−６までの全てのフレーム）である。現在時刻の次の時刻ｔ＋１以降のフレームは、将来実行する超解像処理の着目フレームとなるので、破棄しない。前述のように、破棄可能である現在時刻ｔ及び過去の全てのフレームのうちで最も優先度の低いものを破棄フレームとして選択して破棄する。それと共に、動画像復号部１２の復号化処理により次に復号化されたフレームが、フレームｔ＋６としてフレームバッファ２１に格納される。なお図２の例では、ｔ−６からｔ＋６までの全ての連続するフレームがフレームバッファ２１に保持されている。しかし破棄されるフレームは最も古いフレームｔ−６とは限らないので、フレームバッファ２１に保持される１３枚のフレームのうちで時刻ｔ以前の分については、時間的に不連続なフレームとなってよい。
【００１８】
図３は、動画像復号部１２の一例を示す図である。図３に示す動画像復号部１２は、統計情報算出部３１、動画像復号制御部３２、ＶＬＤ処理部３３、ｉＱ処理部３４、ｉＴ＆ＭＣ処理部３５、及びフレーム内＆フレーム間予測部３６を含む。ＶＬＤ処理部３３、ｉＱ処理部３４、ｉＴ＆ＭＣ処理部３５、及びフレーム内＆フレーム間予測部３６は、動画像復号制御部３２の制御下で動作し、動画像符号化ストリームの復号化処理を実行する。ＶＬＤ処理部３３は、動画像符号化ストリームに対する可変長復号化（Variable Length Decoding）を実行する。復号化された動画像データは、ｉＱ処理部３４とフレーム内＆フレーム間予測部３６とに供給される。ｉＱ処理部３４は、復号化された動画像データに対して逆量子化処理（Inverse Quantization）を施し、逆量子化後の復号動画像データをｉＴ＆ＭＣ処理部３５に供給する。ｉＴ＆ＭＣ処理部３５は、逆変換処理（Inverse Transform）及び動き補償処理（Motion Compensation）を実行する。逆変換処理では、係数値として与えられるｉＱ処理部３４からの逆量子化後の復号動画像データに対して、ＭＰＥＧ２の場合には逆離散コサイン変換、Ｈ．２６４の場合には逆整数変換を実行して、画素値として与えられる復号動画像データを生成する。動き補償処理では、動きベクトル復号化により画像中の動き成分の情報を求める。復号動画像データと動き成分の情報とは、フレーム内＆フレーム間予測部３６に供給される。フレーム内＆フレーム間予測部３６は、フレーム間予測を行い、メモリコントローラ１５を介して外部メモリ１７（図１参照）から読み出した参照画像とｉＴ＆ＭＣ処理部３５からの復号動画像データ及び動き成分の情報とに基づいて、元の画像を再構成する。またフレーム内＆フレーム間予測部３６は、フレーム内予測を行ない、ｉＴ＆ＭＣ処理部３５からの復号動画像データに基づいて元の画像を再構成する。再構成された元の動画像データは、メモリコントローラ１５を介して、外部メモリ１７のフレームバッファに格納される。
【００１９】
統計情報算出部３１は、動画像符号化ストリームを復号する際に得られるピクチャ統計情報を算出する。このピクチャ統計情報は、デコードフレームの量子化パラメータの平均値Ｑ、デコードフレームのピクチャ構造ｐｉｃｔｙｐｅ、デコードフレームの符号ビット量ｐｉｃｂｉｔｓｉｚｅ、及びデコードフレームの参照・非参照情報を含む。デコードフレームの量子化パラメータの平均値Ｑは、復号化対象のフレームの各マクロブロックに規定される量子化パラメータ（量子化処理の閾値幅を示す指標）を、フレーム内の全マクロブロックにわたり平均した値である。デコードフレームのピクチャ構造ｐｉｃｔｙｐｅは、復号化対象のフレームのタイプが、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの何れであるのかを示す。デコードフレームの符号ビット量ｐｉｃｂｉｔｓｉｚｅは、復号化したフレームの総ビット数である。またデコードフレームの参照・非参照情報は、復号化対象のフレームが他のフレームから参照される参照ピクチャであるか、或いは復号化対象のフレームが他のフレームを参照するだけであり自身は参照されない非参照ピクチャであるかを示す。
【００２０】
図４は、フレーム間の参照関係を示す図である。図４において参照関係が矢印で示される。図４に示されるように、Ｉピクチャ及びＰピクチャは他のフレームから参照される。それに対して、Ｂピクチャは、他のフレームを参照するだけであり、自身は参照されない。従って、上記のデコードフレームの参照・非参照情報は、復号化対象のフレームがＩピクチャ又はＰピクチャの場合には参照ピクチャであることを示し、復号化対象のフレームがＢピクチャの場合には非参照ピクチャであることを示す。
【００２１】
図５は、フレーム画像優先度算出部１３の一例を示す図である。図５に示すフレーム画像優先度算出部１３は、入出力制御部４１、Ｆｂ算出部４２、Ｆｒ算出部４３、及びＦｖ算出部４４を含む。Ｆｂ算出部４２、Ｆｒ算出部４３、及びＦｖ算出部４４はそれぞれ、フレームバッファに保持する際のフレームの優先度の高低に関する優先度パラメータを、各フレームに固有の値として算出する。入出力制御部４１は、図３の動画像復号部１２からのピクチャ統計情報を受け取り、Ｆｂ算出部４２、Ｆｒ算出部４３、及びＦｖ算出部４４に分配する。また入出力制御部４１は、Ｆｂ算出部４２、Ｆｒ算出部４３、及びＦｖ算出部４４が算出した各優先度パラメータを受け取り、図１に示す全体制御部１１に各優先度パラメータを送信する。各算出部が算出する優先度パラメータの値が大きいほど、当該フレームが高い優先度でフレームバッファに保持される。
【００２２】
Ｆｂ算出部４２は、各フレーム毎に、そのフレームに割り当てられた符号量及びピクチャ種別を反映した値である優先度パラメータＦｂを算出する。具体的には、優先度パラメータＦｂは以下の式により求められる。
【００２３】
Fb = p0 × Fq(Q)  +  p1 × Ftype(pictype)  +  p2 × Fbit(picbitsize)
Ｑは量子化パラメータのフレーム１枚あたりの平均値である。ｐｉｃｔｙｐｅはフレームのピクチャ種別である。ｐｉｃｂｉｔｓｉｚｅはフレームの総符号ビット量である。またｐ０、ｐ１、ｐ２は重みづけ係数である。
【００２４】
関数Ｆｑ（Ｑ）は、量子化パラメータの平均値Ｑに対する優先度値を生成する。前述のように優先度パラメータＦｂは、フレームがより優先される程、値が大きくなるように設定される。量子化パラメータの平均値Ｑの値が大きいほど、量子化処理の閾値（量子化ステップ）が大きく、当該フレームの画質は劣化している。従って、関数Ｆｑ（Ｑ）は、Ｑが増加すると関数値が小さくなり、Ｑが減少すると関数値が大きくなるように設定する。例えば、動画像符号化ストリームがＨ.２６４の場合、Ｆｑ（Ｑ）＝５１−Ｑ（０≦Ｑ≦５１）としてよい。
【００２５】
関数Ｆｔｙｐｅ（ｐｉｃｔｙｐｅ）は、ピクチャ種別に対する優先度値を出力する。例えば、ピクチャ種別としてＩピクチャ、Ｐピクチャ、Ｂピクチャがある場合、一般的に、ＩピクチャのほうがＰ及びＢピクチャよりも画質が良い場合が多い。このような事前知識を前提とし、関数Ｆｔｙｐｅ（ｐｉｃｔｙｐｅ）は以下のように設定してよい。
【００２６】
Ftype(pictype) = 30  （pictypeがＩピクチャの場合）
Ftype(pictype) = 20  （pictypeがＰピクチャの場合）
Ftype(pictype) = 10  （pictypeがＢピクチャの場合）
【００２７】
関数Ｆｂｉｔ（ｐｉｃｂｉｔｓｉｚｅ）は、ｐｉｃｂｉｔｓｉｚｅに対する優先度値を出力する。一般的にビット量が多いほど画質が良いので、関数Ｆｂｉｔ（ｐｉｃｂｉｔｓｉｚｅ）は以下のように設定してよい。
【００２８】
Fbit(picbitsize) = 1000  （picbitsize≧20Mbitの場合）
Fbit(picbitsize) = picbitsize/20000  （picbitsize＜20Mbitの場合）
この例では、Ｆｂｉｔ（ｐｉｃｂｉｔｓｉｚｅ）の値は、その取りうる範囲が０から１０００であり、２０Ｍｂｉｔ以上の符号量に対しては最大値１０００に固定される。
【００２９】
Ｆｒ算出部４３は、各フレーム毎に、そのフレームのピクチャ種別を反映した値である優先度パラメータＦｒを算出する。動画像符号化ストリームでは、参照ピクチャのほうが非参照ピクチャよりも符号化ノイズが少ない場合が多い。パラメータＦｒは、パラメータＦｂによる差が拮抗している場合において、参照ピクチャの優先順位を非参照ピクチャの優先順位より高くするために導入される。例えば、現フレーム（符号化された最新のフレーム）が参照ピクチャである場合にはＦｒ＝４に設定し、現フレームが非参照ピクチャである場合にはＦｒ＝３に設定してよい。このように優先度パラメータＦｒの値を規定することにより、参照ピクチャの優先順位を非参照ピクチャの優先順位よりも高くすることができる。
【００３０】
Ｆｖ算出部４４は、各フレーム毎に、画像の動きを反映した値である優先度パラメータＦｖを算出する。具体的には、現フレームが動画像符号化ストリーム中の参照ピクチャと同一であるか否かを判定し、同一でない場合にはＦｖ＝１に設定し、同一である場合にはＦｖの値を十分に小さく設定してよい。現フレームが他のフレームを参照しないＩピクチャであれば、Ｆｖ＝１とする。現フレームがＰ又はＢピクチャであれば、フレーム内の全マクロブロックのうちでＰ＿Ｓｋｉｐ又はＢ＿Ｓｋｉｐの割合が一定値以上（例えば９５％）の場合にＦｖ＝０．１とし、それ以外の場合にＦｖ＝１とする。ここでＰ＿Ｓｋｉｐ又はＢ＿ＳｋｉｐがＰ又はＢピクチャのあるマクロブロックに設定されている場合、このマクロブロックの画像は、参照フレームの対応マクロブロックの画像をそのままコピーして使用することを示す。そのままのコピーである場合には、画像情報として追加される新たな情報はなく、超解像処理に適さない。従って、Ｐ＿Ｓｋｉｐ又はＢ＿Ｓｋｉｐの割合が一定値以上の場合にはＦｖの値を十分に小さく設定する。
【００３１】
図６は、図１に示す全体制御部１１の処理を示すフローチャートである。図１に示すフローチャートは、図２で説明したのと同様に超解像処理の着目フレームの時刻をｔとして、この着目フレームに対する超解像処理を実行するとともに、復号化された最新のフレーム（例えば時刻ｔ＋６）をフレームバッファに格納する処理を示す。
【００３２】
ステップＳ１で、全体制御部１１は、超解像処理用のフレームバッファ内に保持される全てのフレームに対して、時刻ｔにおけるフレーム優先順位を算出する。前述のフレーム画像優先度算出部１３が算出した各優先度パラメータは、各フレーム毎に算出された固定の値であり、着目フレームの時刻が順次変化しても、各フレームの優先度パラメータの値は変化しない。しかしながら、あるフレームが超解像処理に用いるに適しているか否かは、そのフレームの優先度パラメータの値だけでなく、そのフレームと超解像処理の着目フレームとの時刻差にも依存する。具体的には、超解像処理の着目フレームに時間的に近いフレーム程、超解像処理に用いるフレームとしてより適している。
【００３３】
そこで、超解像処理の着目フレームの時刻ｔを基準時刻として、フレームッファ内に保持される各フレームに対して、基準時刻からの時間距離に応じた重みづけパラメータＦｔを計算する。Ｆｔの例を以下に示す。ｄｔは時間距離（単位フレーム）である。
【００３４】
Ft = 1                    (dt≦4)
Ft = 1.4 - (0.1 × dt)        (4＜dt≦14)
Ft = 0                    (dt＞14)
この例の場合、時間距離ｄｔが４以下ではＦｔは１である。時間距離ｄｔが４を超えると、時間距離に応じてＦｔの値が徐々に減少する。ステップＳ１で求める各フレームの優先順位をＦｐとすると、Ｆｐは、各フレームの優先度パラメータＦｂ、Ｆｒ、Ｆｖと重み付けパラメータＦｔとから、以下の式により算出される。
【００３５】
Fp = Fb × Fr × Fv × Ft
【００３６】
ステップＳ２で、全体制御部１１は、フレームバッファに保持されるフレームのうちで優先度の高いフレームを超解像処理部１４に通知する。具体的には、超解像処理における最大参照枚数がフレームバッファに保持される枚数と等しい場合、全体制御部１１は、フレームバッファにある全てのフレームが参照可能であることを超解像処理部１４に通知してよい。また超解像処理における最大参照枚数ｎがフレームバッファに保持される枚数よりも少ない場合、全体制御部１１は、フレームバッファ内の優先順位が上位のｎ枚のフレームを参照可能フレームとして超解像処理部１４に通知してよい。
【００３７】
ステップＳ３で、全体制御部１１は、時刻ｔのフレームの超解像処理を行うように超解像処理部１４に指示を出す。この指示に応答して、超解像処理部１４は、通知された参照可能フレームを用いて時刻ｔの着目フレームの超解像処理を開始する。
【００３８】
ステップＳ４で、全体制御部１１は、次の入力フレームの復号処理を行なうように動画像復号部１２に指示を出す。この指示に応答して、動画像復号部１２は、次のフレームに対する復号処理を開始する。
【００３９】
ステップＳ５で、全体制御部１１は、超解像処理部１４による超解像処理が終了するのを待つ。更にステップＳ６で、全体制御部１１は、動画像復号部１２による復号処理が終了するのを待つ。
【００４０】
ステップＳ７で、全体制御部１１は、超解像処理用のフレームバッファ内に保持される全てのフレームに対して、時刻ｔ＋１におけるフレーム優先順位を算出する。ここでのフレーム優先順位の算出の方法は、基準時刻がｔからｔ＋１に変化していることを除いて、ステップＳ１における優先順位算出方法と同一である。ここで、復号処理が終了した最新のフレームをフレームバッファに格納するにあたり、フレームバッファに保持されるべきフレームは次の超解像処理に適したフレームである。次の超解像処理の着目フレームの時刻はｔ＋１であるので、この時刻ｔ＋１を基準時刻として、超解像処理用のフレームバッファ内に保持されている全てのフレームに対して優先順位を算出する。
【００４１】
ステップＳ８で、全体制御部１１は、ステップＳ７で求めたフレーム優先順位に基づいて、時刻ｔのフレーム及びそれ以前のフレームのうちで最も優先順位が低いフレームを、フレームバッファから破棄する。なお実際にフレームバッファ内のフレームのデータを例えば０に書き換える等の処理は必要なく、次のフレームを書き込むメモリ領域として、破棄されるフレームのメモリ領域を指定すればよい。
【００４２】
ステップＳ９で、全体制御部１１は、動画像復号部１２により復号化された最新フレームをフレームバッファに格納する。例えば、フレームバッファ内で破棄対象として指定されたフレームのメモリ領域に、最新フレームのデータを上書きする。
【００４３】
ステップＳ１０で、全体制御部１１は、次の超解像処理のために基準時刻をｔからｔ＋１に更新する。以上で処理を終了する。
【００４４】
なお超解像処理が終了すると、超解像処理部１４は、生成した高解像度のフレームをメモリコントローラ１５を介して外部メモリ１７に格納する（図１参照）。映像出力部１８は、メモリコントローラ１５を介して外部メモリ１７から高解像度のフレームを読み出して、外部の表示機器等に出力する。
【００４５】
図７は、画像処理装置の第２の実施例を示す図である。図７に示す画像処理装置１０Ａは、全体制御部１１Ａ、事前判定部（優先度算出部）５１、超解像処理部１４、メモリコントローラ１５、映像入力部５２、外部メモリ１７、及び映像出力部１８を含む。図７において、図１と同一の構成要素は同一の番号で参照し、その説明は適宜省略する。
【００４６】
映像入力部５２は、外部の動画像データ源から動画像データを受け取り、受け取った動画像データをメモリコントローラ１５に供給する。メモリコントローラ１５は、動画像データを外部メモリ１７に格納する。ここで動画像データは、符号化されていない動画像データであり、例えば撮像機器等から直接に供給されたデータであってよく、或いは、データ通信又はデータ格納のために一旦符号化されその後復号化されたデータであってよい。このような符号化されていない動画像データには、ピクチャ種別、量子化パラメータ、Ｐ＿Ｓｋｉｐ及びＢ＿Ｓｋｉｐ等の情報が含まれていない。従って、事前判定部（優先度算出部）５１が優先度を算出するにあたり、第１の実施例と異なり、動画像データから直接に優先度を算出する。具体的には、事前判定部５１は、入力動画像データの最新フレームの画像を１フレーム前の画像と比較して、フレーム全体が静止しているかどうかの判定を行い、判定結果を示す情報を全体制御部１１Ａに通知する。
【００４７】
図８は、事前判定部５１の一例を示す図である。上記のフレームの静止判定方法は限定しないが、図８に示す例では、Ｎ×Ｎ画素毎のブロックマッチングによる動き検出を用いる。事前判定部５１は、制御部６１及びＮ×Ｎブロックマッチング処理部６２を含む。Ｎ×Ｎブロックマッチング処理部６２は、１つの入力フレームをＮ×Ｎ画素の複数のブロックに分割し、各ブロックに対して、直前のフレームの画像からの動きを検出する。具体的には、直前のフレームの所定の探索領域内で、着目ブロックとの間でＳＡＤ（Sum of Absolute Differences）又はＳＳＤ（Sum of Squared Differences）等が最少となるブロックを見つけ出し、そのブロックと着目ブロックとの平面上の位置の差を動きベクトルとして検出してよい。Ｎ×Ｎブロックマッチング処理部６２は、検出した動きベクトル情報を制御部６１に供給する。
【００４８】
制御部６１は、Ｎ×Ｎブロックマッチング処理部６２からの動きベクトル情報に基づいて優先度パラメータＦｖを算出する。入力フレーム中の全てのＮ×Ｎブロックのうちの例えば９０％以上が０ベクトル（静止）である場合に例えばＦｖ＝０．１とし、それ以外の場合にＦｖ＝１としてよい。算出された優先度パラメータＦｖは、全体制御部１１Ａに供給される。
【００４９】
全体制御部１１Ａでは、第１の実施例の場合の図６のフローチャートに従い、フレームバッファを管理しながら超解像処理と復号処理とを実行する。但し、ステップＳ１及びＳ７における優先順位の算出において、用いる優先度パラメータが第１の実施例の場合と異なる。第２の実施例の場合には、ステップＳ１で求める各フレームの優先順位をＦｐとすると、Ｆｐは、各フレームの優先度パラメータＦｖと前述の重み付けパラメータＦｔとから、以下の式により算出される。
【００５０】
Fp = Fv × Ft
ステップＳ７におけるフレーム優先順位の算出の方法は、基準時刻がｔからｔ＋１に変化していることを除いて、ステップＳ１における優先順位算出方法と同一である。
【００５１】
以上のようにして、入力動画像データが符号化ストリームではなく、符号化されていない動画像データである場合にも、第１の実施例の場合と同様にして、フレームバッファの管理を行なうことができる。
【００５２】
以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
【００５３】
なお本願発明は以下の内容を含むものである。
（付記１）
入力動画像データの各フレームについて優先度を求める優先度算出部と、
前記優先度に基づいてフレームバッファに保持する複数のフレームを決定する制御部と、
前記フレームバッファに保持された前記複数のフレームの全部又は一部を用いて超解像処理を実行する超解像処理部
を含むことを特徴とする画像処理装置。
（付記２）
前記超解像処理部は、前記優先度に基づいて前記複数のフレームから選択されたフレームを用いて超解像処理を実行することを特徴とする付記１記載の画像処理装置。
（付記３）
前記入力動画像データを動画像符号化ストリームとして受け取り復号化するとともに動画像統計情報を算出する動画像復号部を更に含み、前記優先度算出部は、前記動画像統計情報に基づいて前記優先度を求めることを特徴とする付記１又は２記載の画像処理装置。
（付記４）
前記動画像統計情報は、量子化パラメータ、ピクチャ種別、及びフレームの総ビット数を少なくとも含むことを特徴とする付記１乃至３何れか一項記載の画像処理装置。
（付記５）
入力動画像データの各フレームについて優先度を求め、
前記優先度に基づいてフレームバッファに保持する複数のフレームを決定し、
前記フレームバッファに保持された前記複数のフレームの全部又は一部を用いて超解像処理を実行する
各段階を含むことを特徴とする画像処理方法。
（付記６）
前記優先度に基づいて前記複数のフレームから選択されたフレームを用いて前記超解像処理を実行することを特徴とする付記５記載の画像処理方法。
（付記７）
前記入力動画像データを動画像符号化ストリームとして受け取り復号化するとともに動画像統計情報を算出する段階を更に含み、優先度を求める段階は、前記動画像統計情報に基づいて前記優先度を求めることを特徴とする付記５又は６記載の画像処理方法。
（付記８）
前記動画像統計情報は、量子化パラメータ、ピクチャ種別、及びフレームの総ビット数を少なくとも含むことを特徴とする付記５乃至７何れか一項記載の画像処理方法。
【符号の説明】
【００５４】
１０  画像処理装置
１１  全体制御部
１２  動画像復号部
１３  フレーム画像優先度算出部
１４  超解像処理部
１５  メモリコントローラ
１６  ストリーム入力部
１７  外部メモリ
１８  映像出力部
【図１】
2012029172.tif 000003
【図２】
2012029172.tif 000004
【図３】
2012029172.tif 000005
【図４】
2012029172.tif 000006
【図５】
2012029172.tif 000007
【図６】
2012029172.tif 000008
【図７】
2012029172.tif 000009
【図８】
2012029172.tif 000010