(57)【特許請求の範囲】
【請求項１】
入力する画像の解像度を変換する画像処理装置であって、
入力した表示フレームの画像に対して他の参照フレームの画像を合成して解像度を増加させる超解像処理部と、
上記表示フレームの画像に対して同一フレーム内の画像から画素を補間して画素数を増加させる補間処理部と、
上記表示フレームと上記参照フレームとの対応する画像の位置差を推定する位置差推定部と、
上記位置差推定部の推定結果に基づき上記超解像処理部の動作を制御する超解像処理制御部とを備え、
該超解像処理制御部は、上記位置差推定部が位置差推定に成功した場合、上記超解像処理部からの画像を出力し、
上記位置差推定部が位置差推定に失敗した場合、上記参照フレームを他のフレームに変更して上記超解像処理部の処理を行わせ該超解像処理部からの画像を出力し、
上記参照フレームを他のフレームに変更しても位置差推定に失敗した場合、上記補間処理部からの画像を出力することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記超解像処理制御部には、前記位置差推定部が位置差推定に成功したか失敗したかを画像処理単位に記憶する成否記憶部と、
同一表示フレームに対する超解像処理の繰返し上限回数または繰返し時間を設定する繰返し回数設定部を有し、
上記位置差推定の成否の情報と、繰返し上限回数または繰返し時間を参照して、前記超解像処理部の処理を繰返すことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
前記位置差推定部は、前記表示フレームと前記参照フレームの対応する画素間の差分絶対値を画素処理単位毎に求め、
前記超解像処理制御部は、上記差分絶対値の総和を予め設定した閾値と比較して、該差分絶対値の総和が閾値以下である場合は位置差推定に成功したと判定し、該差分絶対値の総和が閾値を超える場合は位置差推定に失敗したと判定することを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置であって、
前記超解像処理制御部は、前記超解像処理部の用いる参照フレームについて、初回は前記表示フレームの直前のフレームを指定し、これを変更する場合、２回目は直後のフレームを、３回目は２つ前のフレームの順に、前後のフレームを交互に指定することを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置であって、
前記超解像処理部からの画像に対し、参照フレームの変更により生じた不連続部の平滑化処理を行う平滑処理部を備えることを特徴とする画像処理装置。
【請求項６】
入力する画像を録画再生する画像録画再生装置であって、
画像コンテンツを蓄積するコンテンツ蓄積部と、
入力する画像コンテンツを該コンテンツ蓄積部に録画し、該コンテンツ蓄積部から再生する録画再生部と、
再生された画像コンテンツの解像度を変換して出力する高解像度化処理部と、
上記録画再生部と上記高解像度化処理部を制御する制御部とを備え、
上記高解像度化処理部は、
再生された画像コンテンツの表示フレームの画像に対して他の参照フレームの画像を合成して解像度を増加させる超解像処理部と、
上記表示フレームと上記参照フレームとの対応する画像の位置差を推定する位置差推定部と、
上記位置差推定部の推定結果に基づき上記超解像処理部の動作を制御する超解像処理制御部とを有し、
該超解像処理制御部は、上記位置差推定部が位置差推定に成功した場合、上記超解像処理部からの画像を出力し、
上記位置差推定部が位置差推定に失敗した場合、上記録画再生部に対し上記コンテンツ蓄積部から上記参照フレームに代えて他のフレームを読み出させ、参照フレームを変更して上記超解像処理部の処理を行わせるとともに、
上記録画再生部が画像コンテンツをスロー再生する場合、再生速度に応じて設定された繰返し回数の範囲内で参照フレームを変更して上記超解像処理部の処理を繰返すことを特徴とする画像録画再生装置。
【請求項７】
請求項６に記載の画像録画再生装置であって、
前記録画再生部が画像コンテンツをスチル再生する場合、前記超解像処理制御部は、スチル再生期間またはユーザの指定時間に渡り参照フレームを変更して前記超解像処理部の処理を繰返すことを特徴とする画像録画再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の高解像度処理技術に関し、特に画像録画再生装置における特殊再生時の高解像度処理技術に関する。
【背景技術】
【０００２】
近年の画像表示装置は、大画面テレビから携帯端末まで用途に合わせた各種の画面サイズで映像を表示する。この時、放送や通信、蓄積媒体などから入力された画像信号をそのまま表示するのではなく、表示する画面サイズに合わせて画像信号の解像度の変換処理が必要となる場合がある。その際、一般的に知られているｓｉｎｃ関数を用いた補間ローパスフィルタやスプライン関数などによって単純に画素数を補間するだけでなく、解像度を向上させる技術が提案されている。
【０００３】
例えば特許文献１には、入力された複数の画像フレーム（以下、単にフレームと呼ぶ）を合成して１枚のフレームとすることにより、高解像度化しながら画素数を増やす処理技術が開示されている。この技術では、標本化位置の異なる複数組のデータを用いて、標本化によって生じた折り返し成分を打ち消し、画像信号の高周波成分を復元するものである。以下、この処理を「超解像処理」と呼ぶことにする。超解像処理では、隣接する複数の動画像フレームのデータを用いて１枚のフレームを合成するもので、映像録画再生装置の再生画像の高解像度化にも適用できる。
【０００４】
一方、映像録画再生装置の再生モードは、標準速度での通常再生だけでなく、早送り、スロー、スチルなどの速度を変えた特殊再生の機能を有する。特殊再生の中でスロー、スチル再生は、ユーザがその映像シーンをゆっくり注視するために用いられるものである。よって、これらの特殊再生モードでは通常再生の映像に比べ、コンテンツの画質の悪さが目立つ傾向にある。特殊再生時の画質を向上させる技術として、例えば特許文献２では、スロー再生時に、各フィールドの表示時間を制御することにより、表示される映像の画質を向上させることが開示される。
【０００５】
【特許文献１】特開平８−３３６０４６号公報
【特許文献２】特開平１１−２７６３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
例えば前記特許文献１に述べられる超解像処理では、一般に、画像フレームを複数のブロックに分割し、ブロック単位で表示フレームと参照フレームとの位置差を推定し高解像度化を行う。ここで、映像シーンや入力される複数のフレームのパターンによっては、位置差推定結果が正しく得られないブロックが存在する場合がある。
【０００７】
一例として、表示フレーム内に新しいオブジェクトが現れる映像シーンを想定する。合成のための参照フレームを、表示フレームに対して過去のみから取得する場合、当該オブジェクトは参照フレーム内には存在しない。よって、位置差推定による評価値は閾値を超えた異常値を示し、当該オブジェクトを含むブロックでは、位置差推定に失敗したことになる。
【０００８】
従来、位置差推定に失敗したブロックでは、本来の超解像処理を中断し補間ローパスフィルタなどによる画素補間処理に切り替える。そのため、位置差推定に失敗したブロックでは、画素数は増えても高解像度化（高画質化）を行うことはできなかった。なお、１つの表示フレームに対して複数個の参照フレームを用いれば位置差推定の失敗を少なくすることはできるが、参照フレーム数を増加させることは、超解像処理のための回路規模と処理時間を増大させ、実用的には困難である。
【０００９】
前記したように、画像録画再生装置におけるスロー再生やスチル再生は、ユーザが注視したい映像シーンの場合に用いることが多い。特にこの特殊再生時に位置差推定に失敗すると、通常再生時に比べ画質の悪さが一層目立つことになり好ましくない。なお、前記特許文献２に記載の技術は、超解像処理とは異なる技術であり位置差推定の成否とは関係ない。
【００１０】
本発明の目的は、スロー再生やスチル再生時などの特殊再生において、位置差推定の失敗による超解像処理の中断を回避することで、高解像度画像を提供することである。
【課題を解決するための手段】
【００１１】
本発明の画像処理装置は、入力した表示フレームの画像に対して他の参照フレームの画像を合成して解像度を増加させる超解像処理部と、上記表示フレームと上記参照フレームとの対応する画像の位置差を推定する位置差推定部と、上記位置差推定部の推定結果に基づき上記超解像処理部の動作を制御する超解像処理制御部とを備え、該超解像処理制御部は、上記位置差推定部が位置差推定に成功した場合、上記超解像処理部からの画像を出力し、上記位置差推定部が位置差推定に失敗した場合、上記参照フレームを他のフレームに変更して上記超解像処理部の処理を行わせる。
【００１２】
本発明の画像録画再生装置は、画像コンテンツを蓄積するコンテンツ蓄積部と、入力する画像コンテンツを該コンテンツ蓄積部に録画し、該コンテンツ蓄積部から再生する録画再生部と、再生された画像コンテンツの解像度を変換して出力する高解像度化処理部と、上記録画再生部と上記高解像度化処理部を制御する制御部とを備える。上記高解像度化処理部は、再生された画像コンテンツの表示フレームの画像に対して他の参照フレームの画像を合成して解像度を増加させる超解像処理部と、上記表示フレームと上記参照フレームとの対応する画像の位置差を推定する位置差推定部と、上記位置差推定部の推定結果に基づき上記超解像処理部の動作を制御する超解像処理制御部とを有し、該超解像処理制御部は、上記位置差推定部が位置差推定に成功した場合、上記超解像処理部からの画像を出力し、上記位置差推定部が位置差推定に失敗した場合、上記録画再生部に対し上記コンテンツ蓄積部から上記参照フレームに代えて他のフレームを読み出させ、参照フレームを変更して上記超解像処理部の処理を行わせる。
【００１３】
ここに、前記録画再生部が画像コンテンツをスロー再生する場合、前記超解像処理制御部は、再生速度に応じて設定された繰返し回数の範囲内で参照フレームを変更して前記超解像処理部の処理を繰返す。また、前記録画再生部が画像コンテンツをスチル再生する場合、前記超解像処理制御部は、スチル再生期間またはユーザの指定時間に渡り参照フレームを変更して前記超解像処理部の処理を繰返す。
【発明の効果】
【００１４】
本発明によれば、位置差推定の失敗による超解像処理の中断を回避し、高解像度画像を提供することができる。特に、スロー再生やスチル再生のような特殊再生の場合に有効である。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態について、図面を用いて説明する。
【実施例１】
【００１６】
図１は、本発明に係る画像録画再生装置の第１の実施例を示すブロック図である。画像録画再生装置１は、入力部１１、録画再生部１２、高解像度化処理部１３、バッファ１４、制御部１５、操作部１６、コンテンツ蓄積部１７から構成され、その出力は表示装置１８の入力へ接続される。
【００１７】
入力部１１には、例えばテレビ放送信号などの映像（動画像）コンテンツが入力される。録画再生部１２は、入力された映像コンテンツを処理し、コンテンツ蓄積部１７へ録画する。コンテンツ蓄積部１７はＨＤＤやＤＶＤなどの大容量記憶媒体からなり、映像コンテンツが所定の圧縮符号化形式で、あるいは画像フレーム列のまま蓄積保存される。録画再生部１２は、コンテンツ蓄積部１７から映像コンテンツを再生する。再生モードは、通常再生だけでなく特殊再生機能を備える。再生時はコンテンツの保存形式に応じて復号処理などを行い、高解像度化処理部１３へ出力する。例えば、入力部１１にデジタル放送コンテンツが入力された場合、録画再生部１２はＭＰＥＧ−２で符号化されたストリームコンテンツを復号化して画像フレーム列を生成し、高解像度化処理部１３へ出力する。
【００１８】
高解像度化処理部１３は、録画再生部１２から入力されたフレーム列（後述するように表示フレームＦ１と参照フレームＦ２を含む）を用いて高解像度化処理を行い、その処理結果をバッファ１４へ書き込む。バッファ１４に書き込まれた高解像度化された映像データは、所定のタイミングで表示装置１８へ出力され表示される。表示装置１８は、例えば液晶表示パネル、プラズマディスプレイパネルなどが用いられる。
【００１９】
制御部１５は、例えばＣＰＵとソフトウェアプログラムにより構成され、録画再生部１２に対し映像コンテンツの録画、再生、特殊再生の動作を制御する。また、高解像度化処理部１３に対し高解像度化処理の制御を行うとともに、録画再生部１２に対し高解像度化処理に必要なフレームを供給させる。操作部１６は、ユーザからの操作を受け付けるユーザインタフェース部であり、リモートコントローラや操作ボタン群からなる。ユーザ操作による指示信号は制御部１５に送られる。
【００２０】
図２は、図１における高解像度化処理部１３の構成例を示す図である。
高解像度化処理部１３には、録画再生部１２から表示フレームＦ１と参照フレームＦ２、及び制御部１５から制御情報が入力する。ここでは参照フレームＦ２として、表示フレームＦ１の直前（過去）の１個のフレームを選択するものとする。ここで、参照フレームＦ２として複数個のフレームを用いることも勿論可能であるが、１個の参照フレームとすることで処理回路を最も簡単化できる。表示フレームＦ１は、超解像処理部２１及び補間処理部２２に入力される。参照フレームＦ２は、超解像処理部２１に入力される。
【００２１】
位置差推定部２５は、表示フレームＦ１と参照フレームＦ２との位置差を推定し、位置差情報を超解像処理制御部２６へ送る。ここで位置差推定部２５は、１つのフレームを例えば１６×１６画素を単位とするブロック領域に分割し、ブロック単位で上記位置差推定を行う。
【００２２】
超解像処理部２１では、入力された表示フレームＦ１の画像に対し参照フレームＦ２を用いて超解像処理を行う。補間処理部２２では、入力された表示フレームＦ１の画像に対して、補間ローパスフィルタなどで画素の補間処理を行う。ここで超解像処理部２１と補間処理部２２は、フレームをブロック領域に分割し、ブロック単位で上記処理を行う。
【００２３】
選択部２３には、超解像処理部２１で処理された超解像画像Ｐ１、補間処理部２２で処理された補間画像Ｐ２、及び超解像処理制御部２６からの選択信号Ｓｅｌが入力される。選択部２３は選択信号に従い、超解像画像Ｐ１，補間画像Ｐ２のいずれかを選択して、バッファライト制御部２４へ出力する。バッファライト制御部２４は、入力された処理画像を、当該処理ブロックのフレーム内位置に対応させ、バッファ１４内の適切な位置へ書き込む。
【００２４】
超解像処理制御部２６は、位置差推定部２５から送られた位置差情報を受け、位置差推定の成否を判定する。位置差推定に成功した場合は、選択部２３に対して超解像処理部２１からの超解像画像Ｐ１を選択させる。位置差推定に失敗した場合は、参照フレームＦ２を他のフレームに変更して、新たな参照フレームＦ２'を用いて超解像処理を行う。そのため制御部１５に対して、変更した参照フレームの読み出しを指示する。この場合、新たな参照フレームＦ２'として、例えば表示フレームＦ１の直後（未来）のフレームを選択する。この場合も位置差推定部２５により再度位置差推定を行い、位置差推定に成功すれば、選択部２３に対して超解像画像Ｐ１を選択させる。位置差推定に再度失敗した場合は、参照フレームＦ２'をさらに他のフレームＦ２”に変更して、位置差推定に成功するまで繰返し超解像処理を行う。
【００２５】
超解像処理制御部２６の繰返し回数設定部２８には、同一表示フレームに対する超解像処理の繰返し上限回数を設定しておく。繰返し回数設定部２８は例えば制御レジスタで構成する。そして繰返し回数がこの上限回数に達しても位置差推定が成功しない場合は、選択部２３に対して補間処理部２２からの処理画像Ｐ２を選択させる。
【００２６】
また超解像処理成否記憶部２７には、高解像度化処理の各単位ブロックについて位置差推定が成功したか否かを示すフラグを記憶する。超解像処理に成功した場合、例えばフラグを「１」とし、超解像処理に失敗した場合、フラグを「０」とする。１枚の入力画像フレームが１９２０×１０８０画素サイズ、処理単位ブロックが１６×１６画素サイズの場合、超解像処理成否記憶部２７の要する容量は８１００ビットとなる。
【００２７】
ここで、位置差推定部２５の動作を説明する。
表示フレームＦ１を１６×１６画素の矩形ブロックに分割する。また参照フレームＦ２において、表示フレームＦ１の処理対象ブロックＢ１と同じ位置にある矩形領域を中心とする所定の画像範囲を考える。この画像範囲を探索範囲と呼ぶこととし、探索範囲を例えば水平１２８画素×垂直６４画素の領域とする。
【００２８】
位置差推定では、参照フレームＦ２上の探索範囲内において１６×１６画素の矩形ブロックを１画素ずつずらしながら移動させ、各移動位置において表示フレームＦ１上の処理対象ブロックＢ１と対応する画素間の差分絶対値の総和を計算する。この差分絶対値和は、例えば映像の輝度成分について計算する。得られた各移動位置における差分絶対値和の中から、その値が最小となるものを選択し、予め設定した閾値と比較する。差分絶対値和が閾値以下である場合、処理対象ブロックＢ１の位置差推定が成功したと判定し、差分絶対値和が最小となる移動位置の矩形ブロックＢ２との距離を位置差データとする。差分絶対値和が閾値を超える場合、処理対象ブロックに類似したブロックが参照フレームＦ２の探索範囲内に存在しなかったとみなし、位置差推定が失敗したと判定する。
【００２９】
ここでは整数画素単位の位置差推定を述べたが、探索範囲内において線形補間により１／２画素を生成し、上記と同様な計算方法により１／２画素精度の位置差推定を行うこともできる。
【００３０】
図３は、本実施例における高解像度化処理の流れを示すフローチャートである。この例では、スロー再生またはスチル再生において、１枚のフレームに対して、高解像度化処理（超解像処理）が成功するまで繰返し行うものである。
【００３１】
ステップ１０１では、ユーザの操作によりスロー再生またはスチル再生が指示されると、録画再生部１２から表示すべき処理対象フレームＦ１を読み出す。
【００３２】
ステップ１０２では、超解像処理制御部２６は制御部１５に指示し、録画再生部１２から合成用の参照フレームＦ２を読み出す。参照フレームＦ２には、初回の読出しでは処理対象フレームＦ１の直前のフレームを指定する。超解像処理に失敗し繰返し処理のための２回目の読出しでは、処理対象フレームＦ１の直後のフレームを指定する。さらに繰返し処理のための３回目の読出しでは、処理対象フレームＦ１の２つ前のフレームを指定する。以後、Ｆ１の２つ後のフレーム、というように前後のフレームを交互に読み出す。
【００３３】
ステップ１０３では、高解像度化処理部１３によりブロック単位で高解像度化処理を行う。ここでは超解像処理部２１及び補間処理部２１を並列動作させ、各処理画像を選択部２３に出力する。その際位置差推定部２５においては、処理対象フレームＦ１と参照フレームＦ２との位置差推定を行う。超解像処理制御部２６は、位置差推定の成否を判定し、その結果に従い選択部２３で画像を選択させるとともに、超解像処理成否記憶部２７にある当該ブロックのフラグを「１」（成功）または「０」（失敗）とする。また位置差推定に失敗した場合、超解像処理を繰返す。そのため新たな参照フレームの読み出しを制御部１５に指示する。なおステップ１０３については、図４にて詳細に述べる。
【００３４】
ステップ１０４では、処理対象フレームＦ１の全てのブロックについて位置差推定が成功したかどうか判定する。成功したと判定すれば、ステップ１０６へ進み当該表示フレームの高解像度化処理を終了する。ステップ１０４の判定で全ブロックについて位置差推定が成功しなかった場合は、ステップ１０５へ進み、繰返し処理判定を行う。
【００３５】
ステップ１０５では、高解像度化処理を予め設定した繰返し回数だけ行ったかどうか判定する。繰返し回数に達していれば、ステップ１０６へ進み当該表示フレームの高解像度化処理を終了する。繰返し回数に達していなければステップ１０２に戻り、新たな参照フレームを用いて上記した高解像度化処理を繰返す。
【００３６】
上記の処理の結果、表示するフレームはそのブロック単位で高解像度化処理され、バッファ１４に書き込まれる。そして、ユーザの要求するスロー再生またはスチル再生の条件に従い、表示装置１８にて表示される。
【００３７】
次に図４は、図３のステップ１０３におけるブロック単位で行う高解像度化処理の詳細を示すフローチャートである。このブロック単位処理は、各ブロックを並列に処理しても、あるいは逐次的に処理してもよい。
【００３８】
ステップ２０１では、処理ブロック単位で高解像度化処理を開始する。各ブロックを並列に処理しても、あるいは逐次的に処理してもよい。
【００３９】
ステップ２０２では、超解像処理成否記憶部２７に記憶されている当該処理ブロックのフラグの値を参照する。フラグ＝「１」の場合は、当該処理ブロックは既に位置差推定に成功し超解像処理が行われており、ステップ２１０へ進み当該ブロックの処理を終了する。フラグ＝「０」の場合は、前回位置差推定に失敗しており、ステップ２０３へ進み、新たな参照フレームを用いて再度超解像処理を行う。なお、高解像度化処理が初回のブロックに対しては位置差推定のフラグが付与されていないので、この場合には「０」とみなしてステップ２０３へ進む。
【００４０】
ステップ２０３では、位置差推定部２５により、新たな参照フレームと処理対象のフレームとの間で位置差推定を行う。
【００４１】
ステップ２０４では、位置差推定に成功したかどうか判定する。前記したように、位置差推定の成否判定は、対応する画素間の差分絶対値の総和が閾値以内になるかどうかで判定する。
【００４２】
位置差推定に成功した場合（ステップ２０４でＹｅｓ）、ステップ２０５に進み超解像処理部２１の処理を行う。ステップ２０６では、選択部２３により超解像画像Ｐ１を選択してバッファライト制御部２４に出力してバッファ１４に書き込む。これにより、当該ブロックの画像は高解像度化された画像に更新される。ステップ２０７では当該処理ブロックのフラグを「１」に書き換え、ステップ２１０へ進み当該ブロックの処理を終了する。
【００４３】
位置差推定に失敗した場合（ステップ２０４でＮｏ）、ステップ２０８に進み補間処理部２２の処理を行う。ステップ２０９では、選択部２３により補間画像Ｐ２を選択してバッファライト制御部２４に出力してバッファ１４に書き込む。この場合、当該処理ブロックのフラグは「０」のままとし、ステップ２１０へ進み当該ブロックの処理を終了する。なお、２回目以降の高解像度化処理では、補間処理部２２による補間画像は既にバッファ１４に記録されている。補間画像は更新する必要がないので、補間処理部２２を動作させる必要はない。
【００４４】
このように、超解像処理成否記憶部２７のフラグ値に応じて、ブロック毎の超解像処理と補間処理とを適応的に行うことで、高解像度化処理の効率を向上することができる。
【００４５】
図５は、繰返し処理判定（ステップ１０５）に用いる繰返し回数の一例を示す図である。この回数は繰返し回数設定部２８に設定される。
【００４６】
通常再生では高解像処理は１回であるのに対し、１／Ｎ倍速のスロー再生では高解像度化処理をＮ回行う（高画質モードの場合）。例えば、１／２倍速スロー再生時は、高解像度化処理を２回行い、１／４倍速スロー再生時は４回行うことができる。またスチル再生時には、一時停止ボタンが押されている期間、繰返して高解像度化処理を行う。
【００４７】
さらに省電力モードの場合、１／Ｎ倍速スロー再生では高解像度化処理をＮ／２回に減じて行う。スチル再生ではユーザが指定する時間だけ超解像処理を繰返すようにする。
【００４８】
これらの設定条件は一例であり、装置の使用状況に応じて適宜設定すればよい。そして、各再生モードに対し予めいくつかの設定条件を用意しておき、ユーザが選択できるようにするのがよい。また繰返し回数を０回とする設定条件を追加することで、特殊再生時の超解像繰返し処理を行わないようにすることもできる。
【００４９】
このように本実施例では、スロー再生やスチル再生のように、表示フレームの画像処理に時間的余裕のある特殊再生の場合に、繰返し処理を行うようにする。これにより、位置差推定の失敗による超解像処理の中断を回避し、高解像度画像を提供することができる。
【実施例２】
【００５０】
図６は、本発明による画像録画再生装置の第２の実施例を示すブロック図である。本実施例の画像録画再生装置１では、前記第１の実施例（図１）において、バッファ１４に対し平滑処理部１９を追加接続した構成である。
【００５１】
平滑処理部１９では、高解像度化処理部１３で得られた画像フレームに対して、画像平滑化処理を行う。その目的は、超解像処理の繰返しにより、フレーム内の隣接するブロックが異なる参照フレームから生成される場合があり、その結果ブロック境界に画像の不連続部が発生することがある。平滑処理部１９はこの不連続部を除去するためのフィルタ演算処理を行うものである。フレーム内のどの領域を平滑化処理対象とするかを判定する際、例えば、超解像処理成否記憶部２７に記憶している成否フラグを参照し、フラグ値が異なるブロックの境界部を対象とすればよい。
【００５２】
なお、平滑処理部１９の演算をサポートするために、バッファ１４はそのバッファ面数を増加させた構成とすることにより、所望の高解像度処理映像を表示装置１８に供給できる。
【実施例３】
【００５３】
図７は、本発明による画像録画再生装置の第３の実施例を示すブロック図である。本実施例では、前記第１の実施例（図２）における高解像度化処理部１３の構成を変更したものである。すなわち、選択部２９を超解像処理部２１及び補間処理部２２の前段に配置し、表示フレームＦ１の供給先を選択する構成としている。
【００５４】
位置差推定部２５は、表示フレームＦ１と参照フレームＦ２とを比較し、超解像処理における位置差推定を行う。超解像処理制御部２６は位置差情報に基づき位置差推定の成否の判定を行い、選択部２９に対して、超解像処理部２１及び補間処理部２２のいずれを選択するかの選択信号Ｓｅｌを送る。すなわち、位置差推定に成功した場合は超解像処理部２１を選択し、失敗した場合は補間処理部２２を選択する。
【００５５】
選択部２９は、選択先の処理部を起動させるとともに、表示フレームＦ１を選択先へ出力する。選択された処理部では超解像処理または補間処理を行い、超解像画像Ｐ１または補間画像Ｐ２のいずれか一方が出力され、バッファライト制御部２４によりバッファ１４に書き込まれる。ここでは超解像画像Ｐ１または補間画像Ｐ２の出力選択部を省略したが、これを追加してもよい。
【００５６】
本実施例では、超解像処理部２１または補間処理部２２のいずれか一方のモジュールのみを動作させればよいため、装置の消費電力を低減する効果がある。
【実施例４】
【００５７】
本発明による画像処理装置の一実施例を説明する。前記した実施例１〜３は画像録画再生装置であり、録画した映像コンテンツを再生する場合に高解像度化するものであった。これに対し本実施例は、本発明をテレビジョン受像機の画像処理装置に適用した場合である。この場合、放送された映像コンテンツをリアルタイムで表示する訳であるが、高解像度化処理を繰返し実行して高解像度化画像を表示するものである。以下、それを説明する。
【００５８】
デジタル放送では、画像符号化技術を利用して圧縮された映像が放送されている。例えば地上デジタル放送やＢＳデジタル放送はＭＰＥＧ−２規格、ワンセグ放送はＨ．２６４／ＭＰＥＧ−４  ＡＶＣ規格を利用して映像が圧縮されている。テレビジョン内部では映像デコーダにより受信データを復号化し、ディスプレイに表示している。
【００５９】
上記のような画像符号化においては、画像フレーム間の差分情報を利用するフレーム間予測と呼ばれる技術が用いられている。このフレーム間予測では、符号化処理単位であるマクロブロック（１６×１６画素領域）について、画像フレーム間の差分量＝０の場合、そのマクロブロックについては「スキップ」という情報にて伝送される。ＭＰＥＧ−２におけるｍａｃｒｏｂｌｏｃｋ＿ａｄｄｒｅｓｓ＿ｉｎｃｒｅｍｅｎｔ、Ｈ．２６４におけるｍｂ＿ｓｋｉｐ＿ｒｕｎなどのシンタックス要素がこれに該当する。本実施例では、この「スキップ」情報を利用する。
【００６０】
入力したフレームについて、フレーム内の全マクロブロックが「スキップ」である場合、当該フレームは直前フレームと同一の画像であったことを示す。以下、このようなフレームを「スキップフレーム」と呼ぶことにする。
【００６１】
スキップフレームが連続する場合、その連続するフレーム数を検出する。そして、スキップフレームが１フレーム以上連続するとき、参照フレームを変更しながらの繰返し超解像処理を実行する。スキップフレームがＮフレーム連続した場合は、前記実施例の１／（Ｎ＋１）倍速スロー再生時に相当し、例えば最大（Ｎ＋１）回の繰返し超解像処理を行う。この場合、連続するＮフレームは同一画像が入力されるため、繰返し処理に用いる新たな参照フレームは、前後方向に（Ｎ＋１）フレームだけ離れたものから選択するようにする。
【００６２】
このように本発明は、画像録画再生装置の特殊再生時（スロー再生、スチル再生）だけでなく、同一の画像フレームが連続して入力する場合の画像処理装置においても、同様に適用できる。
【図面の簡単な説明】
【００６３】
【図１】本発明に係る画像録画再生装置の第１の実施例を示すブロック図。
【図２】高解像度化処理部１３の構成例を示す図。
【図３】高解像度化処理の流れを示すフローチャート。
【図４】図３におけるブロック単位で行う高解像度化処理の詳細を示すフローチャート。
【図５】繰返し処理判定に用いる繰返し回数の一例を示す図。
【図６】本発明による画像録画再生装置の第２の実施例を示すブロック図。
【図７】本発明による画像録画再生装置の第３の実施例を示すブロック図。
【符号の説明】
【００６４】
１…画像録画再生装置
１１…入力部
１２…録画再生部
１３…高解像度化処理部
１４…バッファ
１５…制御部
１６…操作部
１７…コンテンツ蓄積部
１８…表示装置
１９…平滑処理部
２１…超解像処理部
２２…補間処理部
２３，２９…選択部
２４…バッファライト制御部
２５…位置差推定部
２６…超解像処理制御部
２７…超解像処理成否記憶部
２８…繰返し回数設定部。
【図１】
0005096883.tif 000002
【図２】
0005096883.tif 000003
【図３】
0005096883.tif 000004
【図４】
0005096883.tif 000005
【図５】
0005096883.tif 000006
【図６】
0005096883.tif 000007
【図７】
0005096883.tif 000008