(57)【要約】【課題】移動中の表面が湾曲した物体の画像が画像情報中に含まれている場合、その画像フレームに現れる物体の画像領域に係わる動きベクトルの誤推定が頻発するのを抑制し、物体の高精細な高解像化画像が得られるようにする。【解決手段】動きベクトル補正部２９は、三次元モデルベース頭部動きベクトル推定部３１からの頭部動きベクトルを用いて、入力された画像フレーム中の頭部／顔画像領域に係わる動きベクトルの補正を実行する。補正が施された後の頭部／顔画像領域に係わる動きベクトルと、入力された画像フレームにおける頭部／顔画像領域以外の領域に係わる動きベクトルとを入力された画像フレームにおける確定的な動きベクトルとして画像高解像化処理部３３へ出力する。【選択図】図３
2010002982.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像情報中に、曲面形状を呈する部位を有する物体の動いている状態を示す画像が含まれているかどうか検出する画像検出部と、
入力された画像情報を構成する複数の画像フレーム間での、各画像フレーム中における対応する画素同士の間の変位量を示す動きベクトルを推定する動きベクトル推定部と、
前記画像検出部が、前記画像情報中から前記物体の動いている状態を示す画像を検出した場合に、前記動きベクトル推定部により推定された動きベクトルのうちの、前記物体の動いている状態を示す画像の領域に係わる動きベクトルを補正する動きベクトル補正部と、
前記動きベクトル推定部により推定された動きベクトルと、前記動きベクトル補正部により補正された動きベクトルとを用いて、前記入力された画像情報に高解像化処理を施す高解像化処理部と、
を備える画像情報処理装置。
【請求項２】
請求項１記載の画像情報処理装置において、
前記曲面形状を呈する部位を有する物体が、三次元楕円体を含む画像情報処理装置。
【請求項３】
請求項２記載の画像情報処理装置において、
前記三次元楕円体が、人間の頭部／顔を含む画像情報処理装置。
【請求項４】
請求項１記載の画像情報処理装置において、
前記動きベクトル推定部が、少なくとも２以上の時間的に隣接する画像フレーム同士の間において対応する画素同士の間の変位量を示す動きベクトルを推定する画像情報処理装置。
【請求項５】
請求項４記載の画像情報処理装置において、
前記時間的に隣接する画像フレームが、リアルタイムで入力される画像フレームと、該画像フレームより１画像フレーム分前の画像フレームと、を含む画像情報処理装置。
【請求項６】
請求項１記載の画像情報処理装置において、
前記動きベクトル補正部が、前記動きベクトル推定部により推定された前記物体の動いている状態を示す画像の領域に係わる動きベクトルを補正するのに必要な補正用動きベクトルを推定する補正用動きベクトル推定部、を更に備える画像情報処理装置。
【請求項７】
請求項６記載の画像情報処理装置において、
前記補正用動きベクトル推定部が、予め設定されている前記物体の三次元モデルから前記補正用動きベクトルを推定する画像情報処理装置。
【請求項８】
請求項７記載の画像情報処理装置において、
前記物体の三次元モデルから推定される前記補正用動きベクトルが、前記三次元モデルを、入力された前記物体の動いている状態を示す画像の領域に適合するように変形する第１の処理と、該第１の処理を経て変形された前記三次元モデルの姿勢を、前記画像の姿勢に適合するように調整する第２の処理とを経て得られる前記三次元モデルに基づくものである画像情報処理装置。
【請求項９】
入力された画像情報に含まれる音声情報を出力する音声情報出力部と、
入力された画像情報に対し、所定の信号処理を施す画像信号処理部と、
前記画像信号処理部から出力される画像情報を表示する表示部と、
を備え、
前記画像信号処理部が、
入力された画像情報中に、曲面形状を呈する部位を有する物体の動いている状態を示す画像が含まれているかどうか検出する画像検出部と、
入力された画像情報を構成する複数の画像フレーム間での、各画像フレーム中における対応する画素同士の間の変位量を示す動きベクトルを推定する動きベクトル推定部と、
前記画像検出部が、前記画像情報中から前記物体の動いている状態を示す画像を検出した場合に、前記動きベクトル推定部により推定された動きベクトルのうちの、前記物体の動いている状態を示す画像の領域に係わる動きベクトルを補正する動きベクトル補正部と、
前記動きベクトル推定部により推定された動きベクトルと、前記動きベクトル補正部により補正された動きベクトルとを用いて、前記入力された画像情報に高解像化処理を施す高解像化処理部と、
を有する画像表示装置。
【請求項１０】
入力された画像情報に、録画／再生処理を施す録画／再生処理部と、
前記録画／再生処理部により再生された画像情報に含まれる音声情報を出力する音声情報出力部と、
前記録画／再生処理部により再生された画像に対し、所定の信号処理を施す画像信号処理部と、
前記画像信号処理部から出力される画像情報を表示する表示部と、
を備え、
前記画像信号処理部が、
入力された画像情報中に、曲面形状を呈する部位を有する物体の動いている状態を示す画像が含まれているかどうか検出する画像検出部と、
入力された画像情報を構成する複数の画像フレーム間での、各画像フレーム中における対応する画素同士の間の変位量を示す動きベクトルを推定する動きベクトル推定部と、
前記画像検出部が、前記画像情報中から前記物体の動いている状態を示す画像を検出した場合に、前記動きベクトル推定部により推定された動きベクトルのうちの、前記物体の動いている状態を示す画像の領域に係わる動きベクトルを補正する動きベクトル補正部と、
前記動きベクトル推定部により推定された動きベクトルと、前記動きベクトル補正部により補正された動きベクトルとを用いて、前記入力された画像情報に高解像化処理を施す高解像化処理部と、
を有する録画／再生装置。
【請求項１１】
入力された画像情報中に、曲面形状を呈する部位を有する物体の動いている状態を示す画像が含まれているかどうか検出する第１のステップと、
入力された画像情報を構成する複数の画像フレーム間での、各画像フレーム中における対応する画素同士の間の変位量を示す動きベクトルを推定する第２のステップと、
前記第１のステップにおいて、前記画像情報中から前記物体の動いている状態を示す画像が検出された場合に、前記第２のステップにおいて推定された動きベクトルのうちの、前記物体の動いている状態を示す画像の領域に係わる動きベクトルを補正する第３のステップと、
前記第２のステップにおいて推定された動きベクトルと、前記第３のステップにおいて補正された動きベクトルとを用いて、前記入力された画像情報に高解像化処理を施す第４のステップと、
を備える画像情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像情報に超解像処理を施すための画像情報処理方法、及び装置に関する。
【背景技術】
【０００２】
従来、画像情報における時間方向の解像度を利用して、空間方向の解像度を補間する超解像処理の技術が知られている。該技術は、入力された低解像の画像情報を構成する複数枚の画像フレーム（低解像の画像フレーム）から、１枚の高解像化された画像フレームを合成するもので、低解像度画像を高解像度化（画像を拡大）しながら画素数を増加させていく技術である。該技術では、位置推定、広帯域補間、及び加重和の３つの処理を実行することにより低解像度画像の高解像度化が図られる。
【０００３】
位置推定処理とは、入力された複数枚の低解像の各画像フレームを用いて、各画像フレーム同士の間での、対応する画素のサンプリング位置（標本化位置）の差を推定するものである。実際の被写体では、平行移動のような単純な動きだけでなく、回転や拡大・縮小等の複雑な動きも伴うが、局所的な平行移動に近似させて取り扱われる。広帯域補間とは、各画像フレームを、その折返し成分をも含めて原信号（原画像情報）の高周波成分を全て透過する広帯域のローパスフィルタを用いて画素数（サンプリング点）を補間して増やし、画像フレーム中の画素の高密度化を図るものである。加重和の処理とは、高密度化された各画像フレームにおける各画素のサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた各画像フレームにおける折返し成分を打ち消し、除去するのと同時に原信号における高周波成分を復元するものである（例えば非特許文献１参照）。
【０００４】
【非特許文献１】青木  伸："複数のディジタル画像データによる超解像処理", Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した非特許文献１に開示されている手法では、複数の画像フレーム同士の間において、対応する画素間で小数精度での位置合わせが行われる。そのため、画像フレーム内における複数個の画素を１纏めにしたブロック単位での動きベクトルを使用して、画素単位での動きベクトルを算出する技術が採用されている。一般に、ブロックマッチングと領域相関等の複数の指標を使用して画像フレーム中から画素毎の動きベクトルを抽出した後、各画素における近隣の画素の動きベクトルに合わせて、自らの（各画素自身の）動きベクトルを補正するといったような、「ブロック推定」＋「近隣画素参照補正」から成る２段階の方式がしばしば用いられている。
【０００６】
上記手法に係わる画素単位の動きベクトル推定では、各画像フレーム中に遠景部分が比較的多い場合には問題は生じない。しかし、例えば、画像情報がディジタルテレビジョン放送（TV放送）に係わるものであって、至近距離にある人物の頭部を撮像したことにより、該頭部の画面に占める割合が大きい、所謂ワンショット、或いは、ツーショットと称されるようなシーンにおいて、上記頭部が少しでも動いたような場合には、該頭部領域に係わる動きベクトル推定が大幅に外れるという問題がしばしば生じる。
【０００７】
その原因は、以下のような事象にあると思料される。例えば、鉛直軸を回転軸として回転している地球儀のような三次元楕円体では、表面が略球面形状を呈するが故に、該三次元楕円体の画像の、二次面である画像フレーム上での動きは、該画像領域の外周側で小さく、中心軸寄りでは大きくなる。しかも、実際の三次元楕円体では、その表面上の点が水平方向に移動しているにも拘らず、該画像領域における各画素の動きは、湾曲しており、直線状ではない。
【０００８】
人物の頭部／顔も、上記三次元楕円体に近似できるので、人物の頭部／顔が略水平方向に回転しても、二次面である画像フレーム上に現れる該人物の頭部／顔の画像領域では、その中心部位の移動量は大きくなり、周辺部（外周部）の移動量は殆どゼロになるという現象が生じる。そのため、上記頭部／顔領域において検出される動きベクトルにおいて、誤った均一化が起こり易いという問題があった。
【０００９】
従って本発明の目的は、移動中の表面が湾曲した物体の画像が画像情報中に含まれている場合に、該画像情報を構成する画像フレームに現れる上記物体の画像領域に係わる動きベクトルの誤推定が頻発するのを抑制することで、上記物体の高精細な高解像化画像が得られるようにすることにある。
【課題を解決するための手段】
【００１０】
本発明の第１の観点に従う画像情報処理装置は、入力された画像情報中に、曲面形状を呈する部位を有する物体の動いている状態を示す画像が含まれているかどうか検出する画像検出部と、入力された画像情報を構成する複数の画像フレーム間での、各画像フレーム中における対応する画素同士の間の変位量を示す動きベクトルを推定する動きベクトル推定部と、上記画像検出部が、上記画像情報中から上記物体の動いている状態を示す画像を検出した場合に、上記動きベクトル推定部により推定された動きベクトルのうちの、上記物体の動いている状態を示す画像の領域に係わる動きベクトルを補正する動きベクトル補正部と、上記動きベクトル推定部により推定された動きベクトルと、上記動きベクトル補正部により補正された動きベクトルとを用いて、上記入力された画像情報に高解像化処理を施す高解像化処理部と、を備える。
【００１１】
本発明の第１の観点に係る好適な実施形態では、上記曲面形状を呈する部位を有する物体が、三次元楕円体を含む。
【００１２】
上記とは別の実施形態では、上記三次元楕円体が、人間の頭部／顔を含む。
【００１３】
また、上記とは別の実施形態では、上記動きベクトル推定部が、少なくとも２以上の時間的に隣接する画像フレーム同士の間において対応する画素同士の間の変位量を示す動きベクトルを推定する。
【００１４】
また、上記とは別の実施形態では、上記時間的に隣接する画像フレームが、リアルタイムで入力される画像フレームと、その画像フレームより１画像フレーム分前の画像フレームと、を含む。
【００１５】
また、上記とは別の実施形態では、上記動きベクトル補正部が、上記動きベクトル推定部により推定された上記物体の動いている状態を示す画像の領域に係わる動きベクトルを補正するのに必要な補正用動きベクトルを推定する補正用動きベクトル推定部、を更に備える。
【００１６】
また、上記とは別の実施形態では、上記補正用動きベクトル推定部が、予め設定されている上記物体の三次元モデルから上記補正用動きベクトルを推定する。
【００１７】
更に、上記とは別の実施形態では、上記物体の三次元モデルから推定される上記補正用動きベクトルが、上記三次元モデルを、入力された上記物体の動いている状態を示す画像の領域に適合するように変形する第１の処理と、第１の処理を経て変形された上記三次元モデルの姿勢を、上記画像の姿勢に適合するように調整する第２の処理とを経て得られる上記三次元モデルに基づくものである。
【００１８】
本発明の第２の観点に従う画像表示装置は、入力された画像情報に含まれる音声情報を出力する音声情報出力部と、入力された画像情報に対し、所定の信号処理を施す画像信号処理部と、上記画像信号処理部から出力される画像情報を表示する表示部と、を備え、上記画像信号処理部が、入力された画像情報中に、曲面形状を呈する部位を有する物体の動いている状態を示す画像が含まれているかどうか検出する画像検出部と、入力された画像情報を構成する複数の画像フレーム間での、各画像フレーム中における対応する画素同士の間の変位量を示す動きベクトルを推定する動きベクトル推定部と、上記画像検出部が、上記画像情報中から上記物体の動いている状態を示す画像を検出した場合に、上記動きベクトル推定部により推定された動きベクトルのうちの、上記物体の動いている状態を示す画像の領域に係わる動きベクトルを補正する動きベクトル補正部と、上記動きベクトル推定部により推定された動きベクトルと、上記動きベクトル補正部により補正された動きベクトルとを用いて、上記入力された画像情報に高解像化処理を施す高解像化処理部と、を有する。
【００１９】
本発明の第３の観点に従う録画／再生装置は、入力された画像情報に、録画／再生処理を施す録画／再生処理部と、上記録画／再生処理部により再生された画像情報に含まれる音声情報を出力する音声情報出力部と、上記録画／再生処理部により再生された画像に対し、所定の信号処理を施す画像信号処理部と、上記画像信号処理部から出力される画像情報を表示する表示部と、を備え、上記画像信号処理部が、入力された画像情報中に、曲面形状を呈する部位を有する物体の動いている状態を示す画像が含まれているかどうか検出する画像検出部と、入力された画像情報を構成する複数の画像フレーム間での、各画像フレーム中における対応する画素同士の間の変位量を示す動きベクトルを推定する動きベクトル推定部と、上記画像検出部が、上記画像情報中から上記物体の動いている状態を示す画像を検出した場合に、上記動きベクトル推定部により推定された動きベクトルのうちの、上記物体の動いている状態を示す画像の領域に係わる動きベクトルを補正する動きベクトル補正部と、上記動きベクトル推定部により推定された動きベクトルと、上記動きベクトル補正部により補正された動きベクトルとを用いて、上記入力された画像情報に高解像化処理を施す高解像化処理部と、を有する。
【００２０】
本発明の第４の観点に従う画像情報処理方法は、入力された画像情報中に、曲面形状を呈する部位を有する物体の動いている状態を示す画像が含まれているかどうか検出する第１のステップと、入力された画像情報を構成する複数の画像フレーム間での、各画像フレーム中における対応する画素同士の間の変位量を示す動きベクトルを推定する第２のステップと、上記第１のステップにおいて、上記画像情報中から上記物体の動いている状態を示す画像が検出された場合に、上記第２のステップにおいて推定された動きベクトルのうちの、上記物体の動いている状態を示す画像の領域に係わる動きベクトルを補正する第３のステップと、上記第２のステップにおいて推定された動きベクトルと、上記第３のステップにおいて補正された動きベクトルとを用いて、上記入力された画像情報に高解像化処理を施す第４のステップと、を備える。
【発明の効果】
【００２１】
本発明によれば、移動中の表面が湾曲した物体の画像が画像情報中に含まれている場合に、該画像情報を構成する画像フレームに現れる上記物体の画像領域に係わる動きベクトルの誤推定が頻発するのを抑制することで、上記物体の高精細な高解像化画像が得られるようにすることができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態を、図面により詳細に説明する。
【００２３】
図１は、本発明の一実施形態に係る画像表示装置の全体構成の一例を示す機能ブロック図である。
【００２４】
図１において、画像表示装置１００は、入力部１と、録画／再生処理部３と、画像信号処理部５と、表示部７と、コンテンツ蓄積部９と、音声出力部１１と、ユーザインタフェース部１３と、制御部１５と、を備える。本実施形態では、画像表示装置１００として、例えば、プラズマTV受像機、液晶TV受像機、電子管（ブラウン管）を備えたTV受像機、プロジェクタ、これら以外の表示デバイスを備えた装置の何れかが用いられる。
【００２５】
入力部１は、制御部１５の制御下で、テレビジョン（TV）放送局（図示しない）から送信されるディジタルTV信号（以下、「TV信号」と略記する。）等を含む放送波を入力する。入力部１は、上記（放送波に含まれる）TV信号に代えて、映像配信サーバ（図示しない）等から通信ネットワークを通じて送信される符号化画像信号をも入力する。ここで、符号化画像信号とは、所定の符号化方式で符号化された映像コンテンツ等を指す。上述したTV信号や、符号化画像信号は、入力部１から録画／再生処理部３へ出力される。本実施形態では、入力部１として、例えば、TV信号を含んだ放送波を受信するのに必要な（ディジタル）チューナを備えた構成のもの、通信ネットワークに接続するのに必要なLAN用コネクタを備えた構成のもの、USBコネクタを備えた構成のもの等が用いられる。
【００２６】
録画／再生処理部３は、制御部１５の制御下で、入力部１から出力される上記TV信号や、符号化画像信号に録画処理を施し、該録画されたTV信号や符号化画像信号を、コンテンツ蓄積部９へ格納する。録画／再生処理部３は、また、制御部１５の制御下で、コンテンツ蓄積部９に格納されている、録画されたTV信号や、符号化画像信号をコンテンツ蓄積部９から読み出して再生処理を施す。再生されたTV信号に含まれる画像信号や、符号化画像信号に含まれる画像信号については、録画／再生処理部３から画像信号処理部５へ出力される。一方、再生されたTV信号に含まれる音声信号や、符号化画像信号に含まれる音声信号については、録画／再生処理部３から音声出力部１１へ出力される。
【００２７】
コンテンツ蓄積部９は、制御部１５の制御下で、録画／再生処理部３により録画処理が施されたTV信号や符号化画像信号を、蓄積する。コンテンツ蓄積部９は、また、制御部１５の制御下で、録画／再生処理部３からの画像信号読み出し要求に応じて、蓄積している上記TV信号や符号化画像信号のうちから上記要求に対応するTV信号や符号化画像信号を、録画／再生処理部３に出力する。該TV信号や符号化画像信号は、録画／再生処理部３において再生処理が施される。本実施形態では、コンテンツ蓄積部９として、例えば、ハードディスクドライブ（HDD）、フラッシュメモリ、リムーバブルメディアディスクドライブの何れかが用いられる。
【００２８】
音声出力部１１は、制御部１５の制御下で、録画／再生処理部３から出力される音声信号をD/A変換することによって、アナログ形式の音声信号を生成し、該生成した音声信号を、画像表示装置１００外へ出力する。本実施形態では、音声出力部１１として、例えば、スピーカが用いられる。
【００２９】
画像信号処理部５は、制御部１５の制御下で、録画／再生処理部３から出力される画像信号（符号化画像信号）に対し、画像復号化処理、超解像処理、及びD/A変換処理を含む画像信号処理を施す。該画像信号処理が施された後の画像信号は、画像信号処理部５から表示部７へ出力される。画像信号処理部５における画像信号処理の詳細については、後述する。
【００３０】
表示部７は、制御部１５の制御下で、画像信号処理部５から出力されるアナログ形式の画像信号を、可視画像情報として表示する。本実施形態では、表示部７として、例えば、プラズマパネルモジュール、LCDモジュール、プロジェクタ用デバイスの何れかが用いられる。
【００３１】
ユーザインタフェース部１３には、ユーザが、画像表示装置１００を操作するのに必要な種々の指令信号を制御部１５に出力するために各種の操作キー（図示しない）が配置されている。ユーザが、上述した各種の操作キー（図示しない）を操作することにより、該操作キーに対応する指令信号が、ユーザインタフェース部１３から制御部１５へ出力される。
【００３２】
制御部１５は、入力部１、録画／再生処理部３、画像信号処理部５、表示部７、コンテンツ蓄積部９、及び音声出力部１１を、その制御下に置く。即ち、制御部１５は、ユーザインタフェース部１３を通じてユーザから与えられる操作指令に従って、画像表示装置１００を構成する上記各部の駆動を制御する。
【００３３】
図２は、図１に記載の画像表示装置１００が備える画像信号処理部５の内部構成の一例を示す機能ブロック図である。
【００３４】
上記画像信号処理部５は、図２に示すように、符号化データ入力部１７と、画像復号化部１９と、バッファ部２１と、超解像処理実行部２３と、画像出力部２５と、を備える。符号化データ入力部１７は、図１に記載の録画／再生処理部３から出力される画像信号（符号化画像信号）を受け付けて、画像復号化部１９へ出力する。画像復号化部１９は、符号化データ入力部１７から出力される画像信号（符号化画像信号）を入力して、該画像信号（符号化画像信号）に対し復号化処理を施すことにより、該画像信号（符号化画像信号）の復号画像を生成する。上記復号画像を構成する複数の画像フレームは、画像復号化部１９から超解像処理実行部２３、及びバッファ部２１に夫々順次出力される。
【００３５】
バッファ部２１は、画像復号化部１９からリアルタイムで出力される上記復号画像の画像フレームを順次読み込むと共に、該読み込んだ各々の画像フレームを、１画像フレーム分遅延させて超解像処理実行部２３へ出力する。即ち、バッファ部２１は、現時点（例えば、時刻t）で画像復号化部１９から超解像処理実行部２３に出力される画像フレームよりも１画像フレーム分過去の画像フレーム（例えば、時刻t−1で出力されるべき画像フレーム）を、超解像処理実行部２３へ出力する。
【００３６】
超解像処理実行部２３は、画像復号化部１９からリアルタイムで出力される画像フレーム（例えば、時刻tにおける画像フレーム）を入力する。超解像処理実行部２３は、該画像フレームと同期してバッファ部２１から出力される、該画像フレームよりも１画像フレーム分前の（過去の）画像フレーム（例えば、時刻t−1における画像フレーム）をも入力する。超解像処理実行部２３は、画像復号化部１９から出力される上記画像フレームと、バッファ部２１から出力される上記（１画像フレーム分前の）画像フレームとを用いて、所謂位置合わせ処理、及び高解像度化処理を含む超解像処理を実行する。該超解像処理が施された後の画像フレームは、超解像処理が施された画像信号として、超解像処理実行部２３から画像出力部２５に順次出力される。超解像処理実行部２３における超解像処理の詳細については、図３以下で説明する。
【００３７】
画像出力部２５は、超解像処理実行部２３から出力される上記画像信号（の各画像フレーム）をD/A変換することによって、アナログ形式の画像信号を生成し、該生成した画像信号を、表示部７に表示出力する。
【００３８】
図３は、図２に記載の画像信号処理部５が備える超解像処理実行部２３の内部構成の一例を示す機能ブロック図である。
【００３９】
上記超解像処理実行部２３は、図３に示すように、画素動きベクトル推定部２７と、動きベクトル補正部２９と、三次元モデルベース頭部動きベクトル推定部３１と、画像高解像化処理部３３と、を備える。画素動きベクトル推定部２７は、図２で示した画像復号化部１９からリアルタイムで出力される画像フレームと、同じく図２で示したバッファ部２１から出力される上記画像フレームよりも１画像フレーム分前の画像フレームと、を夫々入力する。ここで、画素動きベクトル推定部２７が、上記画像復号化部１９から時刻tで出力された画像フレーム（以下では、「画像フレーム（t）」と表記する。）と、該時刻tで上記バッファ部２１から出力された時刻t−1での画像フレーム（１画像フレーム分前の画像フレーム）（以下では、「画像フレーム（t−1）」と表記する。）との間で、動きベクトルの推定処理を行う場合を例にとって説明する。
【００４０】
即ち、画素動きベクトル推定部２７は、画像フレーム（t）と、画像フレーム（t−1）との間において、互いに対応関係にある画素同士の平面座標の間の差分（絶対）値を求め、該求めた差分（絶対）値に基づき、動きベクトルを推定する処理を実行する。この場合、上記画像フレーム中に、人間の頭部、若しくは顔に係わる画像領域（以下では、「頭部／顔画像領域」と表記する。）が存在していれば、上記推定された動きベクトルのうちの、該頭部／顔画像領域に含まれる動きベクトルについては、暫定的な動きベクトル（後に補正処理の対象になる動きベクトル）になる。該推定された動きベクトルは、画素動きベクトル推定部２７から動きベクトル補正部２９へ出力される。
【００４１】
三次元モデルベース頭部動きベクトル推定部３１は、図２で示した画像復号化部１９からリアルタイムで出力される各画像フレームを入力する。そして、該入力した画像フレーム中に、頭部／顔画像領域が存在しているかどうかチェックする。該チェックの結果、上記入力した画像フレーム中に頭部／顔画像領域が存在していれば、三次元モデルベース頭部動きベクトル推定部３１は、該頭部／顔画像領域の三次元方向への動きを推定すると共に、該推定に基づく動きベクトル（以下、「頭部動きベクトル」と表記する。）を、動きベクトル補正部２９へ出力する。三次元モデルベース頭部動きベクトル推定部３１における頭部／顔画像領域に係わる動きベクトル推定処理の詳細については、図４以下で説明する。
【００４２】
動きベクトル補正部２９は、画素動きベクトル推定部２７から出力される上記推定された動きベクトルを入力する。動きベクトル補正部２９は、また、三次元モデルベース頭部動きベクトル推定部３１から頭部動きベクトルが出力された場合には、該頭部動きベクトルをも入力する。三次元モデルベース頭部動きベクトル推定部３１から動きベクトル補正部２９へ頭部動きベクトルが出力されるのは、既述の内容から明らかなように、超解像処理実行部２３に入力された画像フレーム中に、頭部／顔画像領域が含まれている場合だけである。
【００４３】
動きベクトル補正部２９は、三次元モデルベース頭部動きベクトル推定部３１から出力される頭部動きベクトルを用いて、上記入力された画像フレーム中の頭部／顔画像領域に係わる動きベクトルの補正を実行する。動きベクトル補正部２９は、上記補正が施された後の頭部／顔画像領域に係わる動きベクトルと、上記入力された画像フレームにおける頭部／顔画像領域以外の領域に係わる動きベクトルと、を上記入力された画像フレームにおける確定的な動きベクトルとして、画像高解像化処理部３３へ出力する。動きベクトル補正部２９における頭部／顔画像領域に係わる暫定的な動きベクトルを補正して確定的な動きベクトルにするための処理動作の詳細については、図１２で説明する。
【００４４】
画像高解像化処理部３３は、図２で示した画像復号化部１９からリアルタイムで出力される画像フレーム（以下では、説明の都合上、上記リアルタイムで出力される画像フレームを、「画像フレーム（t）」で代表させる。）を入力する。画像高解像化処理部３３は、また、同じく図２で示したバッファ部２１から出力される上記画像フレームよりも１画像フレーム分前の画像フレーム（以下では、説明の都合上、上記１画像フレーム分前の画像フレームを、「画像フレーム（t−1）」で代表させる。）、をも入力する。画像高解像化処理部３３は、更に、動きベクトル補正部２９から出力される、上記確定的な動きベクトル、をも入力する。画像高解像化処理部３３は、上記画像フレーム（t）と、上記画像フレーム（t−1）と、上記確定的な動きベクトルとから、上記各画像フレーム（t）、（t−1）中の画像を高解像化するための処理を実行する。
【００４５】
この高解像化処理に際しては、まず、上記動きベクトルに基づき、上記画像フレーム（t−1）と、上記画像フレーム（t）とを位置合わせするための処理が実行される。次いで、上記画像フレーム（t−1）内の画素と、該画素に対応する上記画像フレーム（t）内の画素とに基づき、上記画像フレーム（t−1）と、上記画像フレーム（t）とをn倍（本実施形態においては、２倍）に拡大することにより生じる上記各画像フレーム（t−1）、（t）内における既存の画素同士の間の隙間を埋めるべき画素を生成する。そして、該生成した画素により、上記隙間を埋めるための処理が実行される。画像高解像化処理部３５において高解像化処理が施された後の各画像フレーム（t−1）、（t）は、画像高解像化処理部３５から図２で示した画像出力部２５へ出力される。
【００４６】
図４は、図３に記載の超解像処理実行部２３が備える三次元モデルベース頭部動き推定部３１の内部構成の一例を示す機能ブロック図である。
【００４７】
上記三次元モデルベース頭部動き推定部３１は、図４に示すように、頭部／顔領域検出部３５と、頭部三次元モデル当てはめ部３７と、バッファ部３９と、頭部三次元動き推定部４１と、頭部動きベクトル推定部４３と、を備える。頭部／顔領域検出部３５は、図２で示した画像復号化部１９からリアルタイムで出力される画像フレーム（ここでも、説明の都合上、上記リアルタイムで出力される画像フレームを、「画像フレーム（t）」で代表させる。）を読み込む。頭部／顔領域検出部３５は、上記読み込んだ画像フレーム（t）中に含まれる頭部／顔画像領域を検出する。該検出された頭部／顔画像領域は、頭部／顔領域検出部３５から頭部三次元モデル当てはめ部３７へ出力される。
【００４８】
頭部三次元モデル当てはめ部３７は、（人間の）頭部三次元モデル（に係わるデータ）（以下、「頭部三次元モデルデータ」と表記する。）を予め内蔵している。頭部三次元モデル当てはめ部３７は、頭部／顔領域検出部３５から出力された頭部／顔画像領域データを入力し、該データ中から上記頭部三次元モデルデータと照合するための特徴点を抽出するのに必要な処理を実行する。該処理により（上記頭部／顔画像領域データにおける）特徴点が抽出されると、頭部三次元モデル当てはめ部３７は、該特徴点と、内蔵する頭部三次元モデルデータとを照合することにより、（内蔵する）頭部三次元モデルデータを、上記頭部／顔画像領域データにフィットするように変形する。
【００４９】
頭部三次元モデル当てはめ部３７は、次に、該変形が施された後の頭部三次元モデルデータ（変形済み頭部三次元モデルデータ）の三次元空間における姿勢を、上記頭部／顔画像領域データにフィットするように決定する。この決定は、上記変形済み頭部三次元モデルデータと、上記頭部／顔画像領域データとに基づき、頭部三次元モデル当てはめ部３７が、所定の演算処理を実行することにより行われる。上記のようにして決定された姿勢に係わる情報（即ち、変形済み頭部三次元モデルデータの三次元空間における姿勢情報、以下では単に「姿勢情報」と略記する。）は、画像フレーム（t）における頭部三次元モデルデータの姿勢情報として、頭部三次元モデル当てはめ部３７から頭部三次元動き推定部４１、及びバッファ部３９に夫々出力される。
【００５０】
バッファ部３９は、頭部三次元モデル当てはめ部３７からリアルタイムで出力される画像フレーム（画像フレーム（t））に係わる姿勢情報を順次読み込むと共に、該読み込んだ各々の姿勢情報を、１画像フレーム分遅延させて頭部三次元動き推定部４１へ出力する。即ち、バッファ部３９は、現時点（例えば、時刻t）で頭部三次元モデル当てはめ部３７から頭部三次元動き推定部４１に出力される姿勢情報よりも１画像フレーム分過去の画像フレーム（例えば、時刻t−1で出力されるべき画像フレーム）に係わる姿勢情報を、頭部三次元動き推定部４１へ出力する。
【００５１】
頭部三次元動き推定部４１は、頭部三次元モデル当てはめ部３７からリアルタイムで出力される姿勢情報（例えば、時刻tにおける画像フレームに係わる姿勢情報）を入力する。頭部三次元動き推定部４１は、該姿勢情報と同期してバッファ部３９から出力される、該姿勢情報よりも１画像フレーム分前の（過去の）画像フレーム（例えば、時刻t−1における画像フレーム）に係わる姿勢情報をも入力する。頭部三次元動き推定部４１は、頭部三次元モデル当てはめ部３７から出力される上記姿勢情報と、バッファ部３９から出力される上記（１画像フレーム分前の）画像フレーム（t−1）に係わる姿勢情報とを用いて、上述した画像情報中における（人間の）頭部／顔画像の動きを推定するための処理を実行する。該処理により得られた（人間の）頭部／顔画像の動きに係わる推定情報は、頭部三次元動き推定部４１から頭部動きベクトル推定部４３へ出力される。
【００５２】
頭部動きベクトル推定部４３は、上記（人間の）頭部／顔画像領域の動きに係わる推定情報を入力すると、該推定情報に基づき、上記（人間の）頭部／顔画像領域に係わる動きベクトルを生成する。そして、生成した該（（人間の）頭部／顔画像領域に係わる）動きベクトルを、図３で示した動きベクトル補正部２９へ出力する。なお、上記画像フレーム（t）中の、上記（人間の）頭部／顔画像領域以外の画像領域（非頭部／顔画像領域）については、頭部動きベクトル推定部４３は、動きベクトルとしてゼロベクトルを、動きベクトル補正部２９へ出力することになる。
【００５３】
図５は、図３で示した超解像処理実行部２３において実行される位置合わせ処理、及び高解像化処理の原理を示す模式図である。
【００５４】
図５において、図５（ａ）で示す画像フレーム５１、５３、５５は、何れも図２に記載の画像復号化部１９から出力された低解像の画像フレームである。上記画像フレーム５１、５３、５５のうち、例えば、画像フレーム５５が画像復号化部１９からリアルタイムで超解像処理実行部２３に出力される画像フレーム（即ち、画像フレーム（t））であり、画像フレーム５３が、画像フレーム５５より１画像フレーム分前の画像フレーム（即ち、画像フレーム（t−1））であり、画像フレーム５１が画像フレーム５３より１画像フレーム分前の画像フレーム（即ち、画像フレーム（t−2））であるものとする。
【００５５】
上記各画像フレーム５１、５３、５５が超解像処理実行部２３に入力されると、図５（ｂ）で示すように、超解像処理実行部２３において、まず、上記各画像フレーム５１、５３、５５同士を重ね合わせるための処理（所謂位置合わせの処理）が実行される。即ち、上記各画像フレーム５１、５３、５５における同一画像がぴったり重なるように、上記各画像フレーム５１、５３、５５が位置合わせされる。この位置合わせに際しては、上記各画像フレーム５１、５３、５５において、上述した同一画像を構成する対応する各々の画素同士の間の位置ズレの大きさを示す動きベクトルが求められ、該求められた動きベクトルを利用して上記位置合わせの処理が行われる。
【００５６】
上記位置合わせにおいては、動きベクトルを利用することにより、対応する各々の画素同士の間における少数精度のズレを解消することが可能であるので、実質的にサンプリング周波数（即ち、１秒当たりの画像フレームの読み込み数）よりも高い周波数での位置合わせの処理が可能になる。よって、上記各画像フレーム５１、５３、５５が上記位置合わせを経て合成処理されることにより得られる画像フレームは、既存の画像フレームを単純にn倍に拡大し、それにより生じた既存の画素同士の間に生じる隙間に画素を埋め込むような手法により得られる画像フレームと比較して、高精細な画質を実現できる。上述した位置合わせの処理を実行し得るハードウェアとしては、例えば、図３で示した超解像処理実行部２３では、画素動きベクトル推定部２７が想到される。
【００５７】
図５（ｃ）で示す画像フレーム５７は、上述した手法を経て生成された高精細な画質を持つ高解像の画像フレームである。
【００５８】
図６は、画像フレームが、鉛直軸を回転軸として回転する三次元楕円体を含む画像フレームである場合の、該三次元楕円体を構成する各画素の動きの態様を示す模式図である。
【００５９】
図６において、図６（ａ）にて示す三次元楕円体（例えば、地球儀）が、その鉛直軸を回転軸として、図６（ｂ）で示すように、図の右側から図の左側に向かって回転しているものとする。この場合、実際の三次元楕円体では、回転角が同一であり、従って動きベクトルの値が同一であっても、平面画像（二次面画像）として画像フレーム上に現出する回転中の三次元楕円体の画像では、動きベクトルは、図６（ｂ）で示すように、該画像の辺縁部側ではより小さな値を示し、中心部側ではより大きな値を示すことになる。また、実際の三次元楕円体では、その表面上の各点は、該三次元楕円体の回転に伴って水平に移動するが、平面画像（二次面画像）として画像フレーム上に現出する回転中の三次元楕円体の画像では、上記各点に対応する各画素は、水平には移動しない。上記事象は、三次元楕円体の表面が略球面状に湾曲しているために生じるものである。
【００６０】
上記のような表面が略球面形状を呈し、且つ、運動状態にある物体の画像を含んだ画像フレームが入力された場合、従来の（表面が平面形状を呈する物体の画像に対してのみ有効な）動きベクトル検出手法では、上記のような画像から正確な動きベクトルを検出することができなかった。
【００６１】
図７は、図４で示した頭部三次元モデル当てはめ部３７における一連の処理動作を示す模式図である。
【００６２】
図７において、図７（ａ）で示す処理動作は、頭部／顔領域検出部３５において検出された画像フレーム６１中の頭部／顔画像領域６３と、内蔵されている頭部三次元モデルデータ６５とを照合する処理動作である。この処理動作に際しては、まず、上記頭部／顔画像領域６３中から、上記照合を行うのに必要な特徴点（図７（ａ）において、符号６３１〜符号６３ｎで示す。）の抽出が行われる。次に、上記抽出された各特徴点６３１〜６３ｎに夫々対応付けられる点６５１〜６５ｎの、上記頭部三次元モデルデータ６５中からの探索が行われる。
【００６３】
上述した処理動作が完了すると、次に、上記各特徴点６３１〜６３ｎと、上記頭部三次元モデルデータ６５とが照合され、上記頭部三次元モデルデータ６５が、上記頭部／顔画像領域６３にフィットするように変形される。そして、該変形が施された後の頭部三次元モデルデータ６５´の三次元空間における姿勢が、上記頭部／顔画像領域６３にフィットするように決定されることになる（図７（ｂ））。
【００６４】
図８は、本発明の一実施形態に係わる動きベクトル検出手法を適用して横を向いた頭部／顔画像領域から検出した画素別の動きベクトルと、従来の動きベクトル検出手法を適用して上記頭部／顔画像領域から検出した画素別の動きベクトルとの比較結果を示す模式図である。
【００６５】
例えば、図８（ａ）で示した頭部／顔画像領域６７を含む画像フレームが、図４で示した頭部／顔領域検出部３５に入力されたとする。これにより、三次元モデルベース頭部動きベクトル推定部３１から図３で示した動きベクトル補正部２９に出力される頭部動きベクトルによって、動きベクトル補正部２９から画像高解像化処理部３３に出力される各画素別の動きベクトルは、図８（ａ）で示した上記頭部／顔画像領域６７における各部位の回転量の大きさに応じた値になる（図８（ｂ））。
【００６６】
これに対し、従来の動きベクトル検出手法を適用して上記頭部／顔画像領域６７から検出した画素別の動きベクトルは、図８（ｃ）で示すように、図８（ａ）で示した上記頭部／顔画像領域６７における外周部分（頭部／顔の輪郭部分）ではゼロベクトル化された状態（動きがゼロの状態）で検出される。動きベクトルとして検出されるのは、エッジ部分（即ち、額、耳、眼、鼻、口）についての動きのみに限定される。
【００６７】
図９は、図３で示した超解像処理実行部２３を構成する各機能ブロックの処理動作の一例を示すフローチャートである。
【００６８】
図９において、まず、画素動きベクトル推定部２７が、（図２で示した）画像復号化部１９からリアルタイムで出力される画像フレーム（例えば、時刻tで出力される画像フレーム（t））と、（図２で示した）バッファ部２１から出力される、上記画像フレーム（t）より１画像フレーム前の画像フレーム（例えば、画像フレーム（t−1））とを読み込み、これら両画像フレーム同士の間において対応関係にある各画素毎の暫定的な動きベクトルを推定する（ステップS７１）。画素動きベクトル推定部２７による上記処理動作が完了すると、三次元モデルベース頭部動きベクトル推定部３１が、上記画像フレーム同士の間において頭部／顔画像領域における三次元方向への動きを推定し、該頭部／顔画像領域内における動きベクトルを算出する処理を実行する（ステップS７２）。
【００６９】
三次元モデルベース頭部動きベクトル推定部３１による上記処理動作が完了すると、動きベクトル補正部２９が、三次元モデルベース頭部動きベクトル推定部３１から出力された上記頭部／顔画像領域内における動きベクトルに基づき、画素動きベクトル推定部２７から出力された上記画像フレーム同士の間における各画素毎の暫定的な動きベクトルのうちの、上記頭部／顔画像領域内における暫定的な動きベクトルを補正する処理を実行する。そして、該補正が施された後の動きベクトルを、最終的な動きベクトルとして、画像高解像化処理部３３へ出力する（ステップS７３）。
【００７０】
動きベクトル補正部２９による上記処理動作が完了すると、画像高解像化処理部３３が、動きベクトル補正部２９から出力される、上記補正後の動きベクトルと、（図２で示した）画像復号化部１９からリアルタイムで出力される画像フレーム（即ち、画像フレーム（t））と、（図２で示した）バッファ部２１から出力される１画像フレーム前の画像フレーム（即ち、画像フレーム（t−1））とに基づき、所謂画像高解像化処理を実行する（ステップS７４）。これにより、図３で示した超解像処理実行部２３における一連の処理動作が終了する。
【００７１】
図１０は、図４で示した三次元モデルベース頭部動きベクトル推定部３１を構成する各機能ブロックの処理動作の一例を示すフローチャートである。
【００７２】
図１０において、まず、頭部／顔領域検出部３５が、図２で示した画像復号化部１９からリアルタイムで出力される画像フレーム（即ち、画像フレーム（t））を読み込み、該画像フレーム（t）中に含まれる頭部／顔画像領域を検出する。該検出された頭部／顔画像領域は、頭部／顔領域検出部３５から頭部三次元モデル当てはめ部３７へ出力される（ステップS８１）。頭部／顔領域検出部３５による上記処理動作が完了すると、頭部三次元モデル当てはめ部３７が、上記頭部／顔画像領域中から、内蔵している頭部三次元モデルデータと照合するための特徴点を抽出する処理を実行する（ステップS８２）。
【００７３】
上記処理動作が完了すると、頭部三次元モデル当てはめ部３７は、次に、抽出した特徴点と上記頭部三次元モデルデータとを照合することにより、上記頭部三次元モデルデータを、上記頭部／顔画像領域にフィットするように変形する処理を実行する。次いで、該変形が施された後の頭部三次元モデルデータの三次元空間における姿勢を、上記頭部／顔画像領域にフィットするように決定する処理を実行する（ステップS８３）。頭部三次元モデル当てはめ部３７による上記処理動作が完了すると、頭部三次元動き推定部４１が、頭部三次元モデル当てはめ部３７からリアルタイムで出力される画像フレーム（t）に係わる姿勢情報と、それと同期してバッファ部３９から出力される画像フレーム（t−1）に係わる姿勢情報とから、画像フレーム中の頭部／顔画像領域の動きを推定するための処理を実行する（ステップS８４）。
【００７４】
頭部三次元動き推定部４１による上記処理動作が完了すると、頭部動きベクトル推定部４３が、上記頭部／顔画像領域の動きに係わる推定情報に基づき、上記頭部／顔画像領域に係わる動きベクトルを生成し、図３で示した動きベクトル補正部２９へ出力する。なお、上記画像フレーム（t）中の、非頭部／顔画像領域については、ゼロベクトルを出力する（ステップS８５）。これにより、図４で示した三次元モデルベース頭部動きベクトル推定部３１における一連の処理動作が終了する。
【００７５】
図１１は、図３で示した動きベクトル補正部２９における処理動作の一例を示すフローチャートである。
【００７６】
図１１において、動きベクトル補正部２９は、時刻tで入力された画像フレーム（即ち、画像フレーム（t））を基準として、該画像フレーム内の左上隅に位置する画素から順に該画像フレーム内の全ての画素について、所謂ラスタスキャン順にステップS９２乃至ステップS９６で示す処理動作を実行する（ステップS９１）。即ち、動きベクトル補正部２９は、まず、画素動きベクトル推定部２７からの出力と、三次元モデルベース頭部動きベクトル推定部３１からの出力とに基づき、対象になる画素が画像フレーム中の非頭部／顔画像領域内に位置しているかどうかチェックする（ステップS９２）。
【００７７】
上記チェックの結果、上記対象になる画素が非頭部／顔画像領域内に位置していないと判断すると（ステップS９２でNO）、動きベクトル補正部２９は、画素動きベクトル推定部２７から出力される、上記対象になる画素に対応する暫定的な画素動きベクトルを、三次元モデルベース頭部動きベクトル推定部３１から出力される頭部動きベクトルに置換する処理を実行する（ステップS９６）。そして、該置換処理が完了すると、動きベクトル補正部２９は、上記頭部動きベクトルを、最終的な動きベクトルとして画像高解像化処理部３３へ出力する（ステップS９５）。
【００７８】
一方、上記チェックの結果、上記対象になる画素が非頭部／顔画像領域内に位置していると判断すると（ステップS９２でYES）、動きベクトル補正部２９は、画素動きベクトル推定部２７からの出力に基づき、上記対象になる画素に係わる画素動きベクトルが、画像フレーム（t−1）内の非頭部／顔画像領域内が起点になっているかどうかチェックする（ステップS９３）。該チェックの結果、上記画素動きベクトルが画像フレーム（t−1）内の非頭部／顔画像領域内が起点になっていると判断すれば（ステップS９３でYES）、直ちに、ステップS９５で示した処理動作に移行する。
【００７９】
一方、該チェックの結果、上記画素動きベクトルが画像フレーム（t−1）内の非頭部／顔画像領域内が起点になっていないと判断すれば（ステップS９３でNO）、上記画素動きベクトルが非頭部／顔画像領域内が起点になるよう、動きベクトルの再検出を行い（ステップS９４）、ステップS９５で示した処理動作に移行する。
【００８０】
図１２は、本発明の他の実施形態に係る録画／再生装置の全体構成の一例を示す機能ブロック図である。
【００８１】
図１２で示す録画／再生装置２００も、図１で示した画像表示装置１００と略同様の構成を備えているので、以下では、図１で示した物と同一物には同一符号を付す。即ち、上記録画／再生装置２００は、入力部１と、録画／再生処理部３と、画像信号処理部５と、コンテンツ蓄積部９と、音声出力部１１と、ユーザインタフェース部１３と、制御部１５と、画像映像出力部９７と、を備える。
【００８２】
上記各部のうち、入力部１乃至制御部１５に係わる構成については、夫々図１で示した物と同一であるので、詳細な説明を省略する。録画／再生装置２００に含まれる画像信号処理部５も、画像表示装置１００に含まれる画像信号処理部５が備える内部構成と同一の内部構成（図２乃至図４で詳細に説明した。）を備えている。なお、画像映像出力部９７は、制御部１５の制御下で、画像信号処理部５から出力されるアナログ形式の画像信号を、例えば、プラズマパネルモジュール、LCDモジュール、プロジェクタ用デバイスの何れかが用いられる表示機器（図示しない）へ出力する。
【００８３】
以上、本発明の好適な実施形態を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。
【図面の簡単な説明】
【００８４】
【図１】本発明の一実施形態に係る画像表示装置の全体構成の一例を示す機能ブロック図。
【図２】図１に記載した画像表示装置が備える画像信号処理部の内部構成の一例を示す機能ブロック図。
【図３】図２に記載した画像信号処理部が備える超解像処理実行部の内部構成の一例を示す機能ブロック図。
【図４】図３に記載した超解像処理実行部が備える三次元モデルベース頭部動き推定部の内部構成の一例を示す機能ブロック図。
【図５】図３で示した超解像処理実行部において実行される位置合わせ処理、及び高解像化処理の原理を示す模式図。
【図６】画像フレームが、鉛直軸を回転軸として回転する三次元楕円体を含む画像フレームである場合の、該三次元楕円体を構成する各画素の動きの態様を示す模式図。
【図７】図４で示した頭部三次元モデル当てはめ部における一連の処理動作を示す模式図。
【図８】本発明の一実施形態に係わる動きベクトル検出手法を適用して横を向いた頭部／顔画像領域から検出した画素別の動きベクトルと、従来の動きベクトル検出手法を適用して上記頭部／顔画像領域から検出した画素別の動きベクトルとの比較結果を示す模式図。
【図９】図３で示した超解像処理実行部を構成する各機能ブロックの処理動作の一例を示すフローチャート。
【図１０】図４で示した三次元モデルベース頭部動きベクトル推定部を構成する各機能ブロックの処理動作の一例を示すフローチャート。
【図１１】図３で示した動きベクトル補正部における処理動作の一例を示すフローチャート。
【図１２】本発明の他の実施形態に係る録画／再生装置の全体構成の一例を示す機能ブロック図。
【符号の説明】
【００８５】
１  入力部
３  録画／再生処理部
５  画像信号処理部
７  表示部
９  コンテンツ蓄積部
１１  音声出力部
１３  ユーザインタフェース部
１５  制御部
１７  符号化データ入力部
１９  画像復号化部
２１、３９  バッファ部
２３  超解像処理実行部
２５  画像出力部
２７  画素動きベクトル推定部
２９  動きベクトル補正部
３１  三次元モデルベース頭部動きベクトル推定部
３３  画像高解像化処理部
３５  頭部／顔領域検出部
３７  頭部三次元モデル当てはめ部
４１  頭部三次元動き推定部
４３  頭部動きベクトル推定部
９７  画像映像出力部
１００  画像表示装置
２００  録画／再生装置
【図１】
2010002982.tif 000003
【図２】
2010002982.tif 000004
【図３】
2010002982.tif 000005
【図４】
2010002982.tif 000006
【図５】
2010002982.tif 000007
【図６】
2010002982.tif 000008
【図７】
2010002982.tif 000009
【図８】
2010002982.tif 000010
【図９】
2010002982.tif 000011
【図１０】
2010002982.tif 000012
【図１１】
2010002982.tif 000013
【図１２】
2010002982.tif 000014