(57)【要約】【課題】  周波数基盤の映像モデルを用いた映像復元方法およびシステムを提供する。【解決手段】  原本映像を周波数帯域に変換して変換映像を生成し、変換映像を、復元映像が拡張されてブロックで分けられた映像のうちのいずれか１つの領域に複写し、いずれか１つの領域に複写された変換映像を用いて、いずれか１つの領域の除いた残りのブロック領域の高周波成分を推定して復元する。【選択図】      図１
2009169932.tif 000002
【特許請求の範囲】
【請求項１】
原本映像を周波数帯域に変換して変換映像を生成する段階と、
前記変換映像を、前記原本映像が拡張されてブロックで分けられた領域のうちのいずれか１つの領域に複写する段階と、
前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階と、
を含むことを特徴とする周波数基盤の映像モデルを用いた映像復元方法。
【請求項２】
前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階は、
前記変換映像の低周波成分を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階であることを特徴とする請求項１に記載の周波数基盤の映像モデルを用いた映像復元方法。
【請求項３】
前記周波数帯域に変換された原本映像を、ブロックで分けられた拡張された領域に複写するときに発生する周波数歪曲ノイズを除去する段階、
をさらに含むことを特徴とする請求項１に記載の周波数基盤の映像モデルを用いた映像復元方法。
【請求項４】
前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階は、
前記変換映像の入力ベクトルと最も類似した値をデータベースから検索して探し出した情報に基づいて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階であることを特徴とする請求項１に記載の周波数基盤の映像モデルを用いた映像復元方法。
【請求項５】
前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階は、
前記変換映像を基準として水平方向に位置するブロック領域の高周波成分を推定して復元する段階と、
前記変換映像を基準として垂直方向に位置するブロック領域の高周波成分を推定して復元する段階と、
前記水平方向および垂直方向に位置するブロック領域の高周波成分を用いて、前記変換映像を基準として対角線方向に位置するブロック領域の高周波成分を推定して復元する段階と、
を含むことを特徴とする請求項１に記載の周波数基盤の映像モデルを用いた映像復元方法。
【請求項６】
基底ベクトルまたは顔モデルのうちの少なくともいずれか１つを異にし、前記復元されたブロック領域を用いて残りのブロック領域の高周波成分を推定して復元する段階、
をさらに含むことを特徴とする請求項１に記載の周波数基盤の映像モデルを用いた映像復元方法。
【請求項７】
前記基底ベクトルまたは顔モデルのうちの少なくともいずれか１つを異にし、前記復元されたブロック領域を用いて残りのブロック領域の高周波成分を推定して復元する段階は、
前記変換映像を基準として水平方向に位置するブロック領域の高周波成分を推定して復元する段階と、
前記変換映像を基準として垂直方向に位置するブロック領域の高周波成分を推定して復元する段階と、
前記水平方向および垂直方向に位置するブロック領域の高周波成分を用いて、前記変換映像を基準として対角線方向に位置するブロック領域の高周波成分を推定して復元する段階と、
を含むことを特徴とする請求項６に記載の周波数基盤の映像モデルを用いた映像復元方法。
【請求項８】
請求項１ないし７のいずれか一項の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項９】
原本映像を周波数帯域に変換して変換映像を生成する映像変換部と、
前記変換映像を、前記原本映像が拡張されてブロックで分けられた領域のうちのいずれか１つの領域に複写する映像複写部と、
前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する映像復元部と、
を含むことを特徴とする周波数基盤の映像モデルを用いた映像復元システム。
【請求項１０】
前記映像復元部は、
前記変換映像の低周波成分を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元することを特徴とする請求項９に記載の周波数基盤の映像モデルを用いた映像復元システム。
【請求項１１】
前記周波数帯域に変換された原本映像を、ブロックで分けられた拡張された領域から複写するときに発生する周波数歪曲ノイズを除去するノイズ除去部、
をさらに含むことを特徴とする請求項９に記載の周波数基盤の映像モデルを用いた映像復元システム。
【請求項１２】
前記映像復元部は、
前記変換映像の入力ベクトルと最も類似した値をデータベースから検索して探し出した情報に基づいて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元することを特徴とする請求項９に記載の周波数基盤の映像モデルを用いた映像復元システム。
【請求項１３】
前記映像復元部は、
前記変換映像を基準として水平方向に位置するブロック領域の高周波成分を推定して復元し、
前記変換映像を基準として垂直方向に位置するブロック領域の高周波成分を推定して復元し、
前記水平方向および垂直方向に位置するブロック領域の高周波成分を用いて、前記変換映像を基準として対角線方向に位置するブロック領域の高周波成分を推定して復元することを特徴とする請求項９に記載の周波数基盤の映像モデルを用いた映像復元システム。
【請求項１４】
前記映像復元部は、
基底ベクトルまたは顔モデルのうちの少なくともいずれか１つを異にし、前記復元されたブロック領域を用いて残りのブロック領域の高周波成分を推定して復元することを特徴とする請求項９に記載の周波数基盤の映像モデルを用いた映像復元システム。
【請求項１５】
前記映像復元部は、
前記変換映像を基準として水平方向に位置するブロック領域の高周波成分を推定して復元し、
前記変換映像を基準として垂直方向に位置するブロック領域の高周波成分を推定して復元し、
前記水平方向および垂直方向に位置するブロック領域の高周波成分を用いて、前記変換映像を基準として対角線方向に位置するブロック領域の高周波成分を推定して復元することを特徴とする請求項１４に記載の周波数基盤の映像モデルを用いた映像復元システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周波数基盤の映像モデルを用いた映像復元方法およびシステムに関し、より詳細には、低解像度映像から高解像度映像を復元することができる周波数基盤の映像モデルを用いた映像復元方法およびシステムに関する。
【背景技術】
【０００２】
低解像度の映像を高解像度に復元する技術は、例えば、保安映像に写った人の顔が小さくて識別が不可能である場合に、高解像度に復元して身元を把握する装置、デジタルテレビで受信された低解像度の放送映像を高解像度に復元する装置、軍衛星が撮影した写真を拡大する装置などに用いられている。また、デジタルカメラでは、デジタルカメラで撮影したイメージのうち、ユーザが所望する部分を拡大しようとする場合にも、このような低解像度の映像を高解像度に復元する方式が用いられている。
【０００３】
超解像度復元方式とは、基本的に、複数の低解像度映像のそれぞれの低解像度映像ピクセル（画素）を用いて、１枚の高解像度映像を復元する方式を意味するものである。このような方法は、高解像度映像に復元するときに、不足なピクセル情報を複数の他の低解像度映像で補充する方式を用いている。このような高解像度方式の代表的なものとしては、シュルツ方式（Ｓｃｈｕｌｔｚ’ｓ  Ｍｅｔｈｏｄ）がある。このシュルツ方式は、テレビを視聴するときに、映像の画質を改善して鮮明な画面を見るための方法として用いられている。基本的に、低解像度映像は、周知の補間方式（例えば、バイキュービック（ｂｉｃｕｂｉｃ）など）を用いて所望するサイズに拡大し、拡大された領域で不足な部分は、複数の低解像度映像に基づき、ベイズ均衡（Ｂａｙｅｓｉａｎ  Ｒｕｌｅ）を用いて復元を実行する。
【特許文献１】韓国公開特許第２０００−００５６６４３号公報
【特許文献２】韓国公開特許第２００６−００９８８１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、前記のような従来技術を改善するために案出されたものであって、保安カメラが遠距離から顔映像を撮影し、撮影された顔映像を用いて身元確認が困難である場合でも、低解像度の顔映像から高解像度の顔映像を復元できるようにすることを目的とする。
【０００５】
また、本発明は、ノイズに強く、入力映像の特性変化に強靭であり、従来の方式で示されていたブロック間の不連続性を解消するとともに順次に高周波成分を推論し、質の高い高解像度映像を復元できるようにすることを他の目的とする。
【課題を解決するための手段】
【０００６】
前記の目的を達成し、従来技術の問題点を解決するために、本発明の一実施形態に係る周波数基盤の映像モデルを用いた映像復元方法は、原本映像を周波数帯域に変換して変換映像を生成する段階と、前記変換映像を、前記原本映像が拡張されてブロックで分けられた領域のうちのいずれか１つの領域に複写する段階と、前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階とを含む。
【０００７】
本発明の他の一側面によれば、前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階は、前記変換映像の低周波成分を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階である。
【０００８】
本発明のさらに他の一側面によれば、前記周波数帯域に変換された原本映像を、ブロックで分けられた拡張された領域に複写するときに発生する周波数歪曲ノイズを除去する段階をさらに含む。
【０００９】
本発明のさらに他の一側面によれば、前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階は、前記変換映像の入力ベクトルと最も類似した値をデータベースから検索して探し出した情報に基づいて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階である。
【００１０】
本発明のさらに他の一側面によれば、前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する段階は、前記変換映像を基準として水平方向に位置するブロック領域の高周波成分を推定して復元する段階と、前記変換映像を基準として垂直方向に位置するブロック領域の高周波成分を推定して復元する段階と、前記水平方向および垂直方向に位置するブロック領域の高周波成分を用いて、前記変換映像を基準として対角線方向に位置するブロック領域の高周波成分を推定して復元する段階とを含む。
【００１１】
本発明のさらに他の一側面によれば、基底ベクトルまたは顔モデルのうちの少なくともいずれか１つを異にし、前記復元されたブロック領域を用いて残りのブロック領域の高周波成分を推定して復元する段階をさらに含む。
【００１２】
本発明のさらに他の一側面によれば、前記基底ベクトルまたは顔モデルのうちの少なくともいずれか１つを異にし、前記復元されたブロック領域を用いて残りのブロック領域の高周波成分を推定して復元する段階は、前記変換映像を基準として水平方向に位置するブロック領域の高周波成分を推定して復元する段階と、前記変換映像を基準として垂直方向に位置するブロック領域の高周波成分を推定して復元する段階と、前記水平方向および垂直方向に位置するブロック領域の高周波成分を用いて、前記変換映像を基準として対角線方向に位置するブロック領域の高周波成分を推定して復元する段階とを含む。
【００１３】
また、本発明の一側面に係るコンピュータ読取可能な記録媒体は、前記のような方法のうちのいずれか１つの方法を実行するためのプログラムを記録している。
【００１４】
また、本発明の他の実施形態に係る周波数基盤の映像モデルを用いた映像復元システムは、原本映像を周波数帯域に変換して変換映像を生成する映像変換部と、前記変換映像を、前記原本映像が拡張されてブロックで分けられた領域のうちのいずれか１つの領域に複写する映像複写部と、前記いずれか１つの領域に複写された変換映像を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する映像復元部とを含む。
【００１５】
本発明の他の一側面によれば、前記映像復元部は、前記変換映像の低周波成分を用いて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する。
【００１６】
本発明のさらに他の一側面によれば、前記周波数帯域に変換された原本映像を、ブロックで分けられた拡張された領域に複写するときに発生する周波数歪曲ノイズを除去するノイズ除去部をさらに含む。
【００１７】
本発明のさらに他の一側面によれば、前記映像復元部は、前記変換映像の入力ベクトルと最も類似した値をデータベースから検索して探し出した情報に基づいて、前記いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する。
【００１８】
本発明のさらに他の一側面によれば、前記映像復元部は、前記変換映像を基準として水平方向に位置するブロック領域の高周波成分を推定して復元し、前記変換映像を基準として垂直方向に位置するブロック領域の高周波成分を推定して復元し、前記水平方向および垂直方向に位置するブロック領域の高周波成分を用いて、前記変換映像を基準として対角線方向に位置するブロック領域の高周波成分を推定して復元する。
【００１９】
本発明のさらに他の一側面によれば、前記映像復元部は、基底ベクトルまたは顔モデルのうちの少なくともいずれか１つを異にし、前記復元されたブロック領域を用いて残りのブロック領域の高周波成分を推定して復元する。
【００２０】
本発明のさらに他の一側によれば、前記映像復元部は、前記変換映像を基準として水平方向に位置するブロック領域の高周波成分を推定して復元し、前記変換映像を基準として垂直方向に位置するブロック領域の高周波成分を推定して復元し、前記水平方向および垂直方向に位置するブロック領域の高周波成分を用いて、前記変換映像を基準として対角線方向に位置するブロック領域の高周波成分を推定して復元する。
【発明の効果】
【００２１】
本発明によれば、保安カメラが遠距離から顔映像を撮影し、撮影された顔映像を用いて身元確認が困難である場合でも、低解像度の顔映像から高解像度の顔映像を復元できるようにする効果がある。
【００２２】
また、本発明によれば、ノイズに強く、入力映像の特性変化に強靭であり、従来の方式で示されていたブロック間の不連続性を解消するとともに順次に高周波成分を推論し、質の高い高解像度映像を復元できるようにする効果がある。
【発明を実施するための最良の形態】
【００２３】
以下、添付の図面に基づき、本発明の好適な実施の形態を詳細に説明するが、本発明がこれらの実施形態によって制限または限定されることはない。図中、同じ参照符号は同じ部材を示す。
【００２４】
図１は、本発明に係る周波数基盤の映像モデルを用いた映像復元方法を概念的に示した図である。図１は、映像を周波数帯域に転換して順次に復元する過程を説明している。
【００２５】
すなわち、本発明の一実施形態に係る映像復元方法は、図１に示されたように、映像自体をブロックで分けるのではなく、離散コサイン変換（ＤＣＴ）あるいはフーリエ転換などを用いて映像を周波数帯域に変換した後に、周波数帯域をブロックで分けて復元するのである。このとき、入力映像を低周波成分であると仮定し、残りの高周波成分を順次に復元するようになる。
【００２６】
図１を参照しながらより詳細に説明すれば、入力映像１０１を周波数帯域に変換１０２した後に、周波数帯域を拡大１０３、１０４する。この後、基準ブロックから水平方向への周波数帯域推定１０５、１０６と、垂直方向への周波数帯域推定１０７、１０８とを実施し、より原本映像に近い映像１０９、１１０を得る。
【００２７】
この後、水平方向への周波数帯域推定および垂直方向への周波数帯域推定に基づいて、基本ブロックから対角線方向への周波数帯域推定１１１、１１２を実施する。最終的に、残りのブロックの周波数帯域推定１１３、１１４を実施することによって、最終推定映像を生成して復元が完了する。
【００２８】
図２は、本発明の一実施形態に係る映像復元システムの構造を示した図である。以下、図２を参照しながら、本発明の一実施形態に係る映像復元システムの構成について説明する。
【００２９】
図２に示されたように、本発明の一実施形態に係る映像復元システム２００は、映像変換部２１０と、映像複写部２２０と、ノイズ除去部２３０と、映像復元部２４０とを含んで構成される。
【００３０】
映像変換部２１０は、原本映像を周波数帯域に変換して変換映像を生成する。このとき、映像複写部２２０は、変換映像を、原本映像が拡張されてブロックで分けられた領域のうちのいずれか１つの領域に複写する。
【００３１】
ノイズ除去部２３０は、周波数帯域に変換された原本映像を、ブロックで分けられた拡張された領域に複写するときに発生する周波数歪曲ノイズを除去する。
【００３２】
映像復元部２４０は、いずれか１つの領域に複写された変換映像を用いて、いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元する。
【００３３】
また、映像復元部２４０は、変換映像の低周波成分を用いて、いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元することができる。
【００３４】
このとき、映像復元部２４０は、変換映像の入力ベクトルと最も類似した値をデータベースから検索して探し出した情報に基づいて、いずれか１つの領域を除いた残りのブロック領域の高周波成分を推定して復元することができる。
【００３５】
また、映像復元部２４０は、変換映像を基準として水平方向に位置するブロック領域の高周波成分を推定して復元し、変換映像を基準として垂直方向に位置するブロック領域の高周波成分を推定して復元し、水平方向および垂直方向に位置するブロック領域の高周波成分を用いて、変換映像を基準として対角線方向に位置するブロック領域の高周波成分を推定して復元することができる。
【００３６】
さらに、映像復元部２４０は、基底ベクトルまたは顔モデルのうちの少なくともいずれか１つを異にし、復元されたブロック領域を用いて、残りのブロック領域の高周波成分を推定して復元することができる。このような過程を介して、基準ブロックに隣接するブロックおよび対角線に位置するブロックだけではなく、映像のより広い残りの部分のブロックを推定して復元すことができる。
【００３７】
図３は、本発明の一実施形態に係る周波数基盤の映像モデルを用いた映像復元方法を説明するためのフローチャートである。図３を参照しながら、本発明の一実施形態に係る周波数基盤の映像モデルを用いた映像復元方法について説明する。
【００３８】
図３に示されたように、原本映像が入力されれば（段階Ｓ３１０）、原本映像を周波数帯域に変換して変換映像を生成する（段階Ｓ３２０）。
【００３９】
このとき、原本映像は、低解像度映像（Ｌｏｗ−Ｒｅｓｏｌｕｔｉｏｎ  ｉｍａｇｅ）であり、映像のサイズおよび拡大比率が分かれば、予め生成された顔モデルを選択することができる。また、原本映像の周波数帯域変換は、ＤＣＴあるいはフーリエ転換などによって、空間領域にある低解像度映像が周波数領域に変換するようになる。
【００４０】
この後に、周波数帯域を拡大する（段階Ｓ３２５）。すなわち、拡大比率に合わせてゼロマトリクス（Ｚｅｒｏ  Ｍａｔｒｉｘ）を生成し、周波数帯域に変換された値を複写するようになる。例えば、図６に示されたように、４倍拡大６１０を目標にして入力映像が３２×２４である場合に、その４倍に該当する１２８×９６ゼロマトリクスを生成するようになる。この後、生成された低周波数領域を、３２×２４ゼロマトリクスの低周波数位置に複写するようになる（６２０）。
【００４１】
このときに、低周波成分だけの値があり、残りの部分には値がないため、ノイズが発生する恐れがある。したがって、このような周波数領域における映像拡大のときに発生するノイズを除去するための前処理過程を行うようになる（段階Ｓ３３０）。
【００４２】
すなわち、図７に示されたように、周波数領域における映像拡大７１０のときに発生するノイズを除去７２０するようになるのである。
【００４３】
低周波成分を拡大された領域にすぐに複写する場合には、図８に示された前処理を行っていない映像８３０のようなノイズが発生するため、本発明の一実施形態では、学習用顔データを用いて、このようなノイズを除去する変換マトリクスを生成する。
【００４４】
図８に示されたように、低解像度映像情報だけで拡大された映像８３０と、原本映像から入力映像と同じ低周波数成分だけを抽出した映像との場合には、映像特性が互いに異なることを知ることができる。
【００４５】
このような特性変化を、低解像度入力映像の場合にはｘで表記し、原本映像から低周波数成分のみを取り出したものをｙで表記すれば、図８に示されたグラフのように分布される。すなわち、低解像度入力映像の分散をＸマトリクスで現し、ノイズがない原本映像の低解像度部分をＹマトリクスで表記すれば、その変換マトリクスは、「ＳＶＤ」を用いて下記の数式（１）のように表記することができる。
【００４６】
【数１】
2009169932.tif 000003
【００４７】
前記の数式（１）を用いて変換マトリクスを生成するようになれば、新たな入力が入って来る場合に、そのノイズを除去したその出力値を、下記の数式（２）を用いて生成することができる。
【００４８】
【数２】
2009169932.tif 000004
【００４９】
図８に示されたように、前処理過程後の映像８６０は、前処理過程なしに生成された映像８３０に比べて、目領域から格子形状のノイズが除去されたことを確認することができる。
【００５０】
この後に、第１周波数帯域推定および第２周波数帯域推定を経て映像を復元することができる（段階Ｓ３４０、段階Ｓ３５０）。
【００５１】
図４は、本発明の一実施形態に係る第１周波数帯域の推定方法を説明するためのフローチャートである。図４を参照しながら、本発明の一実施形態に係る第１周波数帯域の推定方法について説明する。
【００５２】
ノイズを除去した後には、図９に示されたように、基準ブロック９１１から水平方向９１２への周波数帯域推定を実施し（段階Ｓ４１０）、図１０に示されたように、基準ブロック１０１１から垂直方向１０１２への周波数帯域推定を実施した後（段階Ｓ４２０）に、水平および垂直側への周波数帯域を推定した結果１１１１を用いて、基準ブロック９１１、１０１１から対角線方向１１１２への周波数帯域を推定するようになる（段階Ｓ４３０）。
【００５３】
このような周波数帯域を用いた推定による映像９２０、１０２０、１１２０の差を確認することができ、特に、映像９２０、１０２０、１１２０の目部位を拡大した映像９３０、１０３０、１１３０から、より確実な差を確認することができる。
【００５４】
こののような推定方法をより詳しく説明すれば、次の通りとなる。
【００５５】
低周波入力を用いて周辺にある高周波成分を推定する方法は、入力ベクトルと最も類似した値をトレーニングデータベースから検索し、検索されたペアセットを用いて高周波情報を復元するようになる。すなわち、図１２に示されたように、顔モデルの低解像度部分とこれに該当する周辺周波数情報を１つのペアとして顔モデルを構成するようになる。このとき、入力が入って来るようになれば、その入力と最も類似したペアセットをトレーニングデータベースから検索し、検索されたセットから高周波成分を複写して作業が終了する。
【００５６】
図１２に示されたように、復元されたｂ００を用いてｂ０１とｂ１０をトレーニングデータベースで復元する過程において、下記の数式（３）を用いてｘ００値を抽出する。このとき、Ｕ００は、原本映像のｂ００領域のみを用いて主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）を実行した結果である。すなわち、ｂ００の基底ベクトルを生成した後、その係数値を出力として得る過程である。このような基底ベクトル投影過程は、現段階では大きな役割を果たさないが、ｂ００、ｂ０１、ｂ１０を合わせたｂ０００１１０を用いてＢ１１を推論する過程では、各値を線形的に加えた係数値によって出力するため、より優れた性能を類推することができる。
【００５７】
【数３】
2009169932.tif 000005
【００５８】
顔モデルは、トレーニングセットのＵ００投影係数値と、周辺高周波数値ｂ０１またはｂ１０でペアセットで構成されており、ｂ０１を類推するモデルであるＦ００は、下記の数式（４）の通りである。
【００５９】
【数４】
2009169932.tif 000006
【００６０】
顔モデルと入力値の類似度の比較は、Ｌ１、Ｌ２ディスタンス（Ｄｉｓｔａｎｃｅ）などを用いて、近似度が最も高い値を類推するようになる。このような過程については、図１３を参照しながら詳細に説明する。
【００６１】
図１３は、ｂ０１（図面符号１３２０）、ｂ１０（図面符号１３３０）を類推（推定）した後に、ｂ１１（図面符号１３４０）を推定する過程を図式化したものである。図１３に示されたように、ｂ１１（図面符号１３４０）の場合に、既に類推されたｂ０１（図面符号１３２０）、ｂ１０（図面符号１３３０）を用いてその値を推定する。すなわち、推定されたｂ０１（図面符号１３２０）およびｂ１０（図面符号１３３０）値を活用して、効果的にｂ１１（図面符号１３４０）の高周波数値を類推するのである。ｂ０００１１０をｂ００、ｂ０１、ｂ１０で成されたベクトルであると仮定すれば、前記のように実行された基底ベクトル投影および顔モデルの構成のときに、個別の周波数バンド（Ｆｒｅｑｕｅｎｃｙ  Ｂａｎｄ）ではなく、３つのバンドの合計であるｂ０００１１０を活用してシステムを構成することができる。これについては、数式（５）に示された通りである。ここで、参考までに、本明細書上において、類推および推定という用語は、同一か類似した意味で用いられている。
【００６２】
【数５】
2009169932.tif 000007
【００６３】
この場合に、係数は、ｂ００、ｂ０１、ｂ１０と最も良く調和することができる値で顔モデルを構成するようになり、その最終結果を採択するようになる。
【００６４】
図５は、本発明の一実施形態に係る第２周波数帯域の推定方法を説明するためのフローチャートである。図５を参照しながら、本発明の一実施形態に係る第２周波数帯域の推定方法について説明する。
【００６５】
図１４に示されたように、４つのブロックで構成された基準ブロック１４１１から水平方向１４１２への周波数帯域推定を実施し（段階Ｓ５１０）、図１５に示されたように、４つのブロックで構成された基準ブロック１４１１から垂直方向１５１２への周波数帯域推定を実施した後（段階Ｓ５２０）に、水平および垂直方向への周波数帯域を推定した結果１６１１を用いて、基準ブロック１４１１、１５１１から対角線方向１６１２への周波数帯域を推定するようになる（段階Ｓ５３０）。
【００６６】
図４における第１周波数帯域の推定方法に基づいて、図１７に示されたように、抽出された情報Ｂ００（図面符号１７１０）で整合した後に、第１周波数帯域推定方法と同じように、残りの領域１７２０、１７３０の高周波数バンドを推論するようになる。また、類推されたＢ０１（図面符号１７２０）およびＢ１０（図面符号１７３０）値を活用して、効果的にＢ１１（図面符号１７４０）の高周波数値を類推することができる。
【００６７】
本発明の一実施形態に係る第２周波数帯域の推定方法は、本発明の一実施形態に係る第１周波数帯域の推定方法と同じであるが、基底ベクトルおよび顔モデルのみを異にした推定方法である。
【００６８】
このような第２周波数帯域の推定方法は、下記の数式（６）に基づいて成される。
【００６９】
【数６】
2009169932.tif 000008
【００７０】
図１８は、本発明に係る周波数基盤の映像モデルを用いた映像復元の一例を示した図である。
【００７１】
図１８に示された一例では、表情がなく、目を開いている映像モデルを用いたため、笑っている顔の場合には、笑っていない映像でマッピングをするようになり、目を閉じた顔映像は、目を開いた顔映像でマッピングが成された。
【００７２】
すなわち、顔モデルが、正面、無表情、または目を開いた状態であれば、入力として入って来る映像の顔１８１０がマスクを着用していたり、目を閉じた状態である場合にも、原本映像１８３０と最も類似した顔特徴を複写して復元１８２０が可能である。したがって、保安カメラが遠距離から顔映像を撮影し、撮影された顔映像を用いて身元確認が困難である場合にも、１枚の映像だけで低解像度の顔映像を高解像度に復元することができる。
【００７３】
また、本発明によれば、両目の座標だけを用いて正規化を実行するため、ノイズに強く、入力映像を低解像度から補正するので映像特性変化に強靭である上に、段階的に周波数バンドを復元するため、従来の方式で現れていたブロック間の不連続性を解消することができる。
【００７４】
なお、本発明に係る実施形態は、コンピュータにより具現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。本発明で説明された移動端末または基地局の動作の全部または一部がコンピュータプログラムで構成される場合に、前記コンピュータプログラムを保存したコンピュータ読取可能な記録媒体も本発明に含まれる。
【００７５】
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
【図面の簡単な説明】
【００７６】
【図１】本発明に係る周波数基盤の映像モデルを用いた映像復元方法を概念的に示した図である。
【図２】本発明の一実施形態に係る映像復元システムの構成を示した図である。
【図３】本発明の一実施形態に係る周波数基盤の映像モデルを用いた映像復元方法を説明するためのフローチャートである。
【図４】本発明の一実施形態に係る第１周波数帯域の推定方法を説明するためのフローチャートである。
【図５】本発明の一実施形態に係る第２周波数帯域の推定方法を説明するためのフローチャートである。
【図６】本発明の一実施形態に係る周波数基盤の映像モデルを用いた映像復元方法を説明するための一例を示した図である。
【図７】本発明の一実施形態に係る周波数基盤の映像モデルを用いた映像復元方法を説明するための一例を示した図である。
【図８】本発明の一実施形態に係る周波数基盤の映像モデルを用いた映像復元方法を説明するための一例を示した図である。
【図９】本発明の一実施形態に係る第１周波数帯域の推定方法を説明するための図である。
【図１０】本発明の一実施形態に係る第１周波数帯域の推定方法を説明するための図である。
【図１１】本発明の一実施形態に係る第１周波数帯域の推定方法を説明するための図である。
【図１２】本発明の一実施形態に係る第１周波数帯域の推定方法を説明するための図である。
【図１３】本発明の一実施形態に係る第１周波数帯域の推定方法を説明するための図である。
【図１４】本発明の一実施形態に係る第２周波数帯域の推定方法を説明するための図である。
【図１５】本発明の一実施形態に係る第２周波数帯域の推定方法を説明するための図である。
【図１６】本発明の一実施形態に係る第２周波数帯域の推定方法を説明するための図である。
【図１７】本発明の一実施形態に係る第２周波数帯域の推定方法を説明するための図である。
【図１８】本発明に係る周波数基盤の映像モデルを用いた映像復元の一例を示した図である。
【符号の説明】
【００７７】
２００  映像復元システム
２１０  映像変換部
２２０  映像複写部
２３０  ノイズ除去部
２４０  映像復元部
【図２】
2009169932.tif 000009
【図３】
2009169932.tif 000010
【図４】
2009169932.tif 000011
【図５】
2009169932.tif 000012
【図１２】
2009169932.tif 000013
【図１３】
2009169932.tif 000014
【図１７】
2009169932.tif 000015
【図１】
2009169932.tif 000016
【図６】
2009169932.tif 000017
【図７】
2009169932.tif 000018
【図８】
2009169932.tif 000019
【図９】
2009169932.tif 000020
【図１０】
2009169932.tif 000021
【図１１】
2009169932.tif 000022
【図１４】
2009169932.tif 000023
【図１５】
2009169932.tif 000024
【図１６】
2009169932.tif 000025
【図１８】
2009169932.tif 000026