(57)【要約】【課題】  フレーム数を増減しても鮮明で円滑な動きで再生可能な映像信号を得る。【解決手段】  基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する対応点推定処理部２と、推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第１の階調値生成処理部３と、上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める第２の階調値生成処理部４と、上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素の階調値を生成する第３の階調値生成処理部５を備える。【選択図】        図１
2010062953.tif 000002
【特許請求の範囲】
【請求項１】
基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する対応点推定処理部と、
推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第１の階調値生成処理部と、
上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める第２の階調値生成処理部と、
上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素の階調値を生成する第３の階調値生成処理部と
を備えることを特徴とするフレームレート変換装置。
【請求項２】
基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する対応点推定処理ステップと、
推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第１の階調値生成処理ステップと、
上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値に基づいて対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める第２の階調値生成処理ステップと、
上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素の階調値を生成する第３の階調値生成処理ステップと
を有することを特徴とするフレームレート変換方法。
【請求項３】
フレームレート変換装置に備えられるコンピュータにより実行されるフレームレート変換プログラムであって、
基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する対応点推定処理部と、
推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第１の階調値生成処理部と、
上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値に基づいて対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める第２の階調値生成処理と、
上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素の階調値を生成する第３の階調値生成処理部として、
上記コンピュータを機能させることを特徴とするフレームレート変換プログラム。
【請求項４】
基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似手段と、
上記第１の函数近似手段により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定手段と、
上記対応点推定手段により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似手段と、
上記第２の函数近似手段で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第３の函数近似手段と
を備えることを特徴とするフレームレート変換装置。
【請求項５】
基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似ステップと、
上記第１の函数近似ステップで近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定ステップと、
上記対応点推定ステップで推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似ステップと、
上記第２の函数近似ステップで近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第３の函数近似ステップと
を有することを特徴とするフレームレート変換方法。
【請求項６】
フレームレート変換装置に備えられるコンピュータにより実行されるフレームレート変換プログラムであって、
基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似手段と、
上記第１の函数近似手段により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定手段と、
上記対応点推定手段により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似手段と、
上記第２の函数近似手段で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第３の函数近似手段と
して上記コンピュータを機能させることを特徴とするフレームレート変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像のフレームレートを任意のフレームレートに変換するフレームレート変換装置、フレームレート変換方法及びフレームレート変換プログラムに関する。
【背景技術】
【０００２】
従来より、ディジタル映像制作に関する技術の１つとして、フィルムなどで撮影した映像やそれと同等のフレーム数で記録した映像信号を様々なフレームレートに変換する技術がある。この技術は特許文献１等で公知である。特に、２４フレーム／秒で構成されるプログレッシブ映像信号方式の映像を、６０フレーム／秒で構成されるプログレッシブ映像信号方式の映像に変換して記録する場合、２：３プルダウンという変換方式での変換が一般的に使われている（例えば、特許文献１参照）。
【０００３】
また、近年、動画性能を向上させるために、映像信号に含まれる複数のフレームと、該入力映像信号の動きベクトルを用いて装置内部で生成された補間フレームとを組み合わせて、新たなフレーム列の信号を生成するフレームレート変換処理が行われている（例えば、特許文献２参照）。
【０００４】
近年、デジタル信号技術の進展に伴い、映像（動画像）、画像又は音声を対象にした、通信、放送、記録媒体［ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）］、医用画像、印刷等の分野がマルチメディア産業或いはＩＴ（Information Technology）として著しい発展を遂げている。映像や画像、音声に対するデジタル信号技術の一翼を担うのが情報量を低減する圧縮符号化であるが、その信号理論として、代表的にはシャノンの標本化定理があり、更に新しくはウェーブレット変換理論等がある。また、例えば音楽のＣＤでは、圧縮を伴わないリニアＰＣＭ（Pulse Code Modulation）が用いられるが、信号理論は同様にシャノンの標本化定理である。
【０００５】
従来、映像、アニメ画像などの動画の圧縮技術としてＭＰＥＧが知られており、デジタル放送やＤＶＤにおけるＭＰＥＧ−２方式の採用や、第３世代携帯電話のインターネット・ストリーミングや移動体通信などの分野におけるＭＰＥＧ−４方式の採用などにより、映像信号のデジタル圧縮技術は、近年非常に身近なものとなっている。その背景には、蓄積メディアの大容量化、ネットワークの高速化、プロセッサの高性能化、システムＬＳＩの大規模・低価格化などがある。このように、デジタル圧縮を必要とする映像応用システムを支える環境が着々と整ってきている。
【０００６】
ＭＰＥＧ２（ＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commition）１３８１８−２）は、汎用の画像符号化方式として定義された方式であり、飛び越し走査方式、順次走査方式の双方に対応できるように定義され、また標準解像度画像、高精細画像の双方に対応できるように定義されている。このＭＰＥＧ２は、現在、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに広く用いられている。ＭＰＥＧ２では、例えば７２０×４８０画素の標準解像度、飛び越し走査方式の画像データを４〜８〔Ｍｂｐｓ〕のビットレートにデータ圧縮することができ、また１９２０×１０８８画素の高解像度 、飛び越し走査方式の画像データを１８〜２２〔Ｍｂｐｓ〕のビットレートにデータ圧縮することができ、高画質で高い圧縮率を確保することができる。
【０００７】
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。
【０００８】
【特許文献１】特開２００３−２８４００７号公報
【特許文献２】特開２００８−１６７１０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来のシャノンの標本化定理に基づくＡ−Ｄ変換／Ｄ−Ａ変換系では、ナイキスト周波数によって帯域制限された信号を扱う。このとき、Ｄ−Ａ変換において、標本化によって離散的になった信号の連続波への再生に、制限された帯域内の信号を再現する函数（正則函数）が用いられていた。
【００１０】
本願発明者の一人は、映像（動画像）、文字図形や自然画等の画像又は音声等の信号の持つ種々の性質をフルーエンシ函数を用いて分類可能であることを見出した。この理論によれば、シャノンの標本化定理に基づく上記正則函数は、フルーエンシ函数の一つであり、信号が持つ種々の性質の内の一つの性質に適合するにとどまる。従って、種々の性質をもつ信号をシャノンの標本化定理に基づく上記正則函数のみで扱うのでは、Ｄ−Ａ変換後の再生信号の品質に限界を与える恐れがあることとなる。
【００１１】
上記フルーエンシ函数空間の１つであるウェーブレット変換理論は、対象を解像度で分解するマザーウェーブレットを用いて信号を表すものであるが、信号に最適のマザーウェーブレットが与えられるとは限らず、やはりＤ−Ａ変換後の再生信号の品質に限界を与える恐れがあることとなる。
【００１２】
ここで、フルーエンシ 函数は、パラメータｍ（ｍは１〜∞の正の整数）によって類別される函数である。ｍは、その函数が（ｍ−２）回のみ連続微分可能であることを表す。因みに、上記正則函数は何回でも微分可能であるので、ｍが∞である。更に、フルーエンシ函数は、（ｍ−１）次の函数で構成され、特にフルーエンシ函数の内のフルーエンシ ＤＡ函数は、標本間隔をτとして、着目するｋ番目の標本点ｋτで数値が与えられるが、その他の標本点では０となる函数である。
【００１３】
信号の性質は、パラメータｍを持つフルーエンシ函数によって全てが分類可能となり、パラメータｍによってクラス分けされる。そのため、フルーエンシ 函数を用いたフルーエンシ 情報理論は、従来の信号の性質の一部を表すにとどまっていたシャノンの標本化定理やウェーブレット変換理論等を包含し、信号の全体を表す理論体系であると位置付けられる。そのような函数を用いることにより、Ｄ−Ａ変換後に、シャノンの標本化定理によって帯域制限されることのない高品質の再生信号を、信号の全体に亘って得ることが期待される。
【００１４】
ところで、従来、映画の２４フレームレートをビデオの３０フレームに変換したり、ＴＶの映像を高精細化のために高フレームレート化することや、携帯のフレームレートに変換することが要求されているが、フレーム間引きや前後のフレームの内分補間で新規なフレームを生成する方法が主流となっている。
【００１５】
しかしながら、従来のフレーム間引きや前後のフレームの内分補間で新規なフレームを生成する方法では、映像の動きが円滑でない、映像が線形でないなどの問題点があった。
【００１６】
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、フレーム数を増減しても鮮明で円滑な動きで再生可能なフレームレート変換装置、フレームレート変換方法及びフレームレート変換プログラムを提供することにある。
【００１７】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【００１８】
映像では、一般にフレームの前後で似通ったシーンが続く場面が多いので、この特徴を利用し、複数の情報を用いて、高フレームレート化を行い、高画質化を図る。複数フレーム間の局所的な対応点を推定し、対応する画像点を内挿することにより高画質な内挿フレームを構成する。
【００１９】
本発明では、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間下フレームを生成することで、フレーム数を増減しても鮮明で円滑な動きの映像信号を得る。
【００２０】
すなわち、本発明は、映像信号変換装置であって、基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する対応点推定処理部と、推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第１の階調値生成処理部と、上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める第２の階調値生成処理部と、上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素の階調値を生成する第３の階調値生成処理部とを備えることを特徴とする。
【００２１】
また、本発明は、映像信号変換方法であって、基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する対応点推定処理ステップと、推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第１の階調値生成処理ステップと、上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値に基づいて対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める第２の階調値生成処理ステップと、上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素の階調値を生成する第３の階調値生成処理ステップとを有することを特徴とする。
【００２２】
さらに、本発明は、フレームレート変換装置に備えられるコンピュータにより実行されるフレームレート変換プログラムであって、基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する対応点推定処理部と、推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第１の階調値生成処理部と、上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値に基づいて対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める第２の階調値生成処理と、上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素の階調値を生成する第３の階調値生成処理部として、上記コンピュータを機能させることを特徴とする。
【００２３】
本発明に係るフレームレート変換装置は、基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似手段と、上記第１の函数近似手段により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定手段と、上記対応点推定手段により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似手段と、上記第２の函数近似手段で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第３の函数近似手段とを備えることを特徴とする。
【００２４】
また、本発明に係るフレームレート変換方法は、基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似ステップと、上記第１の函数近似ステップで近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定ステップと、上記対応点推定ステップで推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似ステップと、上記第２の函数近似ステップで近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第３の函数近似ステップとを有することを特徴とする。
【００２５】
さらに、本発明は、フレームレート変換装置に備えられるコンピュータにより実行されるフレームレート変換プログラムであって、基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似手段と、上記第１の函数近似手段により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定手段と、上記対応点推定手段により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似手段と、上記第２の函数近似手段で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第３の函数近似手段として上記コンピュータを機能させることを特徴とする。
【発明の効果】
【００２６】
本発明では、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成することで、フレーム数を増減しても鮮明で円滑な動きの映像信号を得ることができる。
【００２７】
したがって、本発明によれば、表示器にあったフレームレートで鮮明で円滑な動きの映像表示を行うことができる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【００２９】
本発明に係るフレームレート変換装置１は、例えば、図１に示すように構成される。
【００３０】
このフレームレート変換装置１は、例えば図２の（Ａ），（Ｂ）に示すように、原フレーム間に補間フレームを挿入することにより、図２の（Ａ）に示す低フレームレート（この例では３０フレーム／秒）の動画を図２の（Ｂ）に示す高フレームレートの動画（この例では６０フレーム／秒）に変換する高フレームレート化処理を行うもので、対応点推定処理部２、第１の階調値生成処理部３、第２の階調値生成処理部４、第３の階調値生成処理部５として機能するコンピュータからなる。
【００３１】
このフレームレート変換装置１において、対応点推定処理部２は、基準フレームにおける複数個の画素について、時間を異にする複数の画像フレームにおける各対応点を推定する。
【００３２】
また、第１の階調値生成処理部３は、上記対応点推定処理部２により推定した各画像フレームにおける各対応点について、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める。
【００３３】
また、第２の階調値生成処理部４は、上記基準フレームにおける複数個の画素に対して、上記推定した各画像フレームにおける各対応点の階調値から対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から補間フレームにおける対応点の各階調値を求める。
【００３４】
さらに、第３の階調値生成処理部５は、上記補間フレームにおける各対応点の階調値から、上記補間フレームにおける各画素の階調値を生成する。
【００３５】
このフレームレート変換装置１は、図示しない記憶部から読み出される映像信号変換プログラムをコンピュータにより実行することにより、図３のフローチャートに示すステップＳ１〜ステップＳ４の手順に従って、対応点推定処理を行って推定した対応点の階調値を用いて均等補間により補間フレームの対応点の階調値を生成し、さらに、不均等補間により補間フレームの対応点の階調値を生成する高フレームレート化処理を実行する。
【００３６】
すなわち、このフレームレート変換装置１では、先ず、図４の（Ａ）に示すように、時間ｔ＝ｋの画像フレームを基準フレームＦ（ｋ）とし、基準フレームＦ（ｋ）における複数個の画素Ｐｎ（ｋ）について、時間ｔ＝ｋ＋１の画像フレームＦ（ｋ＋１）、時間ｔ＝ｋ＋２の画像フレームＦ（ｋ＋２）、・・・時間ｔ＝ｋ＋ｍの画像フレームＦ（ｋ＋ｍ）における各動きベクトルを求めて、各画像フレーム（ｋ＋１），（ｋ＋２），・・・Ｆ（ｋ＋ｍ）における各対応点Ｐｎ（ｋ＋１），Ｐｎ（ｋ＋２），・・・Ｐ（ｋ＋ｍ）を推定する対応点推定処理を行う（ステップＳ１）。
【００３７】
次に、上記ステップＳ１で推定した各画像フレーム（ｋ＋１），（ｋ＋２），・・・Ｆ（ｋ＋ｍ）における各対応点Ｐｎ（ｋ＋１），Ｐｎ（ｋ＋２），・・・Ｐ（ｋ＋ｍ）について、図４の（Ｂ）に示すように、それぞれ近傍の画素の濃淡を示す階調値から各階調値を求める第１の階調値生成処理を行う（ステップＳ２）。
【００３８】
次に、上記基準フレームＦ（ｋ）における複数個の画素Ｐｎ（ｋ）に対して、図４の（Ｃ）に示すように、上記ステップＳ２で生成した各対応点Ｐｎ（ｋ＋１），Ｐｎ（ｋ＋２），・・・Ｐ（ｋ＋ｍ）における各階調値、すなわち、各画像フレーム（ｋ＋１），（ｋ＋２），・・・Ｆ（ｋ＋ｍ）の対応点軌跡上の濃淡をフルーエンシ函数で近似し、その函数から各画像フレーム（ｋ＋１），（ｋ＋２），・・・Ｆ（ｋ＋ｍ）間の補間フレームにおける対応点の各階調値を求める第２の階調値生成処理を行う（ステップＳ３）。
【００３９】
次のステップＳ４では、図４の（Ｄ）に示すように、上記ステップＳ３の第２の階調値生成処理により生成した補間フレームＦ（ｋ＋１／２）における各対応点の階調値から、不均等補間により時間ｔ＝ｋ＋１／２の補間フレームＦ（ｋ＋１／２）における各画素の階調値を生成する第３の階調値生成処理を行う（ステップＳ４）。
【００４０】
ここで、複数フレームからなる動画像は、その動きのある部分画像のフレーム上の位置はフレーム毎に異なる。また、一つのフレーム上の画素点は、他のフレーム上の異なる位置の画素点に移動するとは限らず、画素間に対応することが通常である。すなわち、１つの自然画は、連続した情報としたとき、２つのフレーム上では異なる位置の画素情報をそれぞれ表していることになる。特に、フレーム間の補間により、新規フレーム画像を生成する場合は、元のフレーム上の画素情報と新規フレーム上での画素上は殆ど全て異なる。例えば、図５の（Ａ），（Ｂ）に示すような２つのフレーム画像を同一点で重ね合わせると、各フレームの画素点（ここでは、説明のための粗くしている）の関係は、図５の（Ｃ）に示すような関係となる。すなわち、画像の移動分ずれる。この２つのフレーム画像を用いて、第１フレームの格子点（印のない画素点）の濃淡値を求めるためには、不均等補間処理が必要となる。
【００４１】
例えば、図６に示すように、画像の解像度を変換した際に新たに生成された画素ｕ（τｘ，τｙ）位置の値を決める画像補間処理は、原画素ｕ（ｘｉ，ｙｊ）と補間函数ｈ（ｘ）の畳み込み処理により行われる。
【００４２】
【数１】
2010062953.tif 000003
【００４３】
そして、複数のフレーム画像を用いて同一部分画像を対応させ、図７の（Ａ）に示すような均等補間函数を用いて所望の対応点近傍における水平（垂直）方向の画素情報から均等補間により求めた各フレーム毎の補間情報、すなわち、例えば図８に示すように、フレーム１及びフレーム２の各内挿画素値×を垂直（水平）方向の画素情報として、図７の（Ｂ）に示すような不均等補間函数を用いてフレームのずれ量に基づき不均等補間を行い、図８に示すように、フレーム１における所望の位置○の画素情報を決定する。
【００４４】
このように、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成することで、フレーム数を増減しても鮮明で円滑な動きの映像信号を得ることができ、表示器にあったフレームレートで鮮明で円滑な動きの映像表示を行うことができる。
【００４５】
均等補間により補間フレームＦ（ｋ＋１／２）を生成して１／２精度の動き推定により求められる動き情報を用いてブロックマッチングにより対応点の階調値を１／２精度で生成する従来の高フレームレート化処理では、挿入される補間フレームの画像は動きのある部分が劣化するが、このフレームレート変換装置１のように、対応点推定処理を行って推定した対応点の階調値を用いて均等補間により補間フレームの対応点の階調値を生成し、さらに、不均等補間により補間フレームの対応点の階調値を生成する高フレームレート化処理では、動きのある部分が劣化することなく高フレームレート化することができた。
【００４６】
ここで、フレームレート変換装置１は、上述の如き高フレームレート化処理を行うとともに、２フレーム画像を用いて拡大補間処理を行う機能を備えるものとすることができる。２フレーム画像を用いて拡大補間処理を行う機能は、例えば、例えば図９に示すように、入力データ制御回路５１、出力同期信号生成回路５２、ＳＲＡＭ５３、ＳＲＡＭ選択部５４、画像処理モジュール５５により構成される拡大補間処理装置５０により実現される。
【００４７】
この拡大補間処理装置５０において、入力データ制御回路５１は、水平同期信号及び垂直同期信号とともに供給される入力画像すなわち各画素の画像情報をＳＲＡＭ選択部５４に順次入力する制御を行う。
【００４８】
出力同期信号生成回路５２は、供給される水平同期信号及び垂直同期信号に基づいて出力側同期信号を生成し、生成した出力側同期信号を出力するとともにＳＲＡＭ選択部５４に供給する。
【００４９】
ＳＲＡＭ選択部５４は、例えば、図１０に示すように構成され、供給される同期信号に生成される書き込み制御信号及び読み出し制御信号に基づいて制御信号切り換え回路５４Ａから供給されるメモリ選択信号に応じた動作を行う書き込みデータ選択部５４Ｂと読み出しデータ選択部５４Ｃにより、入力データ制御回路５１を介して入力される入力画像を１フレームごとＳＲＡＭ５３に格納し、同時に２フレームの画像を出力同期信号生成回路５２により生成された出力側同期信号に同期して読み出す。
【００５０】
また、画像処理モジュール５５は、フレーム間情報による画像補間処理を行う例えば、図１１に示すように構成される。
【００５１】
すなわち、画像処理モジュール５５は、ＳＲＡＭ選択部５４を介してＳＲＡＭ５３から同時に読み出された２フレームの画像情報が入力される窓設定部５５Ａ、第１の均等補間処理部５５Ｂ及び第２の均等補間処理部５５Ｃ、上記窓設定部５５Ａにより上記２フレームの画像情報から抽出された画素の情報が入力されるずれ量推定部５５Ｄ、このずれ量推定部５５Ｄにより推定されたずれ量ベクトルと上記第２の均等補間処理部５５Ｃにより補間された画素の情報入力されるずれ補正部５５Ｅ、このずれ補正部５５Ｅにより補正された画素の情報及び上記第１の補間処理部５５Ｂにより補間された画素の情報が入力される不均等補間処理部５５Ｆからなる。
【００５２】
画像処理モジュール５５では、図１２の（Ａ），（Ｂ）に示すように、ＳＲＡＭ選択部５４を介して入力される２つのフレーム画像ｆ，ｇについて、窓設定部５５Ａにより所定のポイント（ｐ，ｑ）にウインドウを設定し、ずれ量推定部５５Ｄにより、片方のフレーム画像ｇのウインドウをずれ量（τｘ，τｙ）だけずらして、ウインドウ内の相対位置（ｘ，ｙ）の画素値により内積演算を行い、その値を相互相関値Ｒｐｑ（τｘ，τｙ）とする。
【００５３】
【数２】
2010062953.tif 000004
【００５４】
そして、ずれ量（τｘ，τｙ）を変化させてポイント（ｐ，ｑ）の回りでの相互相関値Ｒｐｑ（τｘ，τｙ）が最大となるずれ量（τｘ，τｙ）を抽出する。
【００５５】
【数３】
2010062953.tif 000005
【００５６】
なお、２つのフレーム画像ｆ，ｇのウインドウ内画素データをそれぞれフーリエ変換して相互相関値Ｒｐｑ（τｘ，τｙ）を求めることもできる。
【００５７】
そして、この拡大補間処理装置５０では、図１３のフローチャートに示すように手順に従って拡大補間処理を行う。
【００５８】
すなわち、画像処理モジュール５５では、ＳＲＡＭ５３からＳＲＡＭ選択部５４を介して２つのフレーム画像ｆ，ｇが読み出されると（ステップＡ）、ずれ量推定部５５Ｄで相関演算処理により２つのフレーム画像ｆ，ｇのずれ量（τｘ，τｙ）を演算する（ステップＢ）。
【００５９】
そして、フレーム１の画像ｆについて均等補間による内挿画素値を第１の均等補間処理部５５Ｂで演算することにより、水平方向あるいは垂直方向に拡大する（ステップＣ）。
【００６０】
また、フレーム２の画像ｇについて均等補間による内挿画素値を第２の均等補間処理部５５Ｃで演算することにより、水平方向あるいは垂直方向に拡大する（ステップＤ）。
【００６１】
さらに、フレーム２の拡大画像をフレーム１に対するずれ量分移動した画素位置での画素値をずれ量補正部５５Ｅにより演算する（ステップＥ）。
【００６２】
そして、不均等補間処理部５５Ｆにおいて、フレーム１の内挿画素値２点とフレーム２の移動位置の画素値２点の計４点の画素値からフレーム１における求める位置の画素値を不均等補間で垂直方向あるいは水平方向に拡大演算を行い（ステップＦ）、フレーム１の補間演算結果を拡大画像として出力する（ステップＧ）。
【００６３】
このような拡大補間処理を行う機能を備えるフレームレート変換装置１１０は、例えば、図１４に示すように構成される。
【００６４】
このフレームレート変換装置１１０は、第１の函数近似処理部１１１、対応点推定処理部１１２、第２の函数近似処理部１１３、第３の函数近似処理部１１４として機能するコンピュータからなる。
【００６５】
第１の函数近似処理部１１１は、基準フレームにおける複数個の画素について、その濃淡分布を函数近似する第１の函数近似処理を行う。
【００６６】
対応点推定処理部１１２は、上記第１の函数近似部１１１により近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とする対応点推定処理を行う。
【００６７】
第２の函数近似処理部１１３は、上記対応点推定部１１２により推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する第２の函数近似を行う。
【００６８】
第３の函数近似処理部１１４は、上記第２の函数近似部１１３で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換する第３の函数近似処理を行う。
【００６９】
このフレームレート変換装置１１０では、第１の函数近似処理部１１１により、基準フレームにおける複数個の画素について、その濃淡分布を函数近似し、対応点推定処理部１１２により、上記第１の函数近似処理部１１１で近似された時間を異にする複数の上記基準フレームにおける上記濃淡分布の函数で相関演算を行い、その最大値を与えるそれぞれの位置を上記複数の基準フレームにおいて対応する対応点位置とし、第２の函数近似処理部１１３により、上記対応点推定処理部１１２で推定された各基準フレームにおける対応点位置を基準フレームの原点からの水平方向、垂直方向の距離で座標化し、上記時間を異にする複数の基準フレームにおける該座標点の水平方向位置、及び垂直方向位置のそれぞれの変化を時系列信号に変換し、各基準フレームの時系列信号を函数近似する。そして、第３の函数近似処理部１１４により、第２の階調値生成処理部１１３で近似された函数により、上記複数の基準フレーム間の任意の時間における補間フレームについて、上記基準フレームの対応点位置に該当する補間フレーム内の対応する位置を対応点位置とし、該補間フレームの対応点位置における濃淡値を、上記基準フレームの対応点における濃淡値で補間して求め、該補間フレームの対応点の濃淡値に合わせて上記第１の函数近似を当てはめて、該対応点近傍の濃淡分布を求め、該対応点近傍の濃淡値を補間フレームにおける画素点の濃淡値に変換することにより、拡大補間処理とともに高フレームレート化処理を行う。
【００７０】
本発明は、例えば図１５に示すような構成の映像信号変換システム１００に適用され、上記フレームレート変換装置１が高フレームレート化処理部４０として映像信号変換システム１００に搭載される。
【００７１】
この映像信号変換システム１００は、撮像装置等の画像入力部１０から入力される画像情報にノイズ除去処理を施す前処理部２０、上記前処理部２０によりノイズ除去処理が施された画像情報が入力され、入力された画像情報を圧縮符号化する圧縮符号化処理部３０、上記圧縮符号化処理部３０により圧縮符号化された画像情報を高フレームレート化する高フレームレート化処理部４０などからなる。
【００７２】
この映像信号変換システム１００における前処理部２０は、入力された画像情報に含まれるボケや手ぶれなどのノイズを、画像のテンソル演算技術とぼけ函数の適応修正処理技術により除去するフィルタリング処理を行うものであって、図１６に示すようなシステムモデルにより、真の入力画像ｆ（ｘ，ｙ）が入力されるぼけ函数Ｈ（ｘ，ｙ）の劣化モデル２１の出力
【００７３】
【数４】
2010062953.tif 000006
【００７４】
にノイズｎ（ｘ，ｙ）を付加することにより観測画像ｇ（ｘ，ｙ）を得て、図１７に示すようなリストレーションシステムモデルにより、上記観測画像ｇ（ｘ，ｙ）を入力として推定された画像
【００７５】
【数５】
2010062953.tif 000007
【００７６】
を得る逆フィルタ２２からなる。
【００７７】
前処理部２０は、画像のテンソル演算技術とぼけ函数の適応修正処理技術により除去するフィルタリング処理を行うものであって、原画像をクロネッカー積の特性を利用して評価する。
【００７８】
クロネッカー積は、次のように定義される。
【００７９】
Ａ＝［ａｉｊ］をｍｎ行列、Ｂ＝［ｂｉｊ］をｓｔ行列とするとき、クロネッカー積
【００８０】
【数６】
2010062953.tif 000008
【００８１】
は、次のような、ｍｓ×ｎｔ行列である。
【００８２】
【数７】
2010062953.tif 000009
【００８３】
ここで、
【００８４】
【数８】
2010062953.tif 000010
【００８５】
は、クロネッカー積演算子を表す。
【００８６】
また、クロネッカー積の基本的な性質は、次の通りである。
【００８７】
【数９】
2010062953.tif 000011
【００８８】
ここで、
【００８９】
【数１０】
2010062953.tif 000012
【００９０】
は、行列を列方向に伸ばし、列ベクトルを生成する操作を示す演算子である。
【００９１】
この前処理部２０における画像モデルでは、未知の真の入力画像ｆ（ｘ，ｙ）が存在するものと仮定して、上記劣化モデル２１の出力
【００９２】
【数１１】
2010062953.tif 000013
【００９３】
にノイズｎ（ｘ，ｙ）を付加することにより得られる観測画像ｇ（ｘ，ｙ）は、次の式（１）にて表すことができる。
【００９４】
【数１２】
2010062953.tif 000014
【００９５】
ここで、
【００９６】
【数１３】
2010062953.tif 000015
【００９７】
は、この画像システムにより得られる劣化画像を代表し、また、ｎ（ｘ，ｙ）は付加したノイズである。そして、劣化画像
【００９８】
【数１４】
2010062953.tif 000016
【００９９】
は、次の式（２）で示される。
【０１００】
【数１５】
2010062953.tif 000017
【０１０１】
ここで、ｈ（ｘ，ｙ；ｘ’，ｙ’）は、劣化システムのインパルス応答を代表している。
【０１０２】
使用される画像は離散量であるから、入力画像ｆ（ｘ，ｙ）の画像モデルは、式（３）のように書き換えることができる。
【０１０３】
【数１６】
2010062953.tif 000018
【０１０４】
ここで、Ｈｋ（ｘ）Ｈｌ（ｙ）は、次の式（４）のようにマトリクス形式で表すことにより、劣化モデルの点像強度分布函数（ＰＳＦ:Point Spread Function）Ｈとなる。
【０１０５】
【数１７】
2010062953.tif 000019
【０１０６】
上記逆フィルタ２２の特性は、図１８のフローチャートに示す手順にしたがった学習処理により決定される。
【０１０７】
すなわち、学習処理では、先ず、観測画像ｇ（ｘ，ｙ）を入力画像ｇとして読み込み（ステップＳ１１ａ）、
【０１０８】
【数１８】
2010062953.tif 000020
【０１０９】
として画像ｇＥを構成して（ステップＳ１２ａ）、
【０１１０】
【数１９】
2010062953.tif 000021
【０１１１】
の特異値分解（SVD:singular value decomposition）を行う（ステップＳ１３ａ）。
【０１１２】
また、劣化モデルの点像強度分布函数（ＰＳＦ:Point Spread Function）Ｈを読み込み（ステップＳ１１ｂ）、
【０１１３】
【数２０】
2010062953.tif 000022
【０１１４】
なるクロネッカー積で示される劣化モデルを構築して（ステップＳ１２ｂ）、上記劣化モデルの函数Ｈの特異値分解（SVD:singular value decomposition）を行う（ステップＳ１３ｂ）。
【０１１５】
ここで、システム方程式ｇは
【０１１６】
【数２１】
2010062953.tif 000023
【０１１７】
と書き直すことができる。
【０１１８】
そして、
【０１１９】
【数２２】
2010062953.tif 000024
【０１２０】
として新たな画像ｇＫＰＡを算出する（ステップＳ１４）。
【０１２１】
そして、算出した新たな画像ｇＫＰＡについて、
【０１２２】
【数２３】
2010062953.tif 000025
【０１２３】
なる最小化処理を行い（ステップＳ１５）、得られたｆＫについて、
【０１２４】
【数２４】
2010062953.tif 000026
【０１２５】
なるテスト条件を満たすか否かを判定する（ステップＳ１６）。
【０１２６】
ここで、ｋは繰り返し番号であり、ε，ｃは、それぞれ判定の閾値である。
【０１２７】
そして、上記ステップＳ１６における判定結果がFaise、すなわち、上記ステップＳ１５で得られたｆＫが上記テスト条件を満たしていない場合には、上記劣化モデルの函数Ｈについて、
【０１２８】
【数２５】
2010062953.tif 000027
【０１２９】
なる最小化処理を行い（ステップＳ１７）、上記ステップＳ１３ｂに戻り、上記ステップＳ１６で得られた函数ＨＫ＋１について特異値分解（SVD:singular value decomposition）を行い、上記ステップＳ１３ｂからステップＳ１７の処理を繰り返し行い、上記ステップＳ１６における判定結果がTrue、すなわち、上記ステップＳ１５で得られたｆＫが上記テスト条件を満たす場合に、上記ステップＳ１５で得られたｆＫを
【０１３０】
【数２６】
2010062953.tif 000028
【０１３１】
として（ステップＳ１８）、１の入力画像ｇに対する学習処理を終了する。
【０１３２】
上記逆フィルタ２２の特性は、上記学習処理を多数の入力画像ｇについて行うことにより決定される。
【０１３３】
すなわち、ここでは、ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）を代表してＨｆとして表し、システムの方程式を
【０１３４】
【数２７】
2010062953.tif 000029
【０１３５】
とし、また、
【０１３６】
【数２８】
2010062953.tif 000030
【０１３７】
として、ｆを近似して、目的とする新たな画像ｇＥを次のように導出している。
【０１３８】
【数２９】
2010062953.tif 000031
【０１３９】
ここで、Ｅは予測を示す。新たな画像ｇＥは、原画像のエッジ細部の保存や強調として構成される。
【０１４０】
新たな画像ｇＥは、
【０１４１】
【数３０】
2010062953.tif 000032
【０１４２】
として得られる。ここで、ＣＥＰとＣＥＮは、それぞれエッジ保存とエッジ強調の演算子である。
【０１４３】
そして、シンプルなラプラシアンカーネルＣＥＮ＝∇２ｆと制御パラメータβとγを持ったガウシャンカーネルＣＥＰを選択し、
【０１４４】
【数３１】
2010062953.tif 000033
【０１４５】
とする。
【０１４６】
そして、
【０１４７】
【数３２】
2010062953.tif 000034
【０１４８】
として、最小化問題を再構築し、次の特異値分解（SVD:singular value decomposition）から
【０１４９】
【数３３】
2010062953.tif 000035
【０１５０】
上記劣化モデルの函数Ｈを
【０１５１】
【数３４】
2010062953.tif 000036
【０１５２】
として推定して用いる。
【０１５３】
この映像信号変換システム１００における前処理部２０のように、入力された画像情報に含まれるボケや手ぶれなどのノイズを、画像のテンソル演算技術とぼけ函数の適応修正処理技術により除去するフィルタリング処理を行うことにより、ノイズを除去するとともに画像の鮮明化やエッジ強調などを行うことができる。
【０１５４】
この映像信号変換システム１００は、上記前処理部２０によりノイズ除去処理が施された画像情報について、圧縮符号化処理部３０により圧縮符号化し、圧縮符号化された画像情報をフレームレート化処理部４０により高フレームレート化する。
【０１５５】
この映像信号変換システム１００における圧縮符号化処理部３０は、フルーエンシ理論に基づく圧縮符号化処理を行うもので、図１９に示すように、第１の函数化処理部３１、第２の函数化処理部３２、上記第１の函数化処理部３１と第２の函数化処理部３２で函数化された各画像情報を所定の形式で記述して符号化する符号化処理部３３などを備える。
【０１５６】
第１の函数化処理部３１は、上記前処理部２０によりノイズ除去処理が施された画像情報について、複数のフレーム画像間の対応点推定を行う対応点推定部３１Ａと、上記対応点推定部３１Ａにより推定された各フレーム画像の対応点の画像情報を用いて、動き部分の画像情報を函数化する動き函数化処理部３１Ｂからなる。
【０１５７】
対応点推定部３１Ａは、例えば、図２０に示すように構成される。
【０１５８】
すなわち、対応点推定部３１Ａは、フレーム画像の部分領域を抽出する第１の部分領域抽出部３１１と、上記第１の部分領域抽出部３１１により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する第２の部分領域抽出部３１２と、上記第１の部分領域抽出部３１１及び上記第２の部分領域抽出部３１２により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡をフルーエンシ理論に従って区分多項式で函数表現して出力する函数近似部３１３と、上記函数近似部３１３の出力の相関値を演算する相関値演算部３１４と、上記相関値演算部３１４により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力するずれ量演算部３１５とからなる。
【０１５９】
この対応点推定部３１Ａでは、第１の部分領域抽出部３１１によりフレーム画像の部分領域をテンプレートとして抽出するとともに、上記第１の部分領域抽出部３１１により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を第２の部分領域抽出部３１２により抽出し、函数近似部３１３により上記第１の部分領域抽出部３１１及び上記第２の部分領域抽出部３１２により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現する。
【０１６０】
この対応点推定部３１Ａは、画像の濃淡を連続的な変化状態として捉え、フルーエンシ情報理論により、画像の対応点を推定するものであって、第１の部分領域抽出部３１１と、第２の部分領域抽出部３１２と、函数近似部３１３と、相関値演算部３１４と、ずれ量演算部３１５からなる。
【０１６１】
この対応点推定部３１Ａにおいて、第１の部分領域抽出部３１１は、入力画像についてフレーム画像の部分領域を抽出する。
【０１６２】
また、第２の部分領域抽出部３１２は、上記第１の部分領域抽出部３１１により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を抽出する。
【０１６３】
また、函数近似部３１３は、上記第１の部分領域抽出部３１１及び上記第２の部分領域抽出部３１２により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡をフルーエンシ理論に従って区分多項式で函数表現して出力する。
【０１６４】
また、相関値演算部３１４は、上記函数近似部３１３の出力の相関値を演算する。
【０１６５】
さらに、ずれ量演算部３１５は、上記相関値演算部３１４により算出される相関値の最大値を与える画像の位置ずれを演算し、該演算値を対応点のずれ量として出力する。
【０１６６】
そして、この対応点推定部３１では、第１の部分領域抽出部３１１によりフレーム画像の部分領域をテンプレートとして抽出するとともに、上記第１の部分領域抽出部３１１により抽出した部分領域に相似な連続する他のフレーム画像の部分領域を第２の部分領域抽出部３１２により抽出し、函数近似部３１３により上記第１の部分領域抽出部３１１及び上記第２の部分領域抽出部３１２により抽出された各部分領域を同一比に変換し、変換した各画像の濃淡を区分多項式で函数表現する。
【０１６７】
ここで、画像ｆ１（ｘ，ｙ），ｆ２（ｘ，ｙ）は、空間Ｓ（ｍ）（Ｒ２）に属していると仮定し、φｍ（ｔ）を（ｍ−２）次の区分多項式で次の式（５）のように表し、
【０１６８】
【数３５】
2010062953.tif 000037
【０１６９】
上記空間Ｓ（ｍ）（Ｒ２）を次の式（６）のように表すと、
【０１７０】
【数３６】
2010062953.tif 000038
【０１７１】
フレーム間の相関関数ｃ（τ１，τ２）は、次の式（７）として表すことができる。
【０１７２】
【数３７】
2010062953.tif 000039
【０１７３】
そして、上記仮定、すなわち、
【０１７４】
【数３８】
2010062953.tif 000040
【０１７５】
から、フレーム相関関数を表す式（７）は、次の式（８）で示すことができる。
【０１７６】
【数３９】
2010062953.tif 000041
【０１７７】
すなわち、上記フレーム間の相関関数ｃ（τ１，τ２）は、図２１に示すような２ｍ次補間を行う空間Ｓ（２ｍ）（Ｒ２）に属し、上記２ｍ次補間を行う空間Ｓ（２ｍ）（Ｒ２）の標本化周波数ψ２ｍ（τ１，τ２）は一意的に存在し、上記フレーム間の相関関数ｃ（τ１，τ２）は、次の式（９）にて表される。
【０１７８】
【数４０】
2010062953.tif 000042
【０１７９】
式（８）から、相関面を補間するために、（２ｍ−１）次の区分的な多項式の関数を構築することができる。
【０１８０】
すなわち、ブロックに基づく動きベクトル評価アプローチによって、適切に式（７）の別々のブロック動きベクトルの初期の推定を得て、それから、任意の正確さの本当の動きを得る式（８）を適用する。
【０１８１】
分離可能な相関面補間関数の一般形は、式（１０）にて表される。
【０１８２】
【数４１】
2010062953.tif 000043
【０１８３】
ここで、Ｃｋとｄｌが補間係数であり、Ｍ２ｍ（ｘ）＝φ２ｍ（ｘ＋２）・φｍ（ｘ）は、（ｍ−１）次のＢ−スプラインである。
【０１８４】
式(１０)における適切な打ちきり制限により、上記相関関数ｃ（τ１，τ２）は、次の式（１１）によって近似することができる。
【０１８５】
【数４２】
2010062953.tif 000044
【０１８６】
ここで、Ｋ１＝［τ１］−ｓ＋１，Ｋ２＝［τ２］＋ｓ，Ｌ１＝［τ２］−ｓ＋１，Ｌ２＝［τ２］＋ｓであり、ｓはφｍ（ｘ）を定める。
【０１８７】
そして、例えば、ｍ＝２とき、次の式（１２）を式（１１）に代入することにより、望ましい補間式を得る。
【０１８８】
【数４３】
2010062953.tif 000045
【０１８９】
動きベクトルvは、次の式（１３）を使って導出される。
【０１９０】
【数４４】
2010062953.tif 000046
【０１９１】
上記相関関数ｃ（τ１，τ２）は、整数点の情報だけを用いて再生することができ、相関値演算部３１４は、上記相関関数ｃ（τ１，τ２）により上記函数近似部３１３の出力の相関値を算出する。
【０１９２】
そして、ずれ量演算部３１５は、上記相関値演算部３１４により算出される相関値の最大値を与える画像の位置ずれを示す式（１３）により動きベクトルＶを演算し、得られる動きベクトルＶを対応点のずれ量として出力する。
【０１９３】
ここで、上記対応点推定部３１Ａによる対応点推定による動きベクトルＶの決定の様子を図２２に模式的に示す。
【０１９４】
すなわち、この対応点推定部３１Ａでは、図２２の（Ａ）に示すように、フレーム画像（ｋ）の部分領域を取り出し、この部分領域に相似な連続する他のフレーム画像の部分領域を抽出して、図２２の（Ｂ）に示すように、
【０１９５】
【数４５】
2010062953.tif 000047
【０１９６】
にて表される相関関数ｃ（τ１，τ２）を用いて各フレーム間の相関を計算して、図２２の（Ｃ）に示すように、相関曲面のピーク点て動きを検出し、動きベクトルvを上記式（１３）にて求めことにより、図２２の（Ｄ）に示すように、フレーム画像（ｋ）における画素の動きを決定する。
【０１９７】
このようにして決定されたフレーム画像（ｋ）の各ブロックの動きベクトルは、同じフレーム画像（ｋ）の各ブロックの動きベクトルを従来のブロックマッチングにより決定されたものと比較して、各ブロック間で滑らかに変化するものとなる。
【０１９８】
すなわち、例えば、図２３の（Ａ）に示すように、被写体が回転する動きのあるフレーム１とフレーム２について、２フレーム対応点推定と不均等補間により４倍拡大を行ったところ、図２３の（Ｂ１），（Ｃ１）に示すように、従来のブロックマッチングによる推定対応点で推定された動きベクトルには変化が滑らかなでない部分が生じたが、上述の如き構成の対応点推定部３１Ａによる推定対応点で推定された動きベクトルの変化は、図２３の（Ｂ２），（Ｃ２）に示すように、全体的に滑らかなものとなっている。しかも、１／Ｎの精度での計算量は、従来手法ではＮ２であるのに対し、本手法ではＮとなる。
【０１９９】
そして、動き函数化処理部３１Ｂでは、上記対応点推定部３１Ａにおける対応点推定により得られる動きベクトルＶを用いて、動き部分の画像情報を函数化する。
【０２００】
すなわち、動き函数化処理部３１Ｂでは、基準フレーム毎に部分動画像の対応点が推定されると、その移動量すなわち対応点のずれ量はフレームの座標位置ｘ、ｙの変化に対応するので、図２４に示すように、フレームの原点を左上隅に取った場合、例えば、図２５の（Ａ）に示すような各フレームの画像の動きについて、図２５の（Ｂ），（Ｃ）に示すように各フレームのX座標、Y座標の動きとして表し、X座標、Y座標それぞれの動きの変化を函数近似して函数化する。そして、図２６に示すように、その函数で補間してフレーム間の位置を推定することにより動き補償を行う。
【０２０１】
また、第２の函数化処理部３２は、フルーエンシ情報理論に基づき、輪郭、濃淡、フレーム間情報を近似するフルーエンシ函数化処理により、入力画像を符号化するものであって、領域自動分類処理部３２Ａ、輪郭函数近似処理部３２Ｂ、濃淡函数化処理部３２Ｃ、周波数函数近似処理部３２Ｄなどからなる。
【０２０２】
領域自動分類処理部３２Ａは、入力画像をフルーエンシ情報理論に基づいて、区分的平面領域（ｍ≦２）、区分的曲面領域（ｍ＝３）、区分的球面領域（ｍ＝∞）、不規則領域（ｍ≧４）に分類する。
【０２０３】
フルーエンシ情報理論では、信号を信号空間という概念で次数ｍによって指定されるクラスに分類する。
【０２０４】
信号空間ｍＳは、（ｍ−２）回連続微分可能な変数を持つ（ｍ−１）次の区分的多項式によって表される。
【０２０５】
信号空間ｍＳは、ｍ＝１のとき、階段関数のものと等しくなり、またｍ＝∞のとき、フーリエべき関数のものと等しくなることが証明されている。フルーエンシモデルは、フルーエンシ標本化関数を定義することで、この信号空間ｍＳに属する信号と離散時間信号との関係を明確化するモデルである。
【０２０６】
輪郭函数近似処理部３２Ｂは、輪郭自動分類処理部３２１と関数近似処理部３２２からなり、上記領域自動分類処理部３２Ａにより分類された区分的平面領域（ｍ≦２）、区分的曲面領域（ｍ＝３）、区分的球面領域（ｍ＝∞）に含まれる直線、円弧、２次曲線を上記輪郭自動分類処理部３２１により抽出して関数近似処理部３２２により関数近似する。
【０２０７】
濃淡函数化処理部３２Ｃは、上記領域自動分類処理部３２Ａにより分類される区分的平面領域（ｍ≦２）、区分的曲面領域（ｍ＝３）、区分的球面領域（ｍ＝∞）について、フルーエンシ函数を用いて濃淡函数化処理を行う。
【０２０８】
周波数函数近似処理部３２Ｄは、上記領域自動分類処理部２により分類される不規則領域（ｍ≧４）、すなわち、多項式表現できない領域について、ＤＣＴ等により周波数函数近似処理を行う。
【０２０９】
この第２の函数化処理部３２では、映像のフレーム毎に多数の多変数フルーエンシ函数を使って、画像の濃淡や輪郭を表現することができる。
【０２１０】
そして、符号化処理部３３は、上記第１の函数化処理部３１と第２の函数化処理部３２で函数化された各画像情報を所定の形式で記述して符号化する。
【０２１１】
そして、この映像信号変換システム１００では、上述の如く、撮像装置等の画像入力部１０から入力される画像情報に前処理部２０によりノイズ除去処理を施し、上記前処理部２０によりノイズ除去処理が施された画像情報を圧縮符号化処理部３０により圧縮符号化し、上記フレームレート変換装置１を用いた高フレームレート化処理部４０において、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成する。
【０２１２】
すなわち、この映像信号変換システム１００は、映像のフレーム毎に多数のフルーエンシ函数を使って輪郭などを表現し、離散フレーム列を時間方向で区分多項式に基づく連続関数で表すことで、任意フレームレートの高品位な映像を再生できるようにしたものである。
【０２１３】
フルーエンシ情報理論では、信号が連続的に微分可能であるという度数に基づいて、次数ｍによって指定されるクラスにおける信号空間を分類する。
【０２１４】
そして、どのようなｍ＞２に対しても、subspace spannedは、（ｍ−２）回のみ連続微分可能な（ｍ−１）次の区分的な多項式によって表される。
（ｍ＝３）クラスの標本化関数ψ(x)  は、１回のみ連続微分可能な２次の区分多項式の線形結合により次の式（１４）で表される。
【０２１５】
【数４６】
2010062953.tif 000048
【０２１６】
ここで、φ(x)は次の式（１５）で示される。
【０２１７】
【数４７】
2010062953.tif 000049
【０２１８】
そして、ψ(x)は、標本化函数であるため、標本列と畳み込み演算で区間の函数を求めることができる。
【０２１９】
ここで、τ＝１とき、式（１４）は、次の式（１６）よって与えられる区分的な多項式
として表されることができる。
【０２２０】
【数４８】
2010062953.tif 000050
【０２２１】
例えば、（ｍ＝３）クラスの不均等フルーエンシ補間函数
【０２２２】
【数４９】
2010062953.tif 000051
【０２２３】
は、図２７に示すような函数である。
【０２２４】
不均等補間フルーエンシ関数
【０２２５】
【数５０】
2010062953.tif 000052
【０２２６】
は、度数２の８部分多項式から成り、（ｍ＝３）クラスの不均等補間フルーエンシ関数は、図２７で示すようにｓ１（ｘ）〜Ｓ８（ｘ）に指定される不均等の間隔で定められ、その構成要素は、次の式（１７）で与えられる。
【０２２７】
【数５１】
2010062953.tif 000053
【０２２８】
ここで、
【０２２９】
【数５２】
2010062953.tif 000054
【０２３０】
である。
【０２３１】
ここで、高解像度補間の実例を図２８に示す。
【０２３２】
また、図２９は、補間のためのピクセル構造の具体例を示している。
【０２３３】
図２９において、Frame_1のピクセルは、Frame_2でピクセルを変える異なる動きベクトル
【０２３４】
【数５３】
2010062953.tif 000055
【０２３５】
を持つ。
【０２３６】
図２８は２つの連続的なフレームから一次元イメージ補間の概念を例示している。
【０２３７】
動き評価は、ブロック・サイズと検索ウィンドウ・サイズが知られている全検索ブロックマッチングのアルゴリズムによるものとされる。
【０２３８】
高解像度フレームピクセルは、f（τx，τy）によって表され、ピクセル構造は、図２９の高解像度補間アプローチの１例に示すようである。
【０２３９】
第１のステップでは、ビデオ・シーケンスから２つの連続的なフレームを得て、ｆ１（ｘ，ｙ）とｆ２（ｘ，ｙ）によって表す。
【０２４０】
第２のステップでは、動きベクトルの初期推定を行う。
【０２４１】
【数５４】
2010062953.tif 000056
【０２４２】
にて、動きベクトルの初期推定を行う。
【０２４３】
ここで、
【０２４４】
【数５５】
2010062953.tif 000057
【０２４５】
である。
【０２４６】
式(１８)において、
【０２４７】
【数５６】
2010062953.tif 000058
【０２４８】
はサーチウインドウの平均を表し、そして、
【０２４９】
【数５７】
2010062953.tif 000059
【０２５０】
はマッチングにおける現ブロックの平均を表す。
【０２５１】
第３のステップでは、式（１２）と式（１７）を用いた全ピクセル
【０２５２】
【数５８】
2010062953.tif 000060
【０２５３】
のために、第２ステップから動きベクトル
【０２５４】
【数５９】
2010062953.tif 000061
【０２５５】
付近の一つのピクセルの中から動きベクトルを得る。
【０２５６】
第４のステップでは、以下の通りに均等水平補間を実行する。
【０２５７】
【数６０】
2010062953.tif 000062
【０２５８】
第５のステップでは、第４のステップで得られるピクセルを使っている不均等垂直補間を式（２０）により実行する。
【０２５９】
【数６１】
2010062953.tif 000063
【０２６０】
第４のステップと第５のステップは、高解像度イメージで全てのピクセルのために繰り返される。
【０２６１】
フルーエンシ理論に基づく動画符号化では、原信号に適した信号空間を選択し、函数化を行うことでシャープさを保存したまま高圧縮化することができる。
【０２６２】
フルーエンシ理論に基づいて、フレーム間の相関函数の属する函数空間を正確に決定することにより、任意精度で動きベクトルを求めることができる。
【０２６３】
フルーエンシ理論に基づく動画符号化では、原信号に適した信号空間を選択し、函数化を行うことでシャープさを保存したまま高圧縮化することができる。
【０２６４】
このように、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成することで、フレーム数を増減しても鮮明で円滑な動きの映像信号を得ることができ、表示器にあったフレームレートで鮮明で円滑な動きの映像表示を行うことができる。
【０２６５】
例えば、図３０の（Ａ）に示すように、フレームｋとフレームｋ＋１の間の任意時刻におけるフレームを生成する場合、均等補間により補間フレームＦ（ｋ＋１／２）を生成して１／２精度の動き推定により求められる動き情報を用いてブロックマッチングにより対応点の階調値を１／２精度で生成する従来の高フレームレート化処理では、図３０の（Ｂ１），（Ｃ１）に示すように、挿入される補間フレームの画像は動きのある部分が劣化するが、上記高フレームレート化処理部４０のように、対応点推定処理を行って推定した対応点の階調値を用いて均等補間により補間フレームの対応点の階調値を生成し、さらに、不均等補間により補間フレームの対応点の階調値を生成する高フレームレート化処理では、図３０の（Ｂ２），（Ｃ２）に示すように、動きのある部分が劣化することなく高フレームレート化することができた。
【０２６６】
この映像信号変換システム１００では、撮像装置等の画像入力部１０から入力される画像情報に前処理部２０によりノイズ除去処理を施し、上記前処理部２０によりノイズ除去処理が施された画像情報を圧縮符号化処理部３０により圧縮符号化し、上記高フレームレート化処理部４０において、フレーム間の映像対応点を追跡し、その時間推移を函数表現して、原フレームと変換するフレーム数との比で函数補間フレームを生成することで、上記圧縮符号化処理部３０により圧縮符号化された画像情報を高フレームレート化することにより、鮮明で円滑な動きの映像信号を得ることができる。
【図面の簡単な説明】
【０２６７】
【図１】フレームレート変換装置の構成例を示すブロック図である。
【図２】上記フレームレート変換装置による高フレームレート化処理を模式的に示す図である。
【図３】上記フレームレート変換装置による高フレームレート化処理の実行手順を示すフローチャートである。
【図４】上記フレームレート変換装置による高フレームレート化処理の内容を模式的に示す図である。
【図５】上記フレームレート変換装置おける不均等補間処理の説明に供する図である。
【図６】画像の解像度を変換した際に新たに生成された画素位置の値を決める画像補間処理の説明に供する図である。
【図７】均等補間函数と不均等補間函数の例を示す図である。
【図８】上記画像補間処理の内容を模式的に示す図である。
【図９】拡大補間処理装置の構成例を示すブロック図である。
【図１０】上記拡大補間処理装置におけるＳＲＡＭ選択部の構成例を示すブロック図である。
【図１１】上記拡大補間処理装置における画像処理ブロックの構成例を示すブロック図である。
【図１２】上記拡大補間処理装置における画像処理モジュールに入力される２つのフレーム画像を模式的に示す図である。
【図１３】上記拡大補間処理装置における拡大補間処理の手順を示すフローチャートである。
【図１４】拡大補間処理機能を有するフレームレート変換装置の構成例を示すブロック図である。
【図１５】本発明を適用した映像信号変換システムの構成を示すブロック図である。
【図１６】上記映像信号変換システムにおける前処理部を構築するために用いるシステムモデルを示すブロック図である。
【図１７】上記映像信号変換システムにおける前処理部を構築するために用いるリストレーションシステムモデルを示すブロック図である。
【図１８】上記前処理部に用いる逆フィルタの特性の各処理の手順を示すフローチャートである。
【図１９】上記映像信号変換システムにおける圧縮符号化処理部の構成を示すブロック図である。
【図２０】上記圧縮符号化処理部に備えられた対応点推定部の構成を示すブロック図である。
【図２１】フレーム間の相関関数が属する２ｍ次補間を行う空間の説明に供する図である。
【図２２】上記対応点推定部による対応点推定による動きベクトルの決定の様子を模式的に示す図である。
【図２３】上記対応点推定部による対応点推定により決定した動きベクトルと、従来のブロックマッチングにより決定された動きベクトルとを比較して示す図である。
【図２４】上記圧縮符号化処理部に備えられた動き函数化処理部で扱うフレーム画像の原点の説明に供する図である。
【図２５】各フレームの画像の動きを各フレームのX座標、Y座標の動きとして模式的に示す図である。
【図２６】フレーム間の位置を推定処理の内容を模式的に示す図である。
【図２７】（ｍ＝３）クラスの不均等フルーエンシ補間函数を示す図である。
【図２８】高解像度補間アプローチの実例を示す図である。
【図２９】補間のためのピクセル構造の具体例を示す図である。
【図３０】上記高フレームレート化処理部により生成される中間フレームと従来手法により生成される中間フレームとを比較して示す図である。
【符号の説明】
【０２６８】
１  フレームレート変換装置、２  対応点推定処理部、３  第１の階調値生成処理部、４  第２の階調値生成処理部、５  第３の階調値生成処理部５、１０  画像入力部、２０  前処理部、２１  劣化モデル、２２  逆フィルタ、３０  圧縮符号化処理部、４０  高フレームレート化処理部、１００  映像信号変換システム、１１０  フレームレート変換装置、１１１  第１の函数近似処理部、１１２  対応点推定処理部、１１３  第２の函数近似処理部、１１４  第３の函数近似処理部
【図１】
2010062953.tif 000064
【図２】
2010062953.tif 000065
【図３】
2010062953.tif 000066
【図４】
2010062953.tif 000067
【図５】
2010062953.tif 000068
【図６】
2010062953.tif 000069
【図７】
2010062953.tif 000070
【図８】
2010062953.tif 000071
【図９】
2010062953.tif 000072
【図１０】
2010062953.tif 000073
【図１１】
2010062953.tif 000074
【図１２】
2010062953.tif 000075
【図１３】
2010062953.tif 000076
【図１４】
2010062953.tif 000077
【図１５】
2010062953.tif 000078
【図１６】
2010062953.tif 000079
【図１７】
2010062953.tif 000080
【図１８】
2010062953.tif 000081
【図１９】
2010062953.tif 000082
【図２０】
2010062953.tif 000083
【図２１】
2010062953.tif 000084
【図２２】
2010062953.tif 000085
【図２３】
2010062953.tif 000086
【図２４】
2010062953.tif 000087
【図２５】
2010062953.tif 000088
【図２６】
2010062953.tif 000089
【図２７】
2010062953.tif 000090
【図２８】
2010062953.tif 000091
【図２９】
2010062953.tif 000092
【図３０】
2010062953.tif 000093