(57)【要約】【課題】動きベクトルを用いて、時刻の異なる複数の入力画像に基づき出力画像を生成することにより、処理負荷を過度に増大させることなく高画質化されたフレームレート変換処理が可能とする。【解決手段】時間的に連続する入力画像Ａと画像Ｂから動きベクトルを検出する。そして画像Ａに対し、画像Ａと画像Ｂにより検出された動きベクトルとを利用して、画像Ａと画像Ｂの中間時刻の動き補償画像を生成する。一方、入力画像における画像Ｂと、検出された動きベクトルとを利用して、画像Ａと画像Ｂの中間時刻の動き補償画像を生成する。そして生成されたこれら２つの中間時刻の動き補償画像をブレンドし、得られた生成画像（画像Ｃ）を画像Ａと画像Ｂの中間時刻の画像として出力し、フレームレート変換を行う。【選択図】図２
2011244330.tif 000002
【特許請求の範囲】
【請求項１】
入力画像のフレームレートを変換して出力する画像処理装置により実行されるフレームレート変換方法であって、
前記映像処理装置に入力した入力画像間の動きを検出して動きベクトルを求める動きベクトル検出ステップと、
該動きベクトル検出ステップで検出した動きベクトルを用いて、動き補償された画像を生成する動き補償ステップと、
該動き補償ステップで生成された動き補償された画像を含む複数の画像を混合する混合ステップとを有し、
該混合ステップは、時刻の異なる入力画像の成分を混合することを特徴とするフレームレート変換方法。
【請求項２】
請求項１に記載のフレームレート変換方法において、
前記動き補償ステップは、時刻の異なる複数の入力画像のそれぞれに基づいて生成した複数の動き補償画像を生成し、
前記混合ステップは、前記動き補償ステップで生成された複数の動き補償画像を混合することにより、前記入力画像間の画像を生成して前記フレームレートを変換することを特徴とするフレームレート変換方法。
【請求項３】
請求項１に記載のフレームレート変換方法において、
前記動き補償ステップは、時刻の異なる複数の入力画像のうち、一部の入力画像に対応する出力画像に基づいて動き補償画像を生成し、かつ、他の入力画像に基づいて動き補償画像を生成し、
前記混合ステップは、前記動き補償ステップで生成した動き補償画像を混合して、前記入力画像間の画像を生成することにより、前記フレームレートを変換することを特徴とするフレームレート変換方法。
【請求項４】
請求項１に記載のフレームレート変換方法において、
前記動き補償ステップは、入力画像に対応する出力画像に基づいて生成した動き補償画像により、前記入力画像間の画像を生成し、かつ、時刻の異なる複数の入力画像のうち、一部の入力画像に対応する出力画像に基づいて他の入力画像の時刻に対応する動き補償画像を生成し、
前記混合ステップは、前記動き補償ステップで生成した前記他の入力画像の時刻に対応する動き補償画像と、前記他の入力画像とを混合することを特徴とするフレームレート変換方法。
【請求項５】
入力画像のフレームレートを変換して出力するフレームレート変換装置であって、
該フレームレート変換装置に入力した入力画像間の動きを検出して動きベクトルを求める動きベクトル検出部と、
該動きベクトル検出部で検出した動きベクトルを用いて、動き補償された画像を生成する動き補償部と、
該動き補償部で生成された動き補償された画像を含む複数の画像を混合する混合部とを有し、
該混合部は、時刻の異なる入力画像の成分を混合することを特徴とするフレームレート変換装置。
【請求項６】
請求項５に記載のフレームレート変換装置において、
前記動き補償部は、時刻の異なる複数の入力画像のそれぞれに基づいて生成した複数の動き補償画像を生成し、
前記混合部は、前記動き補償部で生成された複数の動き補償画像を混合することにより、前記入力画像間の画像を生成して前記フレームレートを変換することを特徴とするフレームレート変換装置。
【請求項７】
請求項５に記載のフレームレート変換装置において、
前記動き補償部は、時刻の異なる複数の入力画像のうち、一部の入力画像に対応する出力画像に基づいて動き補償画像を生成し、かつ、他の入力画像に基づいて動き補償画像を生成し、
前記混合部は、前記動き補償部で生成した動き補償画像を混合して、前記入力画像間の画像を生成することにより、前記フレームレートを変換することを特徴とするフレームレート変換装置。
【請求項８】
請求項５に記載のフレームレート変換装置において、
前記動き補償部は、入力画像に対応する出力画像に基づいて生成した動き補償画像により、前記入力画像間の画像を生成し、かつ、時刻の異なる複数の入力画像のうち、一部の入力画像に対応する出力画像に基づいて他の入力画像の時刻に対応する動き補償画像を生成し、
前記混合部は、前記動き補償ステップで生成した前記他の入力画像の時刻に対応する動き補償画像と、前記他の入力画像とを混合することを特徴とするフレームレート変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレームレート変換方法及び装置に関し、より具体的には、動き補償により複数の時刻の画像の成分を用いて出力画像を生成することにより、入力画像を高画質化するための技術に関わるものである。
【背景技術】
【０００２】
最初に、動き検出部、及び動き補償部を有するフレームレート変換装置の一例として、６０Ｈｚのフレームレートの動画像が入力されたときに、動画像のフレームレートを倍に変換する処理を図９に示す。
図９の（１）の画像９０１，９０２，９０３は、時間的に連続して入力された画像である。物体９０４，９０５，９０６の画面上の位置より、物体は画面内を右下方向に一定の速度で移動している。
【０００３】
図９の（２）は、（１）の入力動画像のフレームレートを２倍に変換した出力動画像を示している。出力画像９０７，９０９，９１１は、入力画像９０１，９０２，９０３と同じ画像であり、出力画像９０８，９１０は新たに生成された画像である。新たに生成された出力画像９０８，９１０の中にある物体９１２，９１３は、入力画像の物体の動き方向を検出し、入力画像の中間時刻の物体の位置を計算して、入力画像の動き補償により生成される。
【０００４】
図９の処理を実現するためのブロック図の一例を図１０に示す。フレームメモリ１００１は、入力画像を蓄積し、図示しないタイミングコントローラからの制御により最適なタイミングで動きベクトル検出部１００２、及びフレーム生成部（動き補償部）１００３に画像を供給する。
動きベクトル検出部１００２は、時間的に連続する画像Ａ、画像Ｂをフレームメモリ１００１より読み出し、画像間の物体の動きを検出する。
フレーム生成部１００３は、フレームメモリ１００１より供給された画像Ｃと動きベクトル検出部１００２より出力された動きベクトルより、動き補償画像を生成し出力する。
また、フレーム生成部１００３は、図９の（２）の出力画像９０７，９０９，９１１のように入力画像を出力画像とする場合には、フレームメモリ１００１より読み出した画像Ｃをそのまま出力する。
【０００５】
上記の画像Ａ、Ｂ，Ｃについてさらに具体的に説明する。
図１１に示すように画像Ａと画像Ｂは、入力画像における時間的に連続する画像である。動きベクトル検出部１００２によって画像Ａと画像Ｂから動きベクトルを検出する。ここで画像Ｃとしては、画像Ａを用いる。フレーム生成部１００３では、フレームメモリ１００１から読み出した画像Ｃ（＝画像Ａ）に対し、動きベクトル検出部１００２で検出した動きベクトルを利用して画像Ａと画像Ｂとの間の中間時刻の画像を生成し、出力する。また、画像Ａ，Ｂをそのまま出力画像とする場合には、フレームメモリ１００１から読み出した画像Ｃをそのまま出力する。
【０００６】
また、図１２に示すように、画像Ｃとして画像Ｂを用いてもよい。この場合には、フレーム生成部１００３では、フレームメモリ１００１から読み出した画像Ｃ（＝画像Ｂ）に対し、動きベクトル検出部１００２で検出した動きベクトルを利用して画像Ａと画像Ｂとの間の中間時刻の画像を生成し、出力する。また、画像Ａ，Ｂをそのまま出力画像とする場合には、フレームメモリ１００１から読み出した画像Ｃをそのまま出力する。
【０００７】
図１０の動きベクトル検出部１００２の処理の一例を図１３に示す。動きベクトル検出部１００２は、動き元画像１３０１と動き先画像１３０２の間の物体の動きを検出する。複数の物体の動きに対応するため、動き元画像１３０１を格子状に複数のブロックに分割し、各ブロックの動きベクトルを検出する。例えば、動き元画像のブロック１３０５に対する動きベクトルは、動き先画像の同じ位置のブロック１３０６を中心とした動き探索範囲１３０７の領域の中から検出される。図１３の例では、ブロック１３０５の移動先のブロックとしてブロック１３０８が検出され、ブロック１３０５よりブロック１３０８へのベクトルが動きベクトルとなる。
【０００８】
次に、時刻の異なる複数の画像を用いた高画質化装置の一例を図１４に示す。図１４の（１）の画像１４０１，１４０２，１４０３は、時間的に連続して入力された画像である。物体１４０４，１４０５，１４０６の画面上の位置より、物体は画面内を右下方向に一定の速度で移動している。図１４の（２）は、高画質化処理の出力画像を示す。出力画像１４０７は、入力画像１４０１に対して動きベクトル１より動き補償された画像と、入力画像１４０２とをブレンド（混合）することにより生成される。
【０００９】
図１４の処理を実現するためのブロック図の一例を図１５に示す。フレームメモリ１５０１は、入力画像を蓄積し、図示しないタイミングコントローラからの制御により最適なタイミングで動きベクトル検出部１５０２、フレーム生成部（動き補償部）１５０３、及びブレンド部１５０４に画像を供給する。
動きベクトル検出部１５０２は、フレームメモリ１５０１より時間的に連続する画像Ａ、画像Ｂを読み出し、画像間の物体の動きを検出する。フレーム生成部１５０３は、フレームメモリ１５０１より供給された画像Ｃと動きベクトル検出部１５０２より出力された動きベクトルより、動き補償画像を生成し出力する。ブレンド部１５０４は、フレーム生成部１５０３から出力された動き補償画像と、フレームメモリ１５０１より供給された画像Ｄとをブレンドして出力する。
【００１０】
図１５の画像Ａ，Ｂ，Ｃ，Ｄについてさらに具体的に説明する。
図１６に示すように画像Ａと画像Ｂは、入力画像における時間的に連続する画像である。動きベクトル検出部１５０２によって画像Ａと画像Ｂから動きベクトルを検出する。ここで画像Ｃとしては、画像Ａを用いる。フレーム生成部１５０３では、フレームメモリ１５０１から読み出した画像Ｃ（＝画像Ａ）に対し、動きベクトル検出部１５０２で検出した動きベクトルを利用して画像Ａと画像Ｂとの間の中間時刻の画像を生成し、出力する。ブレンド部１５０４では、フレームメモリ１５０１から読み出した画像Ｄ（＝画像Ｂ）を用い、この画像Ｄとフレーム生成部１５０３で生成した中間時刻の画像とをブレンドする。これにより、画像Ａ，Ｂ，Ｃ，Ｄに対する出力画像が得られる。また、画像Ａ，Ｂをそのまま出力画像とする場合には、フレームメモリ１５０１から読み出した画像Ｃ、画像Ｄをそのまま出力する。
【００１１】
上記のブレンド処理についてさらに具体的に説明する。
ブレンド処理は、２つの画像の信号成分を混合するもので、例えば、画像Ａと画像Ｂとブレンドした結果を画像Ｃとすると、
画像Ｃ＝画像Ａ  ×  ブレンド比率  ＋  画像Ｂ  ×  （１−ブレンド比率）
となる。
一般的に、ブレンド比率は、画像内の画素位置ごとに画像Ａと画像Ｂの類似度により求める。具体的には、類似度が高い場合（画像Ａと画像Ｂとの差分が小さい場合）、ブレンド比を大きくする。
【００１２】
図１７により、ブレンドによる高画質化する処理をさらに具体的に説明する。
例えば、撮影時刻の異なる入力画像には、撮影時、アナログ伝送時、ＭＰＥＧ等による圧縮符号化時、等にノイズｎ１，ｎ２，ｎ３が混入する。これらのノイズは、全く同じではなく、入力画像ごとに異なっている。従って、撮影時刻の異なる画像をブレンドすることによってランダム状のノイズが中和され、得られた画像のノイズ感を低減させることができる。
【００１３】
また、図１８に示すように、インタレース画像に対して各フィールド画像ごとにＩＰ変換により補間ラインを生成し、スケーラによりスケーリングしてパネルサイズの画像に変換する場合、隣接画像の物体の形状ｆ１，ｆ２，ｆ３が微妙に変化してしまう。また、物体の移動距離は、撮影画像ピッチと無関係のため、隣接する動画像は完全に一致しない。このような場合にも、撮影時刻の異なる画像をブレンドすることにより、物体の情報量が増えて画質を向上させることができる。
【００１４】
図１５の例では、フレーム生成部１５０３で生成した動き補償画像と入力画像Ｄとをブレンド部１５０４でブレンドしているが、これらの画像が同じ画像の場合には、ブレンドしても画像は変化しない。しかし、通常は、ブレンドされる画像は、上記のようにノイズやスケーリング処理により全く同じ画像にはならない。従って、画像をブレンドすることによって画質を向上させることができる。
【００１５】
次に、時刻の異なる複数の画像を用いた高画質化装置の別の例を図１９、及び図２０に示す。上記の図１７，図１８に示すように、撮影時刻の異なる画像は一般にノイズ等によって異なる画像になっている。従って、撮影時刻の異なる２フレームの画像のみならず、３フレーム以上の画像をブレンドしたり、過去の出力画像を用いてブレンドすることにより、ランダム状のノイズの低減による画質向上効果や、移動物体の情報量が増えることによる画質向上効果が期待できる。
【００１６】
図１９は、３フレーム以上の入力画像を用いて出力画像を生成する処理を示すもの（非巡回型）であり、図２０は、入力画像と過去の出力画像を用いて出力画像を生成する処理を示すもの（巡回型）である。
図１９に示す処理の場合には、時間的に連続する複数の入力画像について動きベクトルを検出する。そして検出した動きベクトルを利用して、特定の入力画像に対応する時刻の動き補償画像を生成し、これらの動き補償画像を上記特定の入力画像とブレンドすることによって画質向上を図っている。
【００１７】
また、図２０の場合には、時間的に連続する複数の入力画像について動きベクトルを検出する。そして検出した動きベクトルを出力画像に適用して、特定の入力画像に対応する時刻の動き補償画像を生成し、生成した動き補償画像を上記特定の入力画像とブレンドすることによって画質向上を図っている。
【００１８】
入力画像の複数のフレームを利用して高画質化を行うための技術に関して、例えば、非特許文献１には、複数のフレーム間で超解像処理を行う例が示されている。
【先行技術文献】
【非特許文献】
【００１９】
【非特許文献１】日経エレクトロニクス，２００９．２．９号，「美に挑む規格外テレビ」，日本経済新聞社
【発明の概要】
【発明が解決しようとする課題】
【００２０】
フレームレート変換処理と高画質化処理は、動き検出処理と動き補償処理を必要とする。画像間の動き検出処理、動き補償処理には、大きなメモリと演算処理が必要となる。このため、フレームレート変換処理と高画質化処理を独立して行うと、処理全体のメモリ量、演算量が大きくなってしまう。非特許文献１に記載された処理においても、画像処理時の処理量が多いという課題がある。
【００２１】
本発明は、上述のごとき実情に鑑みてなされたもので、動きベクトルを用いて、時刻の異なる複数の入力画像に基づき出力画像を生成することにより、処理負荷を過度に増大させることなく高画質化されたフレームレート変換処理を可能とするフレームレート変換方法、及び装置を提供することを目的とするものである。
【課題を解決するための手段】
【００２２】
上記課題を解決するために、本発明の第１の技術手段は、入力画像のフレームレートを変換して出力する画像処理装置により実行されるフレームレート変換方法であって、前記映像処理装置に入力した入力画像間の動きを検出して動きベクトルを求める動きベクトル検出ステップと、該動きベクトル検出ステップで検出した動きベクトルを用いて、動き補償された画像を生成する動き補償ステップと、該動き補償ステップで生成された動き補償された画像を含む複数の画像を混合する混合ステップとを有し、該混合ステップは、時刻の異なる入力画像の成分を混合することを特徴としたものである。
【００２３】
第２の技術手段は、第１の技術手段において、前記動き補償ステップが、時刻の異なる複数の入力画像のそれぞれに基づいて生成した複数の動き補償画像を生成し、前記混合ステップは、前記動き補償ステップで生成された複数の動き補償画像を混合することにより、前記入力画像間の画像を生成して前記フレームレートを変換することを特徴としたものである。
【００２４】
第３の技術手段は、第１の技術手段において、前記動き補償ステップが、時刻の異なる複数の入力画像のうち、一部の入力画像に対応する出力画像に基づいて動き補償画像を生成し、かつ、他の入力画像に基づいて動き補償画像を生成し、前記混合ステップは、前記動き補償ステップで生成した動き補償画像を混合して、前記入力画像間の画像を生成することにより、前記フレームレートを変換することを特徴としたものである。
【００２５】
第４の技術手段は、第１の技術手段において、前記動き補償ステップが、入力画像に対応する出力画像に基づいて生成した動き補償画像により、前記入力画像間の画像を生成し、かつ、時刻の異なる複数の入力画像のうち、一部の入力画像に対応する出力画像に基づいて他の入力画像の時刻に対応する動き補償画像を生成し、前記混合ステップは、前記動き補償ステップで生成した前記他の入力画像の時刻に対応する動き補償画像と、前記他の入力画像とを混合することを特徴としたものである。
【００２６】
第５の技術手段は、入力画像のフレームレートを変換して出力するフレームレート変換装置であって、該フレームレート変換装置に入力した入力画像間の動きを検出して動きベクトルを求める動きベクトル検出部と、該動きベクトル検出部で検出した動きベクトルを用いて、動き補償画像を生成する動き補償部と、該動き補償部で生成された動き補償された画像を含む複数の画像を混合する混合部とを有し、該混合部は、時刻の異なる入力画像の成分を混合することを特徴としたものである。
【００２７】
第６の技術手段は、第５の技術手段において、前記動き補償部が、時刻の異なる複数の入力画像のそれぞれに基づいて生成した複数の動き補償画像を生成し、前記混合部は、前記動き補償部で生成された複数の動き補償画像を混合することにより、前記入力画像間の画像を生成して前記フレームレートを変換することを特徴としたものである。
【００２８】
第７の技術手段は、第５の技術手段において、前記動き補償部が、時刻の異なる複数の入力画像のうち、一部の入力画像に対応する出力画像に基づいて生成した動き補償画像を生成し、かつ、他の入力画像に基づいて生成した動き補償画像を生成し、前記混合部は、前記動き補償部で生成した動き補償画像を混合して、前記入力画像間の画像を生成することにより、前記フレームレートを変換することを特徴としたものである。
【００２９】
第８の技術手段は、第５の技術手段において、前記動き補償部が、入力画像に対応する出力画像に基づいて生成した動き補償画像により、前記入力画像間の画像を生成し、かつ、時刻の異なる複数の入力画像のうち、一部の入力画像に対応する出力画像に基づいて他の入力画像の時刻に対応する動き補償画像を生成し、前記混合部は、前記動き補償ステップで生成した前記他の入力画像の時刻に対応する動き補償画像と、前記他の入力画像とを混合することを特徴としたものである。
【発明の効果】
【００３０】
本発明によれば、動きベクトルを用いて、時刻の異なる複数の入力画像に基づき出力画像を生成することにより、処理負荷を過度に増大させることなく高画質化されたフレームレート変換処理が可能となる。特に本発明によれば、フレームレート変換処理と高画質化処理に必要な動き検出処理とを共通化することができ、これにより、処理量を大幅に削減することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の第１の実施形態によるフレームレート変換処理を説明する図である。
【図２】本発明の第１の実施形態を具体的に説明する図である。
【図３】本発明に係るフレームレート変換装置の構成例を説明するためのブロック図である。
【図４】本発明の第２の実施形態によるフレームレート変換処理を説明する図である。
【図５】本発明に係るフレームレート変換装置の他の構成例を説明するためのブロック図である。
【図６】本発明の第３の実施形態によるフレームレート変換処理を説明する図である。
【図７】本発明に係るフレームレート変換装置の更に他の構成例を説明するためのブロック図である。
【図８】発明明を４倍のフレームレート変換に適用したときの処理例を説明する図である。
【図９】従来の動画像のフレームレートを倍に変換する処理を説明するための図である。
【図１０】図９のフレームレートの変換処理を実現するためのブロック図の一例を示す図である。
【図１１】図９のフレームレート変換処理をさらに説明するための図である。
【図１２】図９のフレームレート変換処理をさらに説明するための他の図である。
【図１３】図１０の動きベクトル検出部の処理の一例を説明する図である。
【図１４】時刻の異なる複数の画像を用いた従来の高画質化装置の一例を説明する図である。
【図１５】図１４の処理を実現するためのブロック図である。
【図１６】図１４の処理をさらに具体的に説明する図である。
【図１７】ブレンドによる高画質化する処理を説明する図である。
【図１８】ブレンドによる高画質化する処理を説明する他の図である。
【図１９】時刻の異なる複数の画像を用いた従来の高画質化装置の他の例を説明する図である。
【図２０】時刻の異なる複数の画像を用いた従来の高画質化装置の更に他の例を説明する図である。
【発明を実施するための形態】
【００３２】
本発明に係る実施形態では、入力画像のフレームレートを変換する処理を行う際に、入力画像間の動きを検出して動きベクトルを求め、その動きベクトルを用いて入力画像のフレームレートを変換した出力画像を生成する。ここでは、時刻の異なる入力画像に基づいて生成した動き補償画像を使用し、時刻の異なる入力画像の成分を混合することにより入力画像間の画像を生成することにより、前記フレームレートを変換する。以下に本発明の実施形態をさらに具体的に説明する。
【００３３】
（実施形態１）
本発明の第１の実施の形態の処理による入力画像と出力画像を図１に示す。図１の（１）の画像１０１，１０２，１０３は、時間的に連続して入力された画像である。物体１０４，１０５，１０６の画面上の位置より、物体は画面内を右下方向に一定の速度で移動している。
【００３４】
図１の（２）は、（１）の入力動画像のフレームレートを２倍に変換した出力動画像を示している。出力画像１０７，１０９，１１１は、入力画像１０１，１０２，１０３とそれぞれ同じ時刻の対応する画像であり、出力画像１０８，１１０は、入力画像の中間時刻の画像である。また、図１の（２）の出力画像は、複数の入力画像をブレンドして生成している。画像をブレンドする処理は、本発明の画像の混合処理に相当する。出力画像１０８，１０９は、入力画像１０１，１０２より生成され、出力画像１１０，１１１は入力画像１０２，１０３より生成される。
【００３５】
図２は、上記の処理をさらに具体的に説明する図である。画像１０１，１０２，１０３は、時間的に連続して入力された画像である。ここで、画像１０１と画像１０２に注目する。これらの時間的に連続する入力画像を画像Ａ、画像Ｂとする。ここで、まず画像Ａと画像Ｂから動きベクトルを検出する。動きベクトルの検出方法については、適宜従来公知の方法を用いることができる。
【００３６】
そして入力画像における画像Ａに対し、画像Ａと画像Ｂにより検出された動きベクトルとを利用して、画像Ａと画像Ｂの中間時刻の動き補償画像を生成する。この動き補償画像は、画像Ａと画像Ｂの中間時刻の画像であるため、検出された動きベクトルの１／２の情報を利用する。一方、入力画像における画像Ｂと、検出された動きベクトルとを利用して、画像Ａと画像Ｂの中間時刻の動き補償画像を生成する。
そして生成されたこれら２つの中間時刻の動き補償画像をブレンドし、得られた生成画像（画像Ｃとする）を画像Ａと画像Ｂの中間時刻の画像として出力する。
【００３７】
出力画像として、画像Ｂに時刻が一致する画像Ｄを生成する場合には、図示しないが以下の処理となる。ここでは入力画像における画像Ａと、検出した動きベクトルとにより、画像Ｂと同時刻の動き補償画像を生成する。この場合、画像Ｂと同時刻の画像を生成するため、検出した動きベクトルの位置情報を利用する。そして画像Ａと動きベクトルから生成した動き補償画像と、画像Ｂとをブレンドし、得られた生成画像（画像Ｄ）を画像Ｂの同時刻の画像として出力する。これらの処理により、出力画像には、異なる時刻の入力画像の成分が混合されることになる。
【００３８】
図３は、本発明に係るフレームレート変換装置の構成例を説明するためのブロック図で、上記第１の実施形態の処理を実行するための構成例を示すものである。
図３において、入力画像はフレームメモリ２０１に書き込まれる。時刻の異なる入力画像（画像Ａ，画像Ｂ）がフレームメモリ２０１より読み出され、動きベクトル検出部２０２に供給される。動きベクトル検出部２０２は、供給された２フレームの画像間の動きを検出し、動きベクトルを生成する。
【００３９】
第１のフレーム生成部（動き補償部）２０３では、入力画像における画像Ａと、動きベクトル検出部２０２で検出された動きベクトルとを利用して、画像Ａと画像Ｂの中間時刻の動き補償画像を生成する。一方、第２のフレーム生成部（動き補償部）２０４では、入力画像における画像Ｂと、動きベクトル検出部２０２で検出された動きベクトルとを利用して、画像Ａと画像Ｂの中間時刻の動き補償画像を生成する。
【００４０】
ブレンド部（混合部）２０５では、これら第１及び第２のフレーム生成部２０３，２０４で生成された中間時刻の動き補償画像をブレンドし、得られた生成画像を画像Ａと画像Ｂの中間時刻の画像として出力する。
【００４１】
一方、出力画像として、画像Ｂに時刻が一致する画像を生成する場合、第１のフレーム生成部２０３では、入力画像における画像Ａと、動きベクトル検出部２０２で検出した動きベクトルとにより、画像Ｂと同時刻の動き補償画像を生成する。一方、第２のフレーム生成部２０４では、入力画像における画像Ｂを動き補償画像として出力する。そしてブレンド部２０５では、これら第１及び第２のフレーム生成部２０３，２０４から出力された画像Ｂと同じ時刻の画像をブレンドし、得られた生成画像を画像Ｂの同時刻の画像として出力する。
【００４２】
このように、本発明に係る第１の実施形態では、入力画像間の動きを検出して動きベクトルを求める動き検出部２０２と、動きベクトルを用いて出力画像を生成する第１及び第２のフレーム生成部（動き補償部）２０３，２０４を含むフレームレート変換装置において、検出した動きベクトルを用いて、時刻の異なる複数の入力画像のそれぞれに基づいて生成した複数の動き補償画像を混合して、入力画像間の画像を生成することにより、ランダム状のノイズを低減させ、また、移動物体の情報量が増えることによる画質向上を図ることができる。そしてこのときに、フレームレート変換処理と、高画質化処理に必要な動きベクトル検出処理とを共通化することができ、処理量を大幅に削減することができる。
【００４３】
（実施形態２）
本発明の第２の実施の形態の処理による入力画像と出力画像を図４に示す。図４の（１）の画像４０１，４０２，４０３は、時間的に連続して入力された画像である。物体４０４，４０５，４０６の画面上の位置より、物体は画面内を右下方向に一定の速度で移動している。
【００４４】
図４の（２）は、（１）の入力動画像のフレームレートを２倍に変換した出力動画像を示している。出力画像４０７，４０９，４１１は、それぞれ入力画像４０１，４０２，４０３と同じ時刻の画像であり、出力画像４０８，４１０は、入力画像の中間時刻の画像である。また、図４（２）の出力画像は、複数の入力画像の成分が含まれている。出力画像４０９は、過去の出力画像４０７と入力画像４０２より生成され、出力画像４０８は、出力画像４０９と入力画像４０２とより生成される。
【００４５】
ここで時間的に連続する入力画像４０１，４０２に注目し、これらの入力画像をそれぞれ画像Ａ、画像Ｂとする。画像Ｂに時刻が一致する出力画像（画像Ｅとする）は、入力画像Ｂと、入力画像Ａと同時刻の出力画像（画像Ｃとする）から生成されている。
【００４６】
画像Ａと画像Ｂの中間時刻の出力画像（画像Ｄとする）は、画像Ｄの１つ前の出力画像（画像Ｃ）と入力画像Ｂとにより生成される。ここでは、時間的に連続する入力画像Ａと画像Ｂにより動きベクトルを検出し、その動きベクトルを出力画像Ｃに適用して、画像Ｃと画像Ｅの中間時刻の動き補償画像を生成する。そしてこの一方、画像Ｂに動きベクトルを適用して画像Ａと画像Ｂと中間時刻の動き補償画像を生成する。これらの２つの動き補償画像をブレンドして、画像Ａと画像Ｂの中間時刻の画像Ｄを生成して出力する。
【００４７】
一方、画像Ｅを生成する場合、画像Ａと画像Ｂから検出した動きベクトルを画像Ｃに適用して、画像Ｂと同時刻の動き補償画像を生成する。そしてこの動き補償画像を画像Ｂとブレンドすることで画像Ｅを生成して出力する。
画像Ｃは、画像Ｅと同様に生成されたものであり、過去の出力画像に基づく動き補償画像と、その時刻の入力画像（画像Ａ）とがブレンドされた画像である。これらの処理により、出力画像には、異なる時刻の入力画像の成分が混合されることになる。
【００４８】
このように時刻の異なる複数の入力画像のうち、一部の入力画像に対応する出力画像に基づいて生成した動き補償画像と、他の入力画像に基づいて生成した動き補償画像とを混合して、入力画像間の画像を生成することにより、ランダム状のノイズ低減効果、および移動局物体の情報量が増えることによる画質向上効果が期待できる。
【００４９】
図５は、本発明に係るフレームレート変換装置の他の構成例を説明するためのブロック図で、上記第２の実施形態の処理を実行するための構成例を示すものである。
図５において、入力画像は、第１のフレームメモリ５０１に書き込まれる。第１のフレームメモリ５０１より時刻の異なる入力画像（画像Ａ、画像Ｂ）が読み出され、動きベクトル検出部５０２に供給される。動きベクトル検出部５０２は、供給された２フレームの画像間の動きを検出し、動きベクトルを生成する。
【００５０】
第１のフレーム生成部（動き補償部）５０３は、第２のフレームメモリ５０４より読みだされた画像（画像Ｃ）に対して、動きベクトル検出部５０２で検出された動きベクトルを適用し、画像Ａと画像Ｂとの中間時刻の動き補償画像を生成して、ブレンド部（混合部）５０５に供給する。一方第２のフレーム生成部（動き補償部）５０６は、入力画像の画像Ｂに対して、動きベクトル検出部５０２で検出された動きベクトルを適用し、画像Ａと画像Ｂとの中間時刻の動き補償画像を生成して、ブレンド部５０５に供給する。
ブレンド部５０５は、動き補償された２フレームの画像をブレンドして出力画像を生成する。
【００５１】
一方、出力画像として、画像Ｂに時刻が一致する出力画像を生成する場合、第１のフレーム生成部５０３では、第２のフレームメモリ５０４より読みだされた画像（画像Ｃ）に対して、動きベクトル検出部５０２で検出された動きベクトルを適用し、画像Ｂと同時刻の動き補償画像を生成して、ブレンド部５０５に供給する。一方第２のフレーム生成部５０６は、入力画像における画像Ｂを動き補償画像として出力する。そしてブレンド部５０５では、これら第１及び第２のフレーム生成部５０３，５０６から出力された画像Ｂと同じ時刻の画像をブレンドし、得られた生成画像を画像Ｂに対応する同時刻の画像として出力する。入力画像と同じ時刻の出力画像は、第２のフレームメモリ５０４に書き込まれる。
【００５２】
（実施形態３）
本発明の第３の実施の形態の処理による入力画像と出力画像を図６に示す。上記の実施形態２では、動き補償された２つの画像をブレンドして、入力画像の中間時刻の出力画像を生成していたが、動き補償画像を１フレームだけ用いて中間時刻の出力画像を生成するようにしてもよい。
【００５３】
図６の（１）の画像６０１，６０２，６０３は、時間的に連続して入力された画像である。物体６０４，６０５，６０６の画面上の位置より、物体は画面内を右下方向に一定の速度で移動している。
図６の（２）は、（１）の入力動画像のフレームレートを２倍に変換した出力動画像を示している。出力画像６０７，６０９，６１１は、それぞれ入力画像６０１，６０２，６０３と同じ時刻の画像であり、出力画像６０８，６１０は、入力画像の中間時刻の画像である。また、図６（２）の出力画像は、複数の入力画像の成分が含まれている。出力画像６０９は、過去の出力画像６０７と入力画像６０２より生成され、出力画像６０８は、出力画像６０７により生成される。
【００５４】
ここで時間的に連続する入力画像６０１，６０２に注目し、これらの入力画像をそれぞれ画像Ａ、画像Ｂとする。画像Ｂに時刻が一致する出力画像（画像Ｅとする）は、入力画像Ｂと、入力画像Ａと同時刻の出力画像（画像Ｃとする）から生成されている。
画像Ａと画像Ｂの中間時刻の出力画像（画像Ｄとする）は、画像Ｄの１つ前の出力画像（画像Ｃ）により生成される。ここでは、時間的に連続する入力画像Ａと画像Ｂにより動きベクトルを検出し、その動きベクトルを出力画像Ｃに適用して、画像Ｃと画像Ｅの中間時刻の動き補償画像を生成し、画像Ｄとして出力する。
【００５５】
一方、画像Ｅを生成する場合、画像Ａと画像Ｂから検出した動きベクトルを画像Ｃに適用して、画像Ｂと同時刻の動き補償画像を生成する。そしてこの動き補償画像を画像Ｂとブレンドすることで画像Ｅを生成して出力する。
画像Ｃは、画像Ｅと同様に生成されたものであり、過去の出力画像に基づく動き補償画像と、その時刻の入力画像（画像Ａ）とがブレンドされた画像である。これらの処理により、出力画像には、異なる時刻の入力画像の成分が混合されることになる。
【００５６】
このように、入力画像に対応する出力画像に基づいて生成した動き補償画像により、入力画像間の画像を生成し、このときに、上記の入力画像間の画像の生成に用いる入力画像に対応する出力画像を、時刻の異なる複数の入力画像のうち、一部の入力画像に対応する出力画像に基づいて生成した動き補償画像と、他の入力画像とを混合して生成することにより、ランダム状のノイズ低減効果、および移動局物体の情報量が増えることによる画質向上効果が期待できる。
【００５７】
図７は、本発明に係るフレームレート変換装置の構成例を説明するためのブロック図で、上記第３の実施形態の処理を実行するための構成例を示すものである。
図７において、入力画像は、第１のフレームメモリ７０１に書き込まれる。第１のフレームメモリ７０１より時刻の異なる入力画像（画像Ａ、画像Ｂ）が読み出され、動きベクトル検出部７０２に供給される。動きベクトル検出部７０２は、供給された２フレームの画像間の動きを検出し、動きベクトルを生成する。
【００５８】
フレーム生成部（動き補償部）７０３は、第２のフレームメモリ７０５より読みだされた画像（画像Ｃ）に対して、動きベクトル検出部７０２で検出された動きベクトルを適用し、画像Ａと画像Ｂとの中間時刻の動き補償画像を生成して、ブレンド部（混合部）７０４に供給する。中間時刻の画像については、ブレンド部７０４におけるブレンドを行わず、画像Ｄとして出力する。
一方、画像Ｂと同時刻の画像Ｅを生成する場合、フレーム生成部７０３では、第２のフレームメモリ７０５から読み出された画像（画像Ｃ）に対して、動きベクトル検出部７０２で検出された動きベクトルを適用し、画像Ｂと同時刻の動き補償画像を生成して、ブレンド部７０４に供給する。ブレンド部７０４では、この動き補償画像を画像Ｂとブレンドして、画像Ｅとして出力する。入力画像と同じ時刻の出力画像は、第２のフレームメモリ７０５に書き込まれる。
【００５９】
（実施形態４）
上記の各実施形態では、フレームレートを２倍に変換する処理例を示しているが、本発明に係るフレームレート変換処理は、２倍のフレームレート変換に限定するものではなく、例えば、図８に示すような４倍のフレームレート変換にも適用できる。
時間的に連続する入力画像８０１，８０２から動きベクトルを検出し、検出した動きベクトルを利用して、入力画像８０１、８０２の間の１／４の時刻の画像８０４を生成する。ここでは、出力画像８０３に動きベクトルを適用して１／４の時刻の動き補償画像を生成するともに、入力画像８０２に動きベクトルを適用して、１／４の時刻の動き補償画像を生成し、これら２つの動き補償画像をブレンドすることで、出力画像８０４を生成して出力する。
【００６０】
上記のように出力画像に基づく動き補償画像と、入力画像に基づく動き補償画像とをブレンドすることで、画像８０１，８０２間の１／２の時刻、３／４の時刻についても出力画像８０５、８０６をそれぞれ生成できる。また、画像８０２と同時刻の出力画像８０７については、出力画像８０３に対して動きベクトルを適用した動き補償画像と、入力画像８０２とをブレンドすることにより生成する。
このように、本発明に係る実施形態では、変換後のフレームレートを限定することなく、４倍等の任意のフレームレートに適宜適用することができる。
【符号の説明】
【００６１】
１０１，１０２，１０３…入力画像、１０４，１０５，１０６…物体、１０７，１０８，１０９，１１０，１１１…出力画像、２０１…フレームメモリ、２０２…ベクトル検出部、２０３…第１のフレーム生成部、２０４…第２のフレーム生成部、２０５…ブレンド部、４０１，４０２，４０３…入力画像、４０７〜４１１…出力画像、５０１…第１のフレームメモリ、５０２…動きベクトル検出部、５０３…第１のフレーム生成部、５０４…第２のフレームメモリ、５０５…ブレンド部、５０６…第２のフレーム生成部、６０１，６０２，６０３…入力画像、６０４，６０５，６０６…物体、６０７〜６１１…出力画像、７０１…第１のフレームメモリ、７０２…動きベクトル検出部、７０３…フレーム生成部、７０４…ブレンド部、７０５…第２のフレームメモリ、８０１，８０２…入力画像、８０３〜８０７…出力画像、９０１，９０２，９０３…入力画像、９０４，９０５，９０６…物体、９０７〜９１１…出力画像、９１２，９１３…物体、１００１…フレームメモリ、１００２…ベクトル検出部、１００３…フレーム生成部、１３０１…動き元画像、１３０２…動き先画像、１３０３，１３０４…物体、１３０５，１３０６…ブロック、１３０７…探索範囲、１３０８…ブロック、１４０１〜１４０３…入力画像、１４０４，１４０５，１４０６…物体、１４０７，１４０８…出力画像、１５０１…フレームメモリ、１５０２…ベクトル検出部、１５０３…フレーム生成部、１５０４…ブレンド部。
【図１】
2011244330.tif 000003
【図２】
2011244330.tif 000004
【図３】
2011244330.tif 000005
【図４】
2011244330.tif 000006
【図５】
2011244330.tif 000007
【図６】
2011244330.tif 000008
【図７】
2011244330.tif 000009
【図８】
2011244330.tif 000010
【図９】
2011244330.tif 000011
【図１０】
2011244330.tif 000012
【図１１】
2011244330.tif 000013
【図１２】
2011244330.tif 000014
【図１３】
2011244330.tif 000015
【図１４】
2011244330.tif 000016
【図１５】
2011244330.tif 000017
【図１６】
2011244330.tif 000018
【図１７】
2011244330.tif 000019
【図１８】
2011244330.tif 000020
【図１９】
2011244330.tif 000021
【図２０】
2011244330.tif 000022