(57)【要約】【課題】動き検出処理の処理量を増やさずに、動き探索範囲を拡げて正確な動きベクトルを検出することが可能なフレームレート変換装置を提供する。【解決手段】フレームレート変換装置は、入力された動画像における画像を縮小する縮小処理部９０３と、縮小された画像間の動きベクトルを検出する動きベクトル検出部９０４と、検出された動きベクトルを拡大する拡大処理部９０５と、拡大された動きベクトルを用いて、動画像における画像から新たな画像を生成するフレーム生成部９０６とを備え、縮小処理部９０３における画像の縮小倍率と拡大処理部９０５における動きベクトルの拡大倍率とを制御することにより、動きベクトルの探索範囲を制御する。【選択図】図９
2010161712.tif 000002
【特許請求の範囲】
【請求項１】
入力された動画像における画像間の動きベクトルを検出し該動きベクトルを用いて新たな画像を生成することにより、前記動画像のフレームレートを変換するフレームレート変換装置において、前記動画像における画像を縮小する画像縮小手段と、該画像縮小手段で縮小された画像間の動きベクトルを検出する動きベクトル検出手段と、該動きベクトル検出手段で検出された動きベクトルを拡大する動きベクトル拡大手段と、該動きベクトル拡大手段で拡大された動きベクトルを用いて、前記動画像における画像から前記新たな画像を生成する画像生成手段とを備え、前記画像縮小手段における画像の縮小倍率と前記動きベクトル拡大手段における動きベクトルの拡大倍率とを制御することにより、動きベクトルの探索範囲を制御することを特徴とするフレームレート変換装置。
【請求項２】
前記動画像の素材を検出する素材検出手段を備え、該素材検出手段における前記動画像の素材の検出結果に応じて、画像の縮小倍率と動きベクトルの拡大倍率とを制御することにより、前記探索範囲を制御することを特徴とする請求項１に記載のフレームレート変換装置。
【請求項３】
前記動画像のフレームレートに応じて、画像の縮小倍率と動きベクトルの拡大倍率とを制御することにより、前記探索範囲を制御することを特徴とする請求項１に記載のフレームレート変換装置。
【請求項４】
前記動きベクトル検出手段における動きベクトル検出結果の統計値に応じて、画像の縮小倍率と動きベクトルの拡大倍率とを制御することにより、前記探索範囲を制御することを特徴とする請求項１に記載のフレームレート変換装置。
【請求項５】
入力された動画像における画像間の動きベクトルを検出し該動きベクトルを用いて新たな画像を生成することにより、前記動画像のフレームレートを変換するフレームレート変換方法において、
画像縮小手段が、前記動画像における画像を縮小する画像縮小ステップと、
動きベクトル検出手段が、前記画像縮小ステップで縮小された画像間の動きベクトルを検出する動きベクトル検出ステップと、
動きベクトル拡大手段が、前記動きベクトル検出ステップで検出された動きベクトルを拡大する動きベクトル拡大ステップと、
画像生成手段が、前記動きベクトル拡大ステップで拡大された動きベクトルを用いて、前記動画像における画像から前記新たな画像を生成する画像生成ステップと、
制御手段が、前記画像縮小ステップにおける画像の縮小倍率と前記動きベクトル拡大ステップにおける動きベクトルの拡大倍率とを制御することにより、動きベクトルの探索範囲を制御するステップと、
を有することを特徴とするフレームレート変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像のフレームレートを変換するフレームレート変換装置及びフレームレート変換方法に関するものである。
【背景技術】
【０００２】
液晶テレビ等の液晶表示装置において、ホールドボケを改善する方法として、新たな画像（補間用の画像）を生成することにより動画像のフレームレートを増やす技術がある。この技術は、ＦＲＣと呼ばれる。
【０００３】
図１は、液晶表示装置において施される倍速変換処理の従来例を説明するための図である。図１では、６０Ｈｚのフレームレートの動画像が入力されたときに、動画像のフレームレートを２倍に変換する処理例を挙げている。動画像１ａにおける画像１０１、１０２、１０３は、時間的に連続して入力された画像である。そして、物体１０４、１０５、１０６の画面上の位置で示すように、或る物体１０４は画面内を右下方向に一定の速度で移動している。動画像１ｂは、動画像１ａの入力動画像のフレームレートを２倍に変換した出力動画像を示している。出力画像１０７、１０９、１１１は入力画像１０１、１０２、１０３と同じ画像であり、出力画像１０８、１１０は新たに生成された画像である。新たに生成された出力画像１０８、１１０の中にある物体１１２、１１３は、入力画像の物体の動き方向を検出し、入力画像の中間時刻の物体の位置を計算して、入力画像からの動き補償により生成される。
【０００４】
図２は、図１の倍速変換処理を行うための液晶表示装置の主要部の構成例を示すブロック図である。この液晶表示装置２００は、フレームメモリ２０１、動きベクトル検出部２０２、及びフレーム生成部２０３を有する。フレームメモリ２０１は、入力画像を蓄積するためのメモリであり、図示しないタイミングコントローラからの制御により最適なタイミングで動きベクトル検出部２０２、フレーム生成部２０３に画像を供給する。動きベクトル検出部２０２は、フレームメモリ２０１より時間的に連続する画像１、画像２を読み出し、画像間の物体の動き（動きベクトル）を検出する。フレーム生成部２０３は、フレームメモリ２０１より供給された画像３と動きベクトル検出部２０２より出力された動きベクトルより、動画像１ｂにおける出力画像１０８、１１０のような動き補償画像を生成し出力する。また、フレーム生成部２０３は、動画像１ｂにおける出力画像１０７、１０９、１１１のように入力画像を出力画像とする場合、フレームメモリ２０１より読み出した画像３をそのまま出力する。
【０００５】
図３は、図２の動きベクトル検出部における動き検出処理の一例を説明するための図である。動きベクトル検出部２０２は、動き元画像３０１と動き先画像３０２の間の物体の動き（例えば物体３０３から物体３０４への動き）を検出する。複数の物体の動きに対応するため、動き元画像３０１を格子状に複数のブロックに分割し、各ブロックの動きベクトルを検出する。例えば、動き元画像のブロック３０５に対する動きベクトルは、動き先画像の同じ位置のブロック３０６を中心とした動き探索範囲３０７の領域の中から検出される。図３の例では、ブロック３０５の移動先のブロックとしてブロック３０８が検出され、ブロック３０５からブロック３０８へのベクトルが動きベクトルとなる。
【０００６】
図４を参照して、２４Ｈｚのフィルム素材を３−２プルダウン変換した６０Ｈｚの動画像が入力された場合の倍速変換処理を説明する。図４は、液晶表示装置において施される３−２フィルム映像に対する倍速変換処理の従来例を説明するための図である。
【０００７】
画像４０１、４０２を含む２４Ｈｚの動画像（フィルム）４ａを、３−２プルダウン変換することで、画像４０３〜４０７を含む６０Ｈｚの動画像４ｂが得られる。この動画像４ｂに対して、図１と同じ倍速変換処理を適用した場合の出力動画像は、画像４０８、４０９、４１０、・・・を含む動画像４ｃとなる。動画像４ｃにおける物体の動きに着目すると、物体は静止状態と移動状態が交互に繰り返されるため一定速度で移動せずに動きがぎくしゃくする。一方で、動画像４ｂが動画像（フィルム）４ａを３−２プルダウン変換された画像であることを検出し、その検出結果に基づき動画像４ｂ（動画像４ａの各画像に対応する動画像４ｂの画像）に対して倍速変換処理を施した場合には、動画像４ｄに示すように一定の速度で物体を移動させることができる。ここで、動画像４ｄは、６０Ｈｚのフレームレートの入力画像より繰り返し入力される同じ画像を捨て２４Ｈｚのフレームレートの画像に戻し、その２４Ｈｚのフレームレートの画像４１１、４１６の間に４枚の生成画像４１２〜４１５を作成することにより１２０Ｈｚのフレームレートを実現したものである。このように、フィルム素材の動画像に対して元の２４Ｈｚで動きベクトル検出を行い、間のフレーム画像を生成し、物体の動きをなめらかにする処理は、フィルムデジャダと呼ばれる。
【０００８】
コンピュータグラフィックスなどの３０Ｈｚの素材を２−２プルダウン変換した６０Ｈｚの動画像が入力された場合の倍速変換処理について、図５を参照して説明する。図５は、液晶表示装置において施される２−２フィルム映像に対する倍速変換処理の従来例を説明するための図である。
【０００９】
画像５０１、５０２を含む３０Ｈｚの動画像５ａを、２−２プルダウン変換することで、画像５０３〜５０６を含む６０Ｈｚの動画像５ｂが得られる。この動画像５ｂに対して、図１と同じ倍速変換処理を適用した場合の出力動画像は、画像５０７、５０８、５０９、・・・を含む動画像５ｃとなる。動画像５ｃにおける物体の動きに着目すると、図４の３−２プルダウンと同様に２−２プルダウンについても、物体は静止状態と移動状態が交互に繰り返されるため一定速度で移動せずに動きがぎくしゃくする。一方で、動画像５ｂが動画像５ａを２−２プルダウン変換された画像であることを検出し、その検出結果に基づき動画像５ｂ（動画像５ａの各画像に対応する動画像５ｂの画像）に対して倍速変換処理を施した場合には、動画像５ｄに示すように一定の速度で物体を移動させることができる。ここで、動画像５ｄは、６０Ｈｚのフレームレートの入力画像より繰り返し入力される同じ画像を捨て３０Ｈｚのフレームレートの画像に戻し、その３０Ｈｚのフレームレートの画像５１０、５１４の間に３枚の生成画像５１１〜５１３を作成することにより１２０Ｈｚのフレームレートを実現したものである。
【００１０】
また、動き探索範囲を制御する技術として、特許文献１には、入力画像信号を拡大し、拡大前の画像から動きベクトルを求め、さらにその動きベクトルのスケーリングも行うフレームレート変換装置が開示されている。動き探索範囲を制御する別の技術として、特許文献２には、第１の探索により動きベクトルが検出されなかったときに、画像を縮小して第２の検索を行うことにより、同一の処理量で動きベクトルの探索範囲を見かけの上で拡大する画像符号化装置が開示されている。
【００１１】
なお、フレームレート変換を施すに際し、入力画像信号がプルダウン変換された画像信号である場合の画質劣化を防止する技術も提案されている（例えば、特許文献３〜５を参照）。入力画像信号がプルダウン変換された画像信号である場合、特許文献３、５に記載の画像表示装置ではレート変換手段における動き補償処理を無効化しており、特許文献４に記載の画像表示装置ではレート変換手段における動き補償処理の強度を低減している。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００７−３２４８３０号公報
【特許文献２】特開２００４−１４０７９４号公報
【特許文献３】特開２００８−７８８５９号公報
【特許文献４】特開２００８−７９２９５号公報
【特許文献５】特開２００８−１３６２２６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、図４や図５で説明したようなフィルムデジャダ処理を施す場合に、プルダウン前のフレームレートの画像に対して、プルダウン後のフレームレート用に設計した動き探索範囲を適用すると、正しい動きベクトルを検出できないシーンの出現頻度が高くなる。一方で、プルダウン前のフレームレート用に設計した動き探索範囲を適用すると、動き検出に必要な処理量が大幅に増加する。
【００１４】
このような問題点を、図６を参照して具体的に説明する。図６は、２４Ｈｚのフレームレートで撮影されたフィルム画像の動き量と６０Ｈｚのフレームレートで撮影されたビデオ画像の動き量を示した図である。２４Ｈｚのフレームレートで撮影されるフィルム画像は、ビデオカメラで６０Ｈｚのフレームレートで撮影されるビデオ画像と比べて画像が更新されるタイミングが遅い。そのため、各フレームでなるビデオ画像６ａ、各コマ（フレーム）でなるフィルム画像６ｂで図示するように、同じシーンを撮影した場合に時間的に連続する画像間の物体の動き量に差が生じる。６０Ｈｚのフレームレートで記録された動画像の動き量（例えば物体６０１から物体６０２への動き量）と２４Ｈｚのフレームレートで記録された動画像の動き量（例えば物体６０３から物体６０４への動き量）を比較すると、その比率は２．５倍となる。
【００１５】
従って、図４（又は図５）で説明したようなフィルムデジャダ処理を施す際に、２４Ｈｚ（又は３０Ｈｚ）のフレームレートの画像に対して、プルダウン後の６０Ｈｚのフレームレート用に設計した動き探索範囲を適用すると、物体の動き量が動き探索範囲を超えてしまい正しい動きベクトルを検出できないシーンの出現頻度が高くなる。逆に、プルダウン前の２４Ｈｚ（又は３０Ｈｚ）のフレームレート用に動き探索範囲を設定すると、物体の動き量が探索範囲を超える頻度は減少し正しい動きベクトルが検出できるようになるものの、動き検出に必要な処理量が大幅に増加する。
【００１６】
また、このような問題は、プルダウン処理された動画像に限ったものではない。例えば、入力動画像のフレームレートが規定値（例えば６０Ｈｚ）の場合とそれより低い場合との双方に対して、動き補償を伴ったフレームレート変換処理を行うフレームレート変換装置において、上述のような問題が生じる。従って、このようなフレームレート変換装置では、入力された動画像のフレームレートが低い場合、動きベクトルを正確に検出するためには動き探索範囲を広げる必要がある。しかし、従来の動きベクトル検出技術では、動き探索範囲を広げると処理量が大幅に増大してしまう。
【００１７】
さらに、入力動画像のフレームレートに拘わらず、動きベクトルを用いて画像を生成して動画像のフレームレートを変換するフレームレート変換装置であれば、動きベクトルをより正確に検出するためには、動き探索範囲を広げる必要があり、一方で広げると処理量が大幅に増大するといった問題がある。
【００１８】
なお、特許文献１に記載の技術は、入力画像信号を拡大することが前提となるため、スケーリング回路が必要となる上に、処理量が増大し、また容量の大きなメモリを用意する必要もある。また、特許文献２に記載の技術は、フレームレート変換に関する技術ではなく、フレームレートに応じて動き探索範囲を変えるものではない。また、特許文献３〜５に記載のいずれの技術も、プルダウン変換された動画像、つまり複数枚の同一画像が連続する可能性のある動画像について、フレームレート変換時の画質劣化を防止する技術であるが、動き探索範囲を制御する技術ではない。
【００１９】
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、動き検出処理の処理量を増やさずに、動き探索範囲を拡げて正確な動きベクトルを検出することが可能な、フレームレート変換装置及びフレームレート変換方法を提供することにある。
【課題を解決するための手段】
【００２０】
かかる課題を解決するため、本発明の第１の技術手段は、入力された動画像における画像間の動きベクトルを検出し該動きベクトルを用いて新たな画像を生成することにより、前記動画像のフレームレートを変換するフレームレート変換装置において、前記動画像における画像を縮小する画像縮小手段と、該画像縮小手段で縮小された画像間の動きベクトルを検出する動きベクトル検出手段と、該動きベクトル検出手段で検出された動きベクトルを拡大する動きベクトル拡大手段と、該動きベクトル拡大手段で拡大された動きベクトルを用いて、前記動画像における画像から前記新たな画像を生成する画像生成手段とを備え、前記画像縮小手段における画像の縮小倍率と前記動きベクトル拡大手段における動きベクトルの拡大倍率とを制御することにより、動きベクトルの探索範囲を制御することを特徴としたものである。
【００２１】
第２の技術手段は、第１の技術手段において、前記動画像の素材を検出する素材検出手段を備え、該素材検出手段における前記動画像の素材の検出結果に応じて、画像の縮小倍率と動きベクトルの拡大倍率とを制御することにより、前記探索範囲を制御することを特徴としたものである。
【００２２】
第３の技術手段は、第１の技術手段において、前記動画像のフレームレートに応じて、画像の縮小倍率と動きベクトルの拡大倍率とを制御することにより、前記探索範囲を制御することを特徴としたものである。
【００２３】
第４の技術手段は、第１の技術手段において、前記動きベクトル検出手段における動きベクトル検出結果の統計値に応じて、画像の縮小倍率と動きベクトルの拡大倍率とを制御することにより、前記探索範囲を制御することを特徴としたものである。
【００２４】
第５の技術手段は、入力された動画像における画像間の動きベクトルを検出し該動きベクトルを用いて新たな画像を生成することにより、前記動画像のフレームレートを変換するフレームレート変換方法において、画像縮小手段が、前記動画像における画像を縮小する画像縮小ステップと、動きベクトル検出手段が、前記画像縮小ステップで縮小された画像間の動きベクトルを検出する動きベクトル検出ステップと、動きベクトル拡大手段が、前記動きベクトル検出ステップで検出された動きベクトルを拡大する動きベクトル拡大ステップと、画像生成手段が、前記動きベクトル拡大ステップで拡大された動きベクトルを用いて、前記動画像における画像から前記新たな画像を生成する画像生成ステップと、制御手段が、前記画像縮小ステップにおける画像の縮小倍率と前記動きベクトル拡大ステップにおける動きベクトルの拡大倍率とを制御することにより、動きベクトルの探索範囲を制御するステップと、を有することを特徴としたものである。
【発明の効果】
【００２５】
本発明によれば、動き検出処理の処理量を増やさずに、動き探索範囲を拡げて正確な動きベクトルを検出することが可能になる。
【図面の簡単な説明】
【００２６】
【図１】液晶表示装置において施される倍速変換処理の従来例を説明するための図である。
【図２】図１の倍速変換処理を行うための液晶表示装置の主要部の構成例を示すブロック図である。
【図３】図２の動きベクトル検出部における動き検出処理の一例を説明するための図である。
【図４】液晶表示装置において施される３−２フィルム映像に対する倍速変換処理の従来例を説明するための図である。
【図５】液晶表示装置において施される２−２フィルム映像に対する倍速変換処理の従来例を説明するための図である。
【図６】２４Ｈｚのフレームレートで撮影されたフィルム画像の動き量と６０Ｈｚのフレームレートで撮影されたビデオ画像の動き量を示した図である。
【図７】本発明に係る動き検出処理と比較するための従来の動き検出処理を説明するための図である。
【図８】本発明に係る動き検出処理の概要を説明するための図である。
【図９】本発明の一実施形態に係るフレームレート変換装置の構成例を示すブロック図である。
【図１０】本発明の他の実施形態に係るフレームレート変換装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００２７】
本発明に係るフレームレート変換装置は、動画像に画像を内挿補間することでフレームレートを変換する装置であり、以下、この装置について図面を参照しながら説明する。
【００２８】
図７は、本発明に係る動き検出処理と比較するための従来の動き検出処理を説明するための図で、図８は、本発明に係る動き検出処理の概要を説明するための図である。
【００２９】
図６のフィルム画像６ｂのように撮影時のフレームレートが低い場合、図３で説明したように物体の動き量が小さく動き探索範囲内に収まっていれば問題ないが、大きい場合には次のような問題が生じる。つまり、図７に示すように、動き元画像７０１と動き先画像７０２の間の動きベクトルを検出する際に、実際に例えば物体７０３が物体７０４で示す位置に動いていたとすると、この物体の動き量が予め規定していた動き探索範囲７０７を超えてしまう。従来の動き検出処理では、あくまで動き探索範囲内での検出がなされるため、処理量を増やすことを許容して動き探索範囲を拡げる以外には、正しい動きベクトルが検出できない。
【００３０】
より具体的には、動き元画像７０１のブロック７０５に対する動きベクトルは、動き先画像７０２の同じ位置のブロック７０６を中心とした動き探索範囲７０７の領域の中から検出されるため、正しくはブロック７０５の移動先のブロックとしてブロック７０８が検出されてブロック７０５からブロック７０８へのベクトルが動きベクトルとならなければならないが、動き探索範囲７０７内でしかブロックの移動先が検出されないため、正確な動きベクトルが検出できない。
【００３１】
これに対し、本発明では、図８に示すように、動き元画像８０１と動き先画像８０２を縮小した後に、動きベクトル検出処理を実行する。動きベクトル検出の前にこのような縮小を行うことで、動き検出対象の画像が縮小されるため、上記動き検索範囲７０７と同じブロック８０６を中心とした動き検索範囲８０８であっても、物体８０３から物体８０４への動きに対応するブロック８０５からブロック８０８への動き量がその動き検索範囲８０８内に収まり、正しい動きベクトルが検出できる。
【００３２】
このように画像を縮小後に動きベクトル検出処理を行う本発明の動き検出処理は、動き検出自体の処理量は変えなくて済む。つまり、本発明では、動き検出の処理量を変えずに画面全体に対する動き探索範囲の比率を大きくできるため、物体の動きの検出性能を向上させることができる。
【００３３】
図８で説明したような動き検出処理を行うことが可能なフレームレート変換装置について、図９を参照して説明する。図９は、本発明の一実施形態に係るフレームレート変換装置の構成例を示すブロック図である。
【００３４】
図９で例示するフレームレート変換装置は、フレームメモリ９０１、縮小処理部９０３、動きベクトル検出部９０４、拡大処理部９０５、及びフレーム生成部９０６を備え、入力された動画像における画像間の動きベクトルを検出し、その動きベクトルを用いて新たな画像（補間用の画像）を生成することにより、入力された動画像のフレームレートを変換する。まず、フィルム判定部９０２を備えない実施形態について説明する。なお、フィルム判定部９０２を備えた好ましい形態については後述する。
【００３５】
フレームメモリ９０１は入力された動画像の画像を格納するためのメモリである。また、縮小処理部９０３は、入力された動画像における画像を縮小する画像縮小手段の一例である。縮小処理部９０３は、フレームメモリ９０１より読み出した動き元画像１と動き先画像２をそれぞれ縮小し、画像６、画像７として出力する。画素の縮小処理としては、単純な間引き処理、もしくは縮小フィルタによる処理（ローパスフィルタの処理と間引き処理との組み合わせ）などが採用できるが、これに限定されるものではない。
【００３６】
動きベクトル検出部９０４は、縮小処理部９０３で縮小された画像間の動きベクトルを検出する動きベクトル検出手段の一例である。動きベクトル検出部９０４は、動き元画像６と動き先画像７より動きベクトルＩを検出する。動きベクトル検出部９０４における動きベクトル検出方法としては、画像をブロックに分割して各ブロック毎に動きベクトルを求める方法が一般的であり、「ブロックマッチング法」、「勾配法」等が適用できる。また、動きベクトル検出部９０４は、縮小処理部９０３での縮小倍率や後述の拡大処理部９０５での拡大倍率に関係無く、入力された画像に対して常に同じ処理を行う。
【００３７】
拡大処理部９０５は、動きベクトル検出部９０４で検出された動きベクトルを拡大する動きベクトル拡大手段の一例である。拡大処理部９０５は、動きベクトルＩを拡大し、動きベクトルＩＩとして出力する。
【００３８】
縮小処理部９０３と拡大処理部９０５に関し、本発明では、縮小処理部９０３における画像の縮小倍率（縮小するときに乗ずる係数ｋａ）と動きベクトル検出部９０４における動きベクトルの拡大倍率（拡大するときに乗ずる係数ｋｂ）とは、両者を乗算すると常に１になる関係（ｋａ×ｋｂ＝１）にある。ここで、ｋｂ（＝１／ｋａ）の値は、ｋｂ≧１で、且つフレームレート変換装置の能力範囲内であれば、どのような値であってもよい。また、ｋａ、ｋｂは縦方向（画面垂直方向）と横方向（画面水平方向）に共通の係数とし、原画及び動きベクトルの縦横比を固定したまま縮小や拡大を行うことが好ましいが、縦方向と横方向とで異なる値を用いてもよい。その場合、縦方向の縮小倍率ｋａｖと縦方向の拡大倍率ｋｂｖとをｋａｖ×ｋｂｖ＝１の関係とし、横方向の縮小倍率ｋａｈと横方向の拡大倍率ｋｂｈとをｋａｈ×ｋｂｈ＝１の関係とすればよい。
【００３９】
フレーム生成部９０６は、拡大処理部９０５で拡大された動きベクトルＩＩを用いて、入力動画像における画像から新たな画像（補間用の画像）を生成する画像生成手段の一例である。フレーム生成部９０６は、フレームメモリ９０１より供給された画像と動きベクトルＩＩより、動き補償画像を生成し出力する。また、フレーム生成部９０６は、入力画像を出力画像とする場合に、フレームメモリ９０１より読み出した画像３をそのまま出力する。
【００４０】
そして、本発明に係るフレームレート変換装置は、縮小処理部９０３における画像の縮小倍率と拡大処理部９０５における動きベクトルの拡大倍率とを制御することにより、動きベクトル検出部９０４における動きベクトルの探索範囲（つまり動き探索範囲）を制御する。上述したように動きベクトル検出部９０４での処理（入力画像に対する動き探索範囲も含む）はそのままにしておき、そこに入力される画像を縮小することにより、動きベクトル検出部９０４での実質的な動き探索範囲（画像内容に対する実質的な動き探索範囲）を変える。そして、画像を縮小した分だけ縮小されている動きベクトルを拡大処理部９０５により拡大する。
【００４１】
以上、本発明によれば、動きベクトル検出部９０４での動き検出処理の処理量を増やさずに、動き探索範囲を拡げて正確な動きベクトルを検出することが可能になる。また、このようにして検出された正確な動きベクトルに基づき、フレームレートが変換されるため、例えば液晶表示装置におけるホールドボケを適切に解消することができる。
【００４２】
次に、フィルム判定部９０２を備えた本発明の好ましい実施形態について説明する。フィルム判定部９０２は、入力された動画像の素材を検出する素材検出手段の一例である。本実施形態に係るフレームレート変換装置は、その主たる特徴として、素材検出手段における動画像の素材の検出結果に応じて、画像の縮小倍率と動きベクトルの拡大倍率とを制御することにより、動き探索範囲を制御する。
【００４３】
フィルム判定部９０２を挙げて本実施形態の詳細を説明する。フィルム判定部９０２は、入力画像４とフレームメモリ９０１を経由した１フレーム過去の入力画像５より、画像の素材（ビデオ画像、フィルム素材を３−２プルダウン変換した画像、フィルム素材を２−２プルダウン変換した画像）を判定する。
【００４４】
本実施形態では、素材の判定方法を限定しないが、例えば、時間的に連続する画像間の類似度を測定し、その類似度の履歴をもとに、連続する画像間で常に類似度が低く画像が動いている場合にビデオ画像と判定、連続する画像間で類似度が高い状態と低い状態が周期的に測定される場合に３−２プルダウン又は２−２プルダウン変換された画像と判定できる。また、３−２プルダウン変換された画像であるのか、２−２プルダウン変換された画像であるのかもその周期により判定できる。
【００４５】
縮小処理部９０３は、フィルム判定結果がフィルム素材と判定された場合にフレームメモリ９０１より読み出した動き元画像１と動き先画像２をそれぞれ縮小し、画像６、画像７として出力する。また、フィルム判定結果がビデオ素材と判定された場合は縮小処理を行わずに動き元画像１を画像６、動き先画像２を画像７としてそのまま出力する。
【００４６】
動きベクトル検出部９０４は、動き元画像６と動き先画像７より動きベクトルＩを検出する。また、動きベクトル検出部９０４は、フィルム判定結果（ビデオ素材、フィルム素材）に関係無く同じ処理を行う。拡大処理部９０５は、フィルム判定結果がフィルム素材と判定された場合に動きベクトルＩを拡大し、動きベクトルＩＩとして出力する。また、フィルム判定結果がビデオ素材と判定された場合は、拡大処理を行わず、動きベクトルＩとそのまま動きベクトルＩＩとして出力する。
【００４７】
このように、本実施形態では、画像の素材を判定し、その判定結果に応じて、素材のフレームレートが低い場合（規定値のフレームレートより低い場合）は入力画像を縮小してから動き探索を行い、この動き探索により得られた動きベクトルを拡大することにより、動き探索範囲（実質的な動き探索範囲）を拡大する。具体例を挙げると、縮小倍率の制御は、入力動画像が規定値（例えば６０Ｈｚ）のフレームレートより小さい場合（例えば２４Ｈｚ）のみ、実行する。補足すると、入力動画像のフレームレートが規定値（６０Ｈｚ）であっても、素材検出により２−２プルダウンを検出したときには撮影時のフレームレートが３０Ｈｚ相当であり、３−２プルダウンを検出したときには撮影時のフレームレートが２４Ｈｚ相当であるため、実際に撮影された映像のフレームレートが低いと判断して素材のフレームレートに応じて画像の縮小倍率を制御して、実質的な動き探索範囲を拡大する。動きベクトルの拡大は、その補償としてその縮小倍率に対応する拡大倍率で実行される。
【００４８】
また、本発明では対象となる画像を縮小することで動き探索範囲のサイズはそのままに実質的な動き探索範囲を拡大しており、このような拡大がすぎると検出された動きベクトルの精度が悪くなってしまう。従って、例示したように、撮影された映像のフレームレートが低いときだけこのような制御を行い、高いとき（隣接する画像間の物体の移動距離が統計的に短かくなるとき）には動き探索範囲をそれより狭くして、動きベクトルの精度を向上させる（精度の低下を防ぐ）ことが好ましい。
【００４９】
フレーム生成部９０６は、フレームメモリ９０１より供給された画像と動きベクトルＩＩより、動き補償画像を生成し出力する。また、フレーム生成部９０６は、入力画像を出力画像とする場合に、フレームメモリ９０１より読み出した画像３をそのまま出力する。
【００５０】
本実施形態で適用できる倍率の設定例を挙げる。図６に示すように６０Ｈｚのフレームレートの動画像においてはビデオ素材とフィルム素材（２４Ｈｚ）の動き量に２．５倍の差があるため、縮小倍率と拡大倍率を縦方向、横方向で共通にｋａ＝１／２．５、ｋｂ＝２．５と設定するとよい。また、縮小処理部９０３と拡大処理部９０５の処理を容易にするために縮小倍率をｋａ＝１／２に拡大倍率をｋｂ＝２に設定することもできる。
【００５１】
以上、本実施形態によれば、動きベクトル検出部９０４での動き検出処理の処理量を増やさずに、実質的なフレームレート（つまり素材（原画）のフレームレート）に合うように、動き探索範囲を拡げて、正確な動きベクトルを検出することが可能になる。
【００５２】
図１０は、本発明の他の実施形態に係るフレームレート変換装置の構成例を示すブロック図である。図１０で示すフレームレート変換装置は、図９で示したフレームレート変換装置において、縮小処理部９０３、拡大処理部９０５を制御する拡大倍率、縮小倍率を図示しない外部のＣＰＵ（Central Processing Unit）等が出力する構成である。つまり、図１０に例示するフレームレート変換装置は、フレームメモリ１００１、縮小処理部１００３、動きベクトル検出部１００４、拡大処理部１００５、及びフレーム生成部１００６を備える。これらの構成要素は、それぞれ図９のフレームメモリ９０１、縮小処理部９０３、動きベクトル検出部９０４、拡大処理部９０５、及びフレーム生成部９０６に対応するため、その詳細な説明は省略する。
【００５３】
本実施形態のフレームレート変換装置は、入力動画像のフレームレート（例えば６０Ｈｚ、５０Ｈｚ）に応じて、画像の縮小倍率と動きベクトルの拡大倍率とを制御することにより、動き探索範囲（実質的な動き探索範囲）を制御する。特に、入力された映像のフレームレート（例えばＮＴＳＣ方式は６０Ｈｚ、ＰＡＬ方式は５０Ｈｚ）を検出して、フレームレートが規定値（例えば６０Ｈｚ）のときはそのままにし、フレームレートが低いときに（例えば５０Ｈｚのときに）、実質的な動き探索範囲を拡大させる。なお、入力動画像のフレームレートはその入力された動画像の信号から検出することができる。
【００５４】
本実施形態では、フィルム判定部９０２を用いた実施形態のように２−２プルダウン、３−２プルダウンであるか否かに関係なく、入力動画像が（５０Ｈｚ）のときに、画像の縮小倍率ｋａを例えば５０／６０に決定して縮小処理部１００３に伝え、同時に動きベクトルの拡大倍率ｋｂを例えば６０／５０に決定して拡大処理部１００５に伝える。縮小処理部１００３はこの縮小倍率ｋａに応じて画像１、画像２を縮小してそれぞれ画像６、画像７にして出力し、動きベクトル検出部１００４は画像６と画像７とから規定の動き探索範囲（規定の大きさ）で動きベクトルＩを検出する。拡大処理部１００５は、上記拡大倍率ｋｂに応じて動きベクトルＩを拡大して、動きベクトルＩＩをフレーム生成部１００６に出力する。
【００５５】
ここで例示したように、入力映像のフレームレートが低いときだけ実質的な動き探索範囲を拡大する制御を行い、高いとき（隣接する画像間の物体の移動距離が統計的に短かくなるとき）には動き探索範囲をそれより狭くして、動きベクトルの精度を低下を防ぐことが好ましい。
【００５６】
以上、本実施形態によれば、動きベクトル検出部１００４での動き検出処理の処理量を増やさずに、入力動画像の実際のフレームレートに合うように、動き探索範囲を拡げて、正確な動きベクトルを検出することが可能になる。
【００５７】
本発明の他の実施形態として、フレームレート変換装置は、動きベクトル検出手段における動きベクトル検出結果の統計値に応じて、画像の縮小倍率と動きベクトルの拡大倍率とを制御することにより、動き探索範囲（実質的な動き探索範囲）を制御するようにしてもよい。ここで、統計値の算出を行う部位は、図９において動きベクトル検出部９０４の出力を得て縮小処理部９０３及び拡大処理部９０５に算出結果を渡すように別途設けるか、或いは統計値の算出を図１０の説明における外部ＣＰＵが動きベクトル検出部１００４の出力を得て実行するように構成しておけばよい。このように、本実施形態では、動きベクトル検出部９０４又は１００４での検出結果を使用することで、実際の動き量に応じたフィードバック制御が可能となり、実際の動き量に或る程度収斂した結果から、動き探索範囲を決定することができる。勿論、本実施形態において、動きベクトル検出部９０４又は１００４での検出結果ではなく、縮小前の画像から検出した結果を得るように構成してもよい。
【００５８】
統計値に応じた縮小倍率と拡大倍率の制御の例を挙げる。例えば、動きベクトル検出結果の統計をもとに、大きい動き量の分布が多いときには縮小倍率ｋａを小さく拡大倍率ｋｂを大きくして実質的に動き探索範囲を拡大するようにしてもよい。また、別の例として、動きベクトル検出結果の統計をもとにして、動きベクトルの分布がバラバラなときに動き探索範囲を超えて正しくない動きベクトルが検出されたと判断し、縮小倍率ｋａを小さく拡大倍率ｋｂを大きくして実質的に動き探索範囲を拡大するようにしてもよい。
【００５９】
以上、本実施形態によれば、動きベクトル検出部９０４での動き検出処理の処理量を増やさずに、実際の動きベクトル検出結果に合うように、動き探索範囲を拡げて、正確な動きベクトルを検出することが可能になる。
【００６０】
また、他の実施形態として、上述した各実施形態を組み合わせ、入力された動画像の素材、実際のフレームレート、動きベクトル検出結果に応じて動き検出範囲を制御することにより、動き検出処理を増やすことなく、正しい動きベクトルを検出させるように構成することもできる。
【００６１】
また、本発明に係り上述した各実施形態のフレームレート変換装置は、液晶表示装置に組み込むことでその効果をより奏するが、液晶以外の表示方式のパネルを採用した画像表示装置にも適用でき、同様の効果を奏する。さらに、本発明に係るフレームレート変換装置は、テレビ装置やモニタなどの画像表示装置だけでなく、レコーダ、ＳＴＢ（Set Top Box）など他のＡＶ機器やＰＣの本体などに搭載し、画像表示装置側へ出力する映像をフレームレート変換後の映像とすることも想定できる。その場合には出力される側の画像表示装置はそのフレームレートに対応しておけばよい。
【００６２】
以上、例示した本発明に係るフレームレート変換装置は、全てハードウェアで構成してもよいが、その一部をソフトウェア（ファームウェアを含む）によって構成してもよい。このような構成を実現する一例として、ＡＶ機器内のマイクロコンピュータやＰＣ本体等のコンピュータを利用する場合には、一般的に、ＣＰＵ、メモリ、バス、インターフェース、周辺装置などから構成されるハードウェアと、これらのハードウェア上にて実行可能なソフトウェア（上述したフレームレート変換処理を実行させるための変換プログラムも含む）とで実現することができる。ＣＰＵはこのソフトウェアを実行することで他のハードウェアを制御する。具体的には、ＲＯＭに格納されたソフトウェアをメモリ上に展開し、展開されたプログラムを順次実行することで、メモリ上のデータ（フレームメモリ上の画像データなど）や、インターフェースを介して入力されるデータの加工、蓄積、出力などにより各部の機能が実現される。上述したフレームレート変換処理は、上記ソフトウエアとしてその処理手順をＣＰＵに実行させるための上記変換プログラムを組み込み、実行させることによって、実現できる。また、上記ソフトウェアは、記録媒体に格納して配布してもよいし、インターネット等のネットワーク経由や放送波に載せて配信してもよい。
【００６３】
以上、本発明のフレームレート変換装置について説明したが、本発明は、その処理方法を説明したようにフレームレート変換方法としての形態も採り得る。この方法は、フレームレート変換装置内の各部によって実現でき、また上記変換プログラムを実行させることでも実現できる。本発明のフレームレート変換方法について簡単に説明する。
【００６４】
このフレームレート変換方法は、フレームレート変換装置の処理について説明したように、入力された動画像における画像間の動きベクトルを検出し、検出した動きベクトルを用いて新たな画像を生成することにより、動画像のフレームレートを変換する。そして、このフレームレート変換方法は、画像縮小手段が、動画像における画像を縮小する画像縮小ステップと、動きベクトル検出手段が、画像縮小ステップで縮小された画像間の動きベクトルを検出する動きベクトル検出ステップと、動きベクトル拡大手段が、動きベクトル検出ステップで検出された動きベクトルを拡大する動きベクトル拡大ステップと、画像生成手段が、動きベクトル拡大ステップで拡大された動きベクトルを用いて、動画像における画像から新たな画像を生成する画像生成ステップと、制御手段が、画像縮小ステップにおける画像の縮小倍率と前記動きベクトル拡大ステップにおける動きベクトルの拡大倍率とを制御することにより、動きベクトルの探索範囲を制御するステップと、を有する。
【００６５】
ここで制御手段とは、図９や図１０の縮小処理部や拡大処理部に対して縮小倍率や拡大倍率を変更するための情報（フィルム判定結果や実際の縮小倍率・拡大倍率等）を伝えるための手段である。本発明のフレームレート変換方法の他の応用例については、フレームレート変換装置について説明したのと同様であり、その説明を省略する。
【符号の説明】
【００６６】
９０１，１００１…フレームメモリ、９０２…フィルム判定部、９０３，１００３…縮小処理部、９０４，１００４…動きベクトル検出部、９０５，１００５…拡大処理部、９０６，１００６…フレーム生成部。
【図１】
2010161712.tif 000003
【図２】
2010161712.tif 000004
【図３】
2010161712.tif 000005
【図４】
2010161712.tif 000006
【図５】
2010161712.tif 000007
【図６】
2010161712.tif 000008
【図７】
2010161712.tif 000009
【図８】
2010161712.tif 000010
【図９】
2010161712.tif 000011
【図１０】
2010161712.tif 000012