(57)【特許請求の範囲】
【請求項１】
入力画像信号から第１のフレーム画像と第２のフレーム画像を検出し両者を比較して、前記フレームをブロック状に分割した複数ブロック毎の複数の動きベクトルを検出し、
前記複数ブロックの中の一のブロックの動きベクトルの値に比べて、前記一のブロックの上のブロックの動きベクトルと左のブロックの動きベクトルの内のベクトル値が近い方の動きベクトルを選び、選んだ動きベクトルの値から所定値以内の値に、前記一のブロックの動きベクトルの値を修正するベクトルフィルタ処理を行い、
この修正処理後の動きベクトルを適用した際の当該ブロックのブロックマッチング評価指標に従って当該修正処理方法を適応的に変更し、
前記適応的に変更された当該修正処理方法により生成された複数の動きベクトルと前記第1のフレーム画像と前記第２のフレーム画像に基づいて、補間画像を生成して出力することを特徴とするフレーム補間方法。
【請求項２】
前記ブロックマッチングの評価指標に従って修正処理を適応的に変更する方法は、前記ベクトルフィルタ処理後のベクトルの持つ前記ブロックマッチング評価指標が、所定値よりもブロックマッチング度の低い値である場合には、修正処理しないように制御する方法であることを特徴とする、請求項１に記載のフレーム補間方法。
【請求項３】
前記ブロックマッチング評価指標は、入力される2枚のフレーム上で所定サイズのブロックを移動させた際の対応画素間の差分絶対値を合計した値(SAD:Sum of Absolute Difference)を用いることを特徴とする、請求項１または請求項２に記載のフレーム補間方法。
【請求項４】
前記ベクトルフィルタ処理は、注目ブロックの動きベクトルを、隣接するブロックの動きベクトルを基準としてベクトルの変化量が所定範囲内となるように制限する方法であることを特徴とする、請求項１乃至請求項３に記載のフレーム補間方法。
【請求項５】
前記適応的なベクトルフィルタ処理方法は、注目ブロック内、もしくはその近傍にエッジの存在が検出された場合に、前記隣接ブロックのベクトルからの変化許容量を大きくすることを特徴とする、請求項４に記載のフレーム補間方法。
【請求項６】
入力画像信号から第１のフレーム画像と第２のフレーム画像を検出し両者を比較して、前記フレームをブロック状に分割した複数ブロック毎の複数の動きベクトルを検出する検出部と、
前記複数ブロックの中の一のブロックの動きベクトルの値に比べて、前記一のブロックの上のブロックの動きベクトルと左のブロックの動きベクトルの内のベクトル値が近い方の動きベクトルを選び、選んだ動きベクトルの値から所定値以内の値に、前記一のブロックの動きベクトルの値を修正するフィルタ部と、
この修正処理後の動きベクトルを適用した際の当該ブロックのブロックマッチング評価指標に従って当該修正処理方法を適応的に変更し、前記適応的に変更された当該修正処理方法により生成された前記複数の動きベクトルと前記第1のフレーム画像と前記第２のフレーム画像に基づいて、補間画像を生成して出力する補間フレーム生成部と、を具備することを特徴とするフレーム補間回路。
【請求項７】
入力画像信号から第１のフレーム画像と第２のフレーム画像を検出し両者を比較して、前記フレームをブロック状に分割した複数ブロック毎の複数の動きベクトルを検出する検出部と、
前記複数ブロックの中の一のブロックの動きベクトルの値に比べて、前記一のブロックの上のブロックの動きベクトルと左のブロックの動きベクトルの内のベクトル値が近い方の動きベクトルを選び、選んだ動きベクトルの値から所定値以内の値に、前記一のブロックの動きベクトルの値を修正するフィルタ部と、
この修正処理後の動きベクトルを適用した際の当該ブロックのブロックマッチング評価指標に従って当該修正処理方法を適応的に変更し、前記適応的に変更された当該修正処理方法により生成された前記複数の動きベクトルと前記第1のフレーム画像と前記第２のフレーム画像に基づいて、補間画像を生成して出力する補間フレーム生成部と、
前記第1及び第２のフレーム画像及び前記補間画像を画面に表示するパネル部を具備することを特徴とする表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きベクトルを検出し利用するフレーム補間回路及びフレーム補間方法とこれを用いた表示装置に関する。
【背景技術】
【０００２】
最近、デジタル映像技術の発達に伴って、映像の高画質化、高品質化への要請が高まっている。これに応じて、映像の各フレーム画像に対する補間画像を生成し付加することにより、映像の動きをより滑らかに自然に表現するフレーム補間処理が知られている。このようなフレーム補間処理では、画像のブロック動きベクトルを検出し、この動きベクトルの動き程度に応じて補間画像を生成している。しかし、この動きベクトルの近傍にエッジを含む画像部分が存在すると、動きベクトルの誤検出により補間処理の結果である画像に破綻をきたすこととなる。
【０００３】
特許文献１は、この場合の画像の破綻を回避するべく、孤立した動きベクトルを除去する動きベクトル検出装置なるものを開示している。概要としては、水平又は垂直のエッジの有無を検出する水平・垂直エッジ検出手段を備えており、動きベクトル算出手段が水平もしくは垂直エッジが存在するブロックの動きベクトルの信頼度を高又は中の信頼度に分類する、というものである。
【０００４】
しかしながらエッジの検出に関する明確な記載がなく、またエッジのみに着目した処理は確実性が低いという問題があった。
【特許文献１】特開２００３−２２４８５４号公報（図１７）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、動きベクトルの誤検出による破綻のより少ないフレーム補間技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の請求項１に記載のフレーム補間方法は、入力画像信号から第１のフレーム画像と第２のフレーム画像を検出し両者を比較して、前記フレームをブロック状に分割した複数ブロック毎の複数の動きベクトルを検出し、前記複数ブロックの中の一のブロックの動きベクトルの値に比べて、前記一のブロックの上のブロックの動きベクトルと左のブロックの動きベクトルの内のベクトル値が近い方の動きベクトルを選び、選んだ動きベクトルの値から所定値以内の値に、前記一のブロックの動きベクトルの値を修正するベクトルフィルタ処理を行い、この修正処理後の動きベクトルを適用した際の当該ブロックのブロックマッチング評価指標に従って当該修正処理方法を適応的に変更し、前記適応的に変更された当該修正処理方法により生成された複数の動きベクトルと前記第1のフレーム画像と前記第２のフレーム画像に基づいて、補間画像を生成して出力することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、動きベクトルの誤検出による破綻のより少ないフレーム補間技術が得られる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施形態を説明する。
【実施例１】
【０００９】
本発明による実施形態１を図１乃至図７及び図１１を参照して説明する。
図１は実施形態１のフレーム数変換処理のフローの概要を説明するブロック図、図２は動きベクトル検出に関する説明のための模式図、図３はブロックマッチング処理のイメージを示した図である。図４は24画素/フレームで左方向にスクロールする文字が含まれる入力映像を例示した図、図５は図４の入力映像に対して単純なブロックマッチング処理のみによって検出した動きベクトルを用いて生成された補間画像を例示した図、図６は同じく図４の入力映像に対して単純なブロックマッチング処理のみによって検出されたベクトルの分布状態を例示した図、図７は図６のベクトル分布において動きベクトルが誤検出されている箇所のベクトルの詳細値を例示した図、図８は図４の入力映像に対して特願2006-244729号公報の従来例の垂直方向のベクトルフィルタ処理で補正された後の動きベクトルの詳細値を例示した図、図９は図４の入力映像に対してベクトルフィルタ処理によって補正された後の動きベクトルの詳細値を例示した図、図１０は図８に示す従来のベクトルフィルタ処理後の動きベクトルを用いて生成された補間画像を例示した図、図１１は図９に示すベクトルフィルタ処理後の動きベクトルを用いて生成された補間画像を例示した図である。
【００１０】
ブロックマッチングを用いた動きベクトルの検出方法としては、様々な方法が提案されている。ここで、動きベクトルの推定を行った際、本来、同一物体に相当するブロックではほぼ同一の動きベクトルが検出されるはずであるが、周期的な模様を含む映像等において誤検出が生じ、同一物体に相当するブロックでありながら局所的に周辺のブロックと全く異なる動きベクトルが検出される場合がある。このような動きベクトル検出結果に基づいて生成された補間画像はベクトルが誤検出された箇所での破綻が目立ち、補間画像品位の著しい低下を招く。
【００１１】
このような動きベクトルの誤検出による破綻を低減するために、検出したベクトルへのフィルタ処理を行う方法が提案されている。本願と同じ発明者他の発明であって、本願と同じ出願人によって出願された特願2006-244729号公報の従来例では、注目ブロックの動きベクトルに対して、注目ブロックに隣接するブロックで検出された動きベクトルからのベクトル変化量を所定の範囲に制限することにより、補間画像の生成に用いる動きベクトルの空間内での局所的なバラツキを抑え、これにより動きベクトルの誤検出による補間画像の破綻低減を実現している。しかしながら、このようなフィルタ処理を無条件で行ってしまうと、実際に異なる動きをしている異なる物体境界部分でベクトルの歪みが生じ、これが新たな画質劣化をもたらす場合があった。
【００１２】
よって、フィルタ処理後の動きベクトルを適用した際のブロックマッチング評価指数を予め見積もることによってフィルタ処理を変更する。より具体的には、ベクトルフィルタ処理後のベクトルのブロックマッチング評価指数が著しく悪化する場合にはフィルタが弱くしか掛からない、あるいは全く掛からないように制御するなどの制御を行う。
【００１３】
図１は、本発明によるフレーム補間回路（フレーム数変換装置）の一実施形態を示すブロック構成図である。図１のフレーム補間回路１０は、フレームメモリ部１、動きベクトル検出部２、ベクトルフィルタ処理部３、マッチング評価指数判定部４、および補間画像作成部５を備える。動きベクトル検出部２は、入力画像信号における例えば連続する２フレームから、動きベクトルをブロックマッチング処理にて検出する。すなわち動きベクトル検出部２は、２つの入力フレーム画像における画像ブロックの互いに対応する画素値どうしの差分絶対値を算出し、この差分絶対値の累積加算値（ＳＡＤ）の極小値に対応する動きベクトルを動きベクトル候補として選択する。なお入力画像信号のフレームレートは例えば６０フレーム／秒である。
【００１４】
補間画像作成部５は、動きベクトル検出部２の検出結果に基づいて補間フレームを作成し、前記２フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば120フレーム／秒である。
【００１５】
マッチング評価指数判定部４は、動きベクトル検出部２により検出された動きベクトルの参照画素が有効か有効でないかを判定する。すなわちマッチング評価指標判定部４は、動きベクトル検出部２により検出された動きベクトルの参照画素の位置をマッチング評価指標判定部４内部の図示せぬカウンターで把握し、その結果に基づいて参照画素が有効か有効でないかを判定する。
【００１６】
すなわちマッチング評価指標判定部４は検出された動きベクトルの参照画素の位置が有効か有効でないかを後述のようにブロックごとに判定する。そして、検出された動きベクトルを用いて補間フレームを生成するか、または、後述のように動きベクトルを修正して補間フレームを生成するかをブロックごと判定する。そしてその結果を補間画像作成部５に渡す。補間画像作成部５は評価指標判定部４の判定結果に基づいて補間画像を作成する。
【００１７】
補間画像作成部５は、動きベクトル検出部２により検出された動きベクトルを用いて補間フレームを作成する。その際、評価指標判定部４により用いるべき動きベクトルと判定された動きベクトルの基の画素を有効画素として、補間フレームを作成する。または、補間画像作成部５は、評価指標判定部４により用いるべき動きベクトルと判定された動きベクトルに基づいて作成した画像と、他の用いるべき動きベクトルと判定された動きベクトルに基づいて作成した画像とを合成（ブレンド）して補間フレームを作成する、例えば画素値の平均をとるといった方法を用いることもできる。
【００１８】
動きベクトル検出部２、補間画像作成部５、および、マッチング評価指標判定部４は、それぞれ個別電子回路を用いたハードウエア、あるいはＣＰＵ（図示せず）にて実行されるソフトウエアとして構成できる。
【００１９】
図１の動きベクトル検出部２の動きベクトル検出等に関し図２の模式図を参照してまず簡単に説明する。図２では、入力画像が時間方向に対してＮ−１フレーム、Ｎフレーム、Ｎ＋１フレームの順に配列されている。先ず、入力動画（ビデオ画像）のＮフレーム（第1参照フレーム、Ｎは自然数）とＮ＋１フレームとの間の時間的に中間位置に補間フレームＩを生成する例について説明する。これは、例えば３０ｆｐｓの入力動画を６０ｆｐｓの動画に変換する場合もあるが、ここでは６０ｆｐｓの入力動画を１２０ｆｐｓの動画に変換する場合について以下に述べる。
【００２０】
補間画像作成部５は、動きベクトル検出部２の検出結果に基づいて補間フレームを作成し、前記２フレームの間に挿入する。補間フレームが挿入された出力画像信号のフレームレートは例えば１２０フレーム／秒である。
【００２１】
なお、図１の構成に関して、動きベクトル検出範囲外等により動きベクトル検出ができなかった場合は、動きベクトル検出部２から制御して、例えば簡単にはフレームメモリ２の第1参照フレームを外部のＬＣＤ６へ出力することができるよう構成されている。
【００２２】
図３はブロックマッチング処理の一例を説明するための図である。即ちブロックマッチングを用いた動きベクトルの検出方法としては、補間フレーム画像の挿入位置を中心して、それを挟む前後2枚のフレーム上で所定形状のブロックを点対象に平行移動させ対応する位置の画素どうしの画素値の差分値をブロック内の画素全てについて計算しこれを累積した値(SAD:Sum of Absolute Difference)を求め、このSAD値が最小となる方向を該ブロックの動きベクトルとする方法等が知られている。
【００２３】
図３に示すように、点対称の位置にある画像ブロックどうしのブロックマッチング処理を介して動きベクトルを求める方法がある。すなわち図３の方法では、補間フレーム２１内の補間画像ブロック４１の挿入位置を中心として、それを挟む前フレーム２０上及び後フレーム２２上で点対称の位置にある画像ブロックどうしを画素毎に比較してＳＡＤを算出する。最も類似している（ＳＡＤが最も小さい）画像ブロックどうしを結ぶベクトルを動きベクトルと決定する。この比較は、前フレーム２０中の所定探索範囲４０及び後フレーム２２内の対応する探索範囲４２において行われる。
【００２４】
互いに最も類似している画像ブロックの組み合わせが、例えば画像ブロック４３と画像ブロック４４であった場合、画像ブロック４３から画像ブロック４４までのベクトルが、補間画像ブロック４１の動きベクトルとして決定される。この動きベクトルと、互いに最も類似している画像ブロック４３及び４４の画像データに基づいて、補間フレーム２１内の補間画像ブロック４１が作成される。尚、この動きベクトル（大きさと方向を含む）は、図３では説明の都合上３次元のように示されているが、実際の処理においては、フレーム上の２次元で示されるベクトルである。
【００２５】
図３に示す方法では、補間フレーム画像の挿入位置を中心としそれを挟む前後２枚のフレーム上で規定の形状のブロックを点対称に平行移動させる。そして、対応する位置の画素どうしの画素値の差分値をブロック内の画素全てについて計算し、これを累積した値（ＳＡＤ）を求め、このＳＡＤ値が最小となる方向を該ブロックの動きベクトルとする。
【００２６】
以下、表示形態に係わる図面を用いて処理を説明する。フィルタ処理に伴う副作用が発生する例として、図４のように静止した無地な背景上でアルファベット文字が水平方向にスクロールしている映像を考える。ここで文字のスクロール速度は２４画素／フレームである。本例のスクロール文字の場合、アルファベットの文字を形成する縦線の一部が周期的なパターンになっており、単純なブロックマッチング処理で検出したのみでは、文字スクロール速度との関係でベクトルが誤検出され、例えば図５に示すように文字の一部（図５の例では文字”Ｈ”の一部）に欠けが生じる等、補間画像に破綻を来たす場合がある。このような局所的なベクトルの誤検出による補間画像の破綻を抑制するための手段として、いったん検出した動きベクトルのフィルタ処理によって、ベクトルの不連続性を解消する方法が有効と考えられる。
【００２７】
まず、本例でスクロールしている文字周辺で検出されている動きベクトルの分布状態の例を図６に示す。図６のように、背景部分の動きベクトルが検出されている領域Ａと、スクロールしている文字の動きベクトルが検出されている領域Ｂと、文字スクロール領域内の一部で、本来の文字の動きと異なる動きベクトルが検出されている領域Ｃとがある。この領域Ｃ周辺の動きベクトル値の詳細値の分布例を図７に示す。動きベクトルは（水平方向の動き量、垂直方向の動き量）で記載されている。なお本例では、水平方向の動きは右方向への動きを正、垂直方向の動きは上方向への動きを正とし、入力される前後いずれか片方のフレーム上の位置から補間フレーム上の位置への移動量を動き量として、動きベクトルを表現している。本例では、スクロール文字領域中の２ブロックにおいてベクトルの誤検出が発生している。ブロックのサイズは例えば縦2画素、横３２画素である。
【００２８】
ここで、特願2006-244729号公報で開示されている、「注目ブロックの動きベクトルの、上方ブロックの動きベクトルからの変化量を所定範囲に制限する」ベクトルフィルタ処理を、上方ブロックのベクトルからの変化量を3に制限する設定で行う場合を考える。
【００２９】
この場合、誤検出していた２ブロックのうち上方のブロックでは、元々検出された動きベクトルは(0, 0)であるが、そのさらに上方ブロックのベクトルが(-12, 0)であり、かつこのベクトルからの許容変化量が3に設定されているため、フィルタ処理後のベクトルは(-9, 0)となる。誤検出していた２ブロックのうち下方のブロックでは、同じく元々検出された動きベクトルは(0, 0)であるが、前記の通りこの上方に相当するブロックのベクトルがフィルタ処理によって(-9, 0)となっているため、フィルタ処理後のベクトルは(-6, 0)となる。
【００３０】
一方、文字の上端部分では、その上方ブロックが静止した無地な画像で動きベクトルは(0, 0)と検出されているため、元々検出されたベクトル(-12, 0)という本来の動きに合致したベクトルであったものが、ベクトルフィルタ処理によって(-2, 0)に補正される。
【００３１】
以下、同様に処理が行われることによって、破綻箇所周辺のフィルタ処理後の動きベクトルは、図８のようになり、このようにフィルタ処理された動きベクトルを用いて生成された補間画像は図１０に示すようになる。なお、図１０の補間画像の例では、検出した動きの方向に相当する前フレームの画素値と、後フレームの画素値との平均値により生成している。
【００３２】
上述のように、検出したベクトルがフィルタ処理されることにより、誤検出による欠けが生じていた文字部分に関しては多少の歪みは残るものの補間画像は本来の形に近いものとなり、動画像として見た際の破綻は低減される。ところが一方で、ベクトルのフィルタ処理がされていなかった際には正しいベクトルが検出され、品質の良い補間画像が生成されていた文字の上端部において、背景部分との境界部で大きく歪みが生じてしまい、この新たな歪みに補間画像の品位が大きく損ねられてしまっている。このように、従来の方法によるフィルタ処理では、効果とともに副作用が生じる場合が往々にしてあり、例えば以下のような修正処理が必要であった。
【００３３】
ここで、本実施形態の方法であるマッチング評価指標の利用方法について説明する。図４の入力映像に対して、上方ブロックのベクトルからの変化量を3に制限するフィルタ処理を行う場合を例として説明する。ここで、フィルタ処理後のベクトルのSAD値がTHR_VALより大きい場合にはフィルタ処理によるベクトルの補正を行わないような設定で動作させるとする。
【００３４】
文字上部ではフィルタ処理を行うことによって、元々(-12, 0)と検出されたベクトルが(-3, 0)へと補正されることになるが、このブロックに対して、フィルタ処理後のベクトル(-3, 0)を用いて入力の前後フレーム間のブロックマッチングを行った際のSAD値がVAL1であるとする。一方、文字の破綻が発生しているブロックでは元々(0, 0)と検出されたベクトルが、フィルタ処理により(-9, 0)へと補正されることになるが、このブロックに対して、フィルタ処理後のベクトル(-9, 0)を用いて入力の前後フレーム間のブロックマッチングを行った際のSAD値がVAL2であるとする。
【００３５】
ここで、THR_VALの値が、VAL1 > THR_VAL かつ、と VAL2 < THR_VAL となるように設定されていれば、スクロールしている文字と静止している背景部の境界部に当たる文字上端部ではフィルタ処理によるベクトルの補正は行われず、元々検出されたベクトル(-12, 0)がそのまま出力され、フィルタ処理が行われない場合に文字破綻の生じていたブロックでは、補正が有効となり(0,0)というベクトルが(-9, 0)へと補正されベクトルの局所的な誤検出による破綻が軽減される。
【００３６】
このように、フィルタ処理後のベクトルでのマッチング評価指数が所定値より悪化する場合にはフィルタ処理を弱くする、あるいはフィルタ処理を行わないように制御することで、物体境界部での歪みを生じることなく、ベクトル誤検出箇所の画像破綻を抑制することが出来る。
【００３７】
このように本実施形態によれば、物体境界部での歪みを生じることなく、ベクトル誤検出箇所の画像破綻を抑制することが出来ることが分かる。
【実施例２】
【００３８】
本発明による実施形態２を説明する。実施形態１と共通する部分は説明を省略する。
図９は図４の入力映像に対して本実施形態によるベクトルフィルタ処理によって補正された後の動きベクトルの詳細値を例示した図、図１１は図９に示す本実施形態のベクトルフィルタ処理後の動きベクトルを用いて生成された補間画像を例示した図である。
【００３９】
本実施形態は、上記問題を解決するためになされたもので、検出した動きベクトルに対して空間的なフィルタ処理を行う際に、注目ブロック内、あるいは注目ブロックと周辺のブロックとの間にエッジが存在しているかどうかを判定し、物体の境界と見なされるようなエッジが存在している場合と存在していない場合とでフィルタ処理方法を変更する。より具体的には、エッジが存在していない場合にはフィルタが強く掛かるようにし、エッジが存在している場合にはフィルタが弱くしか掛からない、あるいは全く掛からないように制御する。
【００４０】
さてフレーム補間方式としては、例えば、後方探索、前方探索、前後方平均の３種類の方式が考えられるがここでは前方探索を採用している。前方探索とは、Ｎフレーム上の参照ブロックに対し、Ｎ＋１フレーム上で最も相関の高いブロック位置（動きベクトル）を求める方法であり、ＮフレームからＮ＋１フレームへのいわゆるブロックマッチングである。相関の大小の基準となる相関値としては、実施形態１で概略を記した絶対値差分和（Sum of Absolute Difference： ＳＡＤ）のほかに、高相関画素に対応する一致画素数和（Sum of Agreement Pixels： ＳＡＰ）等が考えられる。まずＳＡＤは、以下の式により求めることができる。
【００４１】
【数１】
0004982345.tif 000002
【００４２】
ここでｘはフレームにおける画素の位置、Ｂはブロック内画素位置の集合、Ｎはフレーム数、ｄは動きベクトルを表し、ｆ（ｘ，Ｎ）は、対象画素の輝度成分を表している。すなわち（１）式においてＳＡＤが最小となるｄがＮフレームからＮ＋１フレームへの動きベクトルＭＶとなり、ＭＶが示す先のブロックが候補補間ブロックとなる。また、ＳＡＰは以下の式により求めることができる。
【００４３】
【数２】
0004982345.tif 000003
【００４４】
（２）、（３）式は、ブロック内の輝度成分の絶対値差分が閾値Ｔｈより小さい画素数を求めている。すなわち（２）、（３）式においてＳＡＰが最大となるｄがＮフレームからＮ＋１フレームへの動きベクトルＭＶとなり、ＭＶが示す先のブロックが候補補間ブロックとなる。
【００４５】
ここで、本実施形態の方法によるフィルタ処理を行った場合を説明する。前述の従来例と同じく、ベクトルフィルタ処理としては、上方ブロックからのベクトル変化量を所定範囲を3に制限したフィルタ処理を例とし、エッジの検出方法としては、垂直方向のエッジを検出するものを例として説明する。ここでは、エッジの検出方法としては、フィルタ処理前の検出ベクトル値の方向にある前後フレーム上の該当するブロック画素内にエッジが存在するかどうかにより判定する方法を取ることとする。
【００４６】
この場合、ベクトルの誤検出が発生していたブロックでは、当該ブロック内、あるいは当該ブロックとその上方に隣接するブロックとの間には垂直方向のエッジと判定されるものは存在しない。従って、フィルタ処理が有効となり、当該ブロックのベクトルは(0, 0)から(-9, 0)へと補正される。以下、この下方に向かっての補正は前述の従来方法と同様となる。一方で、文字の上端部では、文字と背景部分の境界部が垂直エッジと判定されるため、ベクトルフィルタ処理は無効となり、元々検出されたベクトルがそのまま出力されることとなる。このようにして垂直エッジを含む領域と垂直エッジを含まない領域とで、ベクトルフィルタが適応的に機能し、フィルタ処理後のベクトル詳細値は図９のようになり、このフィルタ処理された動きベクトルを用いて生成された補間画像は図１１に示すようなものとなる。
【００４７】
実施形態１における適応的なベクトルフィルタ処理方法は、注目ブロック内、もしくはその近傍にエッジの存在が検出された場合に、前記隣接ブロックのベクトルからの変化許容量を大きくすることも好適である。
【００４８】
以上の実施形態では、物体境界部での動きベクトルの歪みによる画像破綻を抑止しながら、同一物体内での局所的な動きベクトルの誤検出による補間画像破綻を抑止することが可能となる。
【００４９】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。例えば上記実施形態で用いるベクトルのフィルタ処理の手法としては、特願2006-244729号に示された方法に限定されるものではなく、メディアン処理、平均化処理等、その他の一般的なフィルタ処理のいずれであっても良い。
【００５０】
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。
【図面の簡単な説明】
【００５１】
【図１】この発明の一実施形態を示すブロック構成図。
【図２】同実施形態の動きベクトル検出に関する説明のための模式図。
【図３】同実施形態のブロックマッチング処理のイメージを示した図。
【図４】同実施形態の左方向にスクロールする文字が含まれる入力映像を例示した図。
【図５】図４の入力映像に対して単純なブロックマッチング処理のみによって検出した動きベクトルを用いて生成された補間画像を例示した図。
【図６】図４の入力映像に対して単純なブロックマッチング処理のみによって検出されたベクトルの分布状態を例示した図。
【図７】図６のベクトル分布において動きベクトルが誤検出されている箇所のベクトルの詳細値を例示した図。
【図８】図４の入力映像に対して従来例の垂直方向のベクトルフィルタ処理で補正された後の動きベクトルの詳細値を例示した図。
【図９】図４の入力映像に対してベクトルフィルタ処理によって補正された後の動きベクトルの詳細値を例示した図。
【図１０】図８に示す従来のベクトルフィルタ処理後の動きベクトルを用いて生成された補間画像を例示した図。
【図１１】図９に示すベクトルフィルタ処理後の動きベクトルを用いて生成された補間画像を例示した図。
【符号の説明】
【００５２】
１０…フレーム補間回路、１…フレームメモリ部、２…上左ベクトルを使用したフィルタリングを含む動きベクトル検出部、３…ベクトルフィルタ処理部、４…マッチング評価指数判定部、５…補間画像作成部、６…パネル。
【図１】
0004982345.tif 000004
【図２】
0004982345.tif 000005
【図３】
0004982345.tif 000006
【図４】
0004982345.tif 000007
【図５】
0004982345.tif 000008
【図６】
0004982345.tif 000009
【図７】
0004982345.tif 000010
【図８】
0004982345.tif 000011
【図９】
0004982345.tif 000012
【図１０】
0004982345.tif 000013
【図１１】
0004982345.tif 000014