(57)【要約】【課題】  補間フレームを映像信号のフレーム列に挿入するものにおいて、動きベクトルの誤検出による映像の乱れを抑制する。【解決手段】  本発明に係る映像処理装置は、入力映像信号に含まれる複数のフレームから動きベクトルを取得して動きベクトル取得部と、この動きベクトルを用いて補間フレームを生成するとともに、該補間フレームを前記入力映像信号のフレームと組み合わせて新たなフレーム列の信号を作成するフレーム補間部(5)とを備える。そして動きベクトル取得部は、マッチング処理により動きベクトルを検出する第２動きベクトル取得部(31)と、入力映像信号のフレームの特定領域について、時間的に連続する２つのフレーム間の、所定輪郭成分の相対的なずれ量に基づいて動きベクトルを取得するための第２動きベクトル取得部(32)を含む。【選択図】図１
2008167103.tif 000002
【特許請求の範囲】
【請求項１】
映像処理装置において、
入力映像信号に含まれる複数のフレームから画素もしくは所定のブロック単位で画像の動きベクトルを取得して出力する動きベクトル取得部と、
前記動きベクトル取得部からの動きベクトルを用いて補間フレームを生成するとともに、該補間フレームを前記入力映像信号のフレームと組み合わせて新たなフレーム列の信号を作成するフレーム補間部と、を備え、
前記動きベクトル取得部は、入力映像信号のフレームの特定領域における画素もしくは所定ブロックについて、前記入力映像信号内の時間的に連続する２つのフレーム間の、所定輪郭成分の相対的なずれ量に基づいて動きベクトルを取得することを特徴とする映像処理装置。
【請求項２】
請求項１に記載の映像処理装置において、前記特定領域に含まれる画素もしくは所定ブロックの全てに対して、前記ずれ量に等しい同一の動きベクトルを与えるようにしたことを特徴とする映像処理装置。
【請求項３】
請求項１に記載の映像処理装置において、前記特定領域は、輝度の変化が周期的もしくは非周期的に現れる映像パターンを含む領域であることを特徴とする映像処理装置。
【請求項４】
請求項３に記載の映像処理装置において、前記輝度の変化が周期的もしくは非周期的に現れる映像パターンは、格子状またはストライプ状のパターン、もしくは文字テロップであることを特徴とする映像処理装置。
【請求項５】
請求項１に記載の映像処理装置において、前記動きベクトル取得部は、前記入力映像信号内の時間的に連続する２つのフレーム間に挿入される補間フレーム内の補間画素もしくはブロックを中心に、点対称位置にある該２つのフレーム上の画素もしくはブロックのペアを複数抽出し、該画素もしくはブロックペア同士の差分が最も小さいペアの方向を動きベクトルとするマッチング処理により前記動きベクトルを取得するものであり、
前記特定領域に対しては、前記マッチング処理で取得された動きベクトルに代えて、前記ずれ量に基づく動きベクトルを与えるようにしたことを特徴とする映像処理装置。
【請求項６】
請求項１に記載の映像処理装置において、前記動きベクトル取得部は、前記２つのフレームを所定画素単位で水平及び／または垂直方向に相対的にずらしつつ、該２つのフレーム間で前記所定輪郭成分が一致する頻度を検出してヒストグラムを作成し、該ヒストグラムにおいて、前記所定輪郭成分が一致する頻度が最も高いずれ量を、前記特定領域に対する動きベクトルとすることを特徴とする映像処理装置。
【請求項７】
映像表示装置において、
入力映像信号に含まれる複数のフレームから画素もしくは所定のブロック単位で画像の動きベクトルを取得して出力する動きベクトル取得部と、
前記動きベクトル取得部からの動きベクトルを用いて補間フレームを生成するとともに、該補間フレームを前記入力映像信号のフレームと組み合わせて新たなフレーム列の信号を作成するフレーム補間部と、
該フレーム補間部から出力されたフレーム列に基づき映像の表示を行う表示部と、を備え、
前記動きベクトル取得部は、入力映像信号のフレームの特定領域については、該特定領域以外とは異なる動きベクトルを与えることを特徴とする映像表示装置。
【請求項８】
請求項７に記載の映像表示装置において、前記動きベクトル取得部は、前記入力映像信号から所定輪郭成分を抽出する輪郭抽出部を含み、該輪郭抽出部で抽出された前記所定輪郭成分を用いて前記特定領域用の動きベクトルを取得することを特徴とする映像表示装置。
【請求項９】
請求項８に記載の映像表示装置において、前記動きベクトル取得部は、前記２つのフレームを所定画素単位で水平及び／または垂直方向に相対的に移動しつつ、該２つのフレーム間で前記所定輪郭成分が一致する一致点を検出することにより、移動量毎のヒストグラムを作成し、
該ヒストグラムにおいて、前記一致点の出現頻度が最大の移動量を前記特定領域に対する動きベクトルとすることを特徴とする映像表示装置。
【請求項１０】
請求項９に記載の映像表示装置において、前記輪郭抽出部は、時間的に連続する２つのフレームにおいて画素の階調および隣接画素との階調差に関する閾値テーブルを含み、該テーブルにより定まる階調および階調差の閾値を用いて前記所定輪郭成分を抽出することを特徴とする映像表示装置。
【請求項１１】
請求項１０に記載の映像表示装置において、更に前記特定領域を判定するための領域判定部を備え、該領域判定部は、前記抽出された所定輪郭成分近傍の画素の階調と前記階調閾値とを比較して前記特定領域を判定することを特徴とする映像表示装置。
【請求項１２】
請求項１０に記載の映像表示装置において、前記２つのフレームの時間的に前のフレームに含まれる第１画素と、時間的に後のフレームに含まれる、前記第１画素と空間的位置が同一であって前記特定領域内の第２画素とが、前記所定輪郭成分に対応しており、かつ該第１及び第２画素間の階調差が所定閾値以内である場合に、前記所定輪郭成分が一致しているとして前記一致点を検出することを特徴とする映像表示装置。
【請求項１３】
請求項９に記載の映像表示装置において、前記動きベクトル取得部は、前記ヒストグラムにおいて、前記一致点の出現頻度に前記所定輪郭成分の動きおよびノイズによる誤差に基づく補正値を加算して得られた値に基づいて、前記最大の出現頻度を判定するようにしたことを特徴とする映像表示装置。
【請求項１４】
請求項１３に記載の映像表示装置において、前記動きベクトル取得部は、前記ヒストグラムにおける各移動量に対し、前記最大の出現頻度の判定に用いられるデータとして有効または無効かを指定するためのテーブルを含むことを特徴とする映像表示装置。
【請求項１５】
請求項１１に記載の映像表示装置において、前記領域判定部は、前記所定輪郭成分近傍の画素の階調が前記前記階調閾値以上の場合は、当該画素は前記特定領域に含むと判定することを特徴とする映像表示装置。
【請求項１６】
請求項１１に記載の映像表示装置において、前記領域判定部は、前記所定輪郭成分の画素に上下および左右に隣接する二画素間の階調差がそれぞれ所定閾値以内にある場合は、当該画素は前記特定領域に含まれると判定することを特徴とする映像表示装置。
【請求項１７】
請求項９に記載の映像表示装置において、前記動きベクトル取得部を複数設けたことを特徴とする映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置及び映像表示装置に関し、特に入力された映像信号のフレームレートを変換するための構成を備えた映像処理装置及び映像表示装置に関する。
【背景技術】
【０００２】
近年、動画性能を向上させるための技術として、フレームレート変換と呼ばれる技術が提案されている。これは、映像信号に含まれる複数のフレームと、該入力映像信号の動きベクトルを用いて装置内部で生成された補間フレームとを組み合わせて、新たなフレーム列の信号を生成するものである。これにより、動画表示における残像感やガタガタ感といった不自然な動きを改善し、動画性能を向上することが可能となる。
【０００３】
動画性能をより向上させるためには、精度の高い補間フレーム生成が必要であり、そのためには、補間フレーム生成に用いられる動きベクトルの検出精度を向上させる必要がある。動きベクトルの検出精度の向上にかかる従来技術については、例えば特許文献１等に開示されている。これは、入力映像信号に含まれる時間的に連続する２つのフレーム間に補間フレームを挿入するものであり、その補間フレームを構成する補間画素を中心に、該補間画素と点対称の位置にある当該２つのフレーム画素のペアを所定領域内で複数抽出し、その画素同士の差分が最小となる画素の方向を動きベクトルとするものである。
【０００４】
【特許文献１】特開2006-165602号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記従来技術は、補間画素を中心とした点対称の位置にある前後２フレームの画素（ブロック）間の差分が、所定領域内で最小となる方向を動きベクトルとして求めている（以下、このような処理をマッチング処理と呼ぶ）。よって、上記所定領域において、あるレベルの輪郭成分が１つまたは２つ等小数出現する場合は、上述した差分が最小となる画素の組が少ないため物体の動きを比較的特定し易い。しかしながら、金網、鉄柵（ストライプ模様）、格子模様、文字テロップ等の輝度変化が周期的もしくは非周期的に出現する映像パターンは、上記所定領域において、同じレベルを持つ輪郭成分が所定方向（水平、垂直方向）に多数出現する。このため、上記所定領域において、上述した差分が最小となる画素の組が多数抽出されることになり、動きベクトルの誤検出が起り易い。
【０００６】
例えば、ある鉄柵（ストライプパターン）が時間的に連続する前フレームから後フレームにかけて移動している場合に、後フレームにおける上記ある１本の棒、及びそれに隣接する棒の画素値も、前フレームにおける上記ある１本の棒と同じ画素値を有している。このため、前フレームにおける上記ある１本の棒が、後フレームにおける上記隣接棒へ動いたと誤検出される場合がある。
【０００７】
この現象について図５を参照して説明する。図５の左上は、連続する２つのフレームにおける時間的に前のフレーム(第１フレーム)の映像を示し、右上は、該２フレームにおける時間的に後のフレーム(第２フレーム)の映像を示している。この映像は、家、木等の他に、画面下部に位置する、水平方向に輝度の変化が周期的に出現する鉄柵を含んでいる。ここで、第１フレームの映像は、カメラ５０４の位置で撮像されたものであり、カメラ５０４は、方向５０５に移動して第２フレームの映像を撮像したものとする。よって、第１フレームと第２フレーム間の映像の動きベクトルは方向５０５とは逆の方向となる。
【０００８】
第１フレームの注目領域５０３が、実際には後フレームにおいて領域５０６に動いたものとする。もし上記マッチング処理で正確に動きベクトルが検出されて補間フレームが作成された場合は、左下に示されるようになる。すなわち、注目領域５０３の前フレームにおける鉄柵５０７が、動きベクトル５２０の方向に、後フレームにおいては鉄柵５０９に移動されると、上記マッチング処理によって補間フレームとして鉄柵５２０が生成される。このとき、領域５０６における拡大映像は符号５３０に示すようになっている。しかしながら、鉄柵は、拡大映像５３１に示されるように、拡大映像５２０と同じような画素値を持つため、例えば領域５０６ではなく領域５０７に移動したものと誤検出する場合がある。この場合、図５の右下に示されるように、注目領域５０３の前フレームにおける鉄柵５０８が、誤検出されたベクトル５２１によって後フレームにおいて鉄柵５１３に移動されたと誤ってマッチング処理される。この場合は、補間フレームにおける鉄柵は、符号５１４に示されるようになり、正しく動きが検出されて生成された補間フレームの鉄柵５１０とは異なる位置に出現する。
【０００９】
このような動きベクトルの誤検出が生じると、映像の動きと関連性の無い、もしくは関連性が低い映像が補間フレーム上に出現し、結果として映像に破綻や乱れが生じることになる。
【００１０】
上記の従来技術においては、このような輝度変化が周期的もしくは非周期的に出現する映像パターンにおける動きベクトルの誤検出、及びその誤検出された動きベクトルによって作成された補間フレームによる映像の破綻や乱れについては考慮されていない。
【００１１】
本発明は、上述した課題に鑑みて為されたものであって、その目的は、補間フレームを用いてフレームレートを変換する場合において、格子、ストライプ模様等の輝度変化が周期的もしくは非周期的に出現する映像パターンを表示する場合でも、破綻や乱れが少ない高画質な映像を表示することが可能な技術を提供することにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明は、特許請求の範囲に記載した構成を特徴とするものである。
【００１３】
すなわち、例えば格子状、ストライプ状パターン、文字テロップなどの輝度変化が周期的もしくは非周期的に出現する映像パターンを含む領域を特定領域とし、その特定領域については、入力映像信号内の時間的に連続する２つのフレーム間の、所定輪郭成分の相対的なずれ量から動きベクトルを取得することを特徴とするものである。
【００１４】
具体的には、上記特定領域以外の領域については、上述のマッチング処理により動きベクトルを与え、特定領域については、次のような処理により動きベクトルを与える。すなわち、２つのフレームを所定画素単位で水平及び／または垂直方向に相対的に移動しつつ、該２つのフレーム間で前記所定輪郭成分が一致する頻度を移動量ごとに検出してヒストグラムを作成し、該ヒストグラムにおいて、前記所定輪郭成分が一致する頻度が最も高い移動量（ずれ量）を、上記特定領域に対する動きベクトルとするものである。
【発明の効果】
【００１５】
本発明によれば、補間フレームを用いてフレームレートを変換する場合において、格子、ストライプ模様等の輝度変化が周期的非周期的に出現する映像パターンを表示する場合でも、破綻や乱れが少ない高画質な映像を表示することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態について、図面を参照しつつ説明する。尚、本実施形態は、フレームレートが６０Ｈｚの入力映像信号を、例えばその２倍の１２０Ｈｚに変換する場合に適用されることは勿論、２−３プルダウン形式のフレームレートが６０Ｈｚの入力映像信号における幾つかのフレームを、補間フレームに置き換えることで非プルダウン形式の６０Ｈｚの映像信号に変換する場合にも適用される。
【実施例１】
【００１７】
本発明の第１実施例について図１、２等を用いて説明する。図１は、本発明の第１実施例に係る映像処理装置であり、例えば表示パネル６を備えた映像表示装置に本発明を適用した場合の一構成例を示している。
【００１８】
映像信号は入力端子１に入力され、その入力映像信号の少なくとも２つ分のフレームのデータがフレームバッファ２に格納される。これにより、フレームバッファ２は、時間的に前の前フレーム１２、及びその前フレームに時間的に連続する後フレーム１３を出力する。前フレーム１２及び後フレーム１３は、第１動きベクトル検出部３１、第２動きベクトル取得部３２と、フレーム補間回路５にそれぞれ入力される。
【００１９】
第１動きベクトル取得部３１は、入力された前フレーム１２及び後フレーム１３から、上述したマッチング処理により動きベクトルを検出する。このマッチング処理の一例について図１３を参照しつつ以下に説明する。尚、図１３は、例えば６０Ｈｚから１２０Ｈｚへフレームレートを変換する場合のように、入力される映像信号における２つのオリジナルフレーム間の、時間的に中間の重心位置に１枚の補間フレームを挿入する場合を示している。他の形態のフレームレート変換も基本的には同様な処理が行われる。
【００２０】
図１３において、補間フレーム３３上の対象ブロック（１画素でもよい）３４について補間（補間画素を作成）しようとする場合、後フレーム信号２１、及び前フレーム信号２２それぞれについて対象ブロック３４と空間的に同一の位置にあるブロックを中心として、図１３において点線で示された所定ブロック数の検索範囲３５を設ける。図１３の例では、この検索範囲３５を、水平１１ブロック、垂直５ブロックと設定している。次に、対象ブロック３４を中心として、時間方向に点対称の位置にある現フレーム信号２１、及び前フレーム信号２２上のブロック同士を一組のブロックとして抽出する。このブロックペアの抽出を上記検索範囲３５にある全ブロックについて行い、各ブロックペア同士の差分値を求める。そして、この最も差分値が小さいブロックペア３６を検出し、そのブロックペアを結ぶ直線の方向が第１動きベクトル１６として検出される。
【００２１】
一方、第２動きベクトル取得部３２は、本実施例の特徴部分であり、上記第１動きベクトル部におけるマッチング処理とは異なる方法で動きベクトルを取得するものである。すなわち、第２動きベクトル取得部３２は、１フレーム分の映像のうち、特定領域、すなわち格子、ストライプ模様等の輝度変化が周期的に出現する映像パターンを含む領域に対して上記第１動きベクトル１６とは別の、第２動きベクトル１４を与えるための処理を実行する。具体的には、後フレーム信号２１及び前フレーム信号２２から所定の輪郭成分を抽出するとともに、これらフレームを相対的に水平方向及び／または垂直方向にずらし（移動させ）つつ、その移動量毎に、前記所定輪郭成分が後フレーム信号２１と前フレーム信号２２とで一致する一致点の回数（出現頻度）をカウントする。そのカウント値に基づいて、上記移動量毎の一致点の分布を示すヒストグラムを作成し、このヒストグラムにおいて、一致点の出現頻度が最も高い移動量を当該特定領域の動きベクトルとする。この詳細については後述するものとする。尚、第２動きベクトル取得部３２にはマスク信号１１が入力され、このマスク信号１１が指定したマスク領域については、上述の処理を行わないようにしている。このマスク領域は、例えば図示しないＯＳＤ回路により生成されたコントロールパネルやメニュー画面が表示される領域とする。
【００２２】
更に、本実施例に係る第２動きベクトル取得部３２は、上記抽出された所定輪郭成分から特定領域を判別して領域識別信号１５を出力する。ここで、領域識別信号１５は、例えばある画素が特定領域に含まれる場合は「１」の信号を出力し、それ以外の場合は「０」の信号を出力する。この特定領域の判別の詳細についても後述するものとする。
【００２３】
上記第１動きベクトル取得部３１から出力された第１動きベクトル１６と、第２動きベクトル取得部３２から出力された第２動きベクトル１４及び領域識別信号１５は、選択器４に入力される。選択器４は、領域識別信号１５の値に応じて第１動きベクトル１６及び第２動きベクトル１４のいずれか一方を選択する。すなわち、選択器４は、領域識別信号１５が「１」の場合は特定領域における画素補間に用いるために第２動きベクトル１４を選択し、領域識別信号１５が「０」の場合は特定領域以外における画素補間に用いるために第１動きベクトル１６を選択して選択動きベクトル１７を出力する。
【００２４】
選択器４から出力された選択動きベクトル１７は、フレーム補間回路５へ入力される。上述のように、フレーム補間回路５は、前フレーム１２及び後フレーム１３の信号も入力されている。そしてフレーム補間回路５は、例えば図１３に示される補間フレーム３３中の対象ブロック(画素)３４の画素値を、この対象ブロック３４を通る選択動きベクトル１７が指し示す前フレーム１２及び後フレーム１３の画素値の平均値として算出する。このようにして、補間フレーム３３中の補間画素が求められる。フレーム補間部４は、この処理を、補間フレームの全画素について行うことによって、１枚の補間フレームを作成する。更にフレーム補間部４は、上記補間フレームと入力されたオリジナルフレームとを組み合わせることによって、新たなフレーム列の信号１８を出力する。この組み合わせは、例えば、時間的に連続する２つのオリジナルフレーム間に１つの補間フレームを挿入する処理を含んでいる。また、上記組み合わせは、２つのオリジナルフレーム間に存在する幾つかのオリジナルフレームを、補間フレームに置き換える処理も含んでいる。
【００２５】
新たなフレーム列の信号１８は、タイミング制御回路６を経由して、表示部パネル７へ供給される。この表示パネル７は、例えばＬＣＤ(liquid Crystal Display)パネルで構成してもよく、ＰＤＰ(Plasma Display Panel)で構成してもよい。タイミング制御回路６は、水平、垂直走査のタイミングに応じてフレーム補間部３からの出力信号を表示パネル７へ供給することにより、表示パネル７の画面上にフレームレートが変換された映像が表示される。
【００２６】
上記の例では、第１動きベクトル取得部３１は、フレーム補間回路５と別体に構成したが、これらを一体にしてもよい。例えばフレーム補間回路５に第１動きベクトル取得部３１を内蔵させ、フレーム補間回路５に入力される前フレーム信号１２及び後フレーム信号１３から上述のマッチング処理で第１動きベクトルを抽出するようにしてもよい。この場合、選択器４は不用となり、領域識別信号１５に応じて（すなわち領域識別信号１５が「１」となる画素に対して）第１動きベクトルを第２動きベクトル１４に置き換える処理が行われる。
【００２７】
次に、本実施例に係る第２動きベクトル取得部３２の詳細について、図２を参照しつつ説明する。フレームバッファ２からの前フレーム信号１２及び後フレーム信号１３は、適用領域判定回路１０７に入力され、ここで前フレーム信号１２及び後フレーム信号１３から予め設定された所定領域を抽出する処理が行われる。ここで、適用領域判定回路１０７で抽出される所定領域は、例えば文字テロップが出願する可能性が高い領域であり、例えば映像の下部付近に設定される。適用領域判定回路１０７以降の処理は、適用領域判定回路１０７で抽出された所定領域に対してのみ行われ、それ以外の領域については、かかる処理が行われないものとする。
【００２８】
適用領域判定回路１０７で抽出された所定領域内の前フレーム信号１２及び後フレーム信号１３は、それぞれ第１輪郭抽出回路１０９及び第２輪郭抽出回路に入力され、それぞれの回路において所定領域内における輪郭成分が抽出される。まず第１輪郭抽出回路１０９は、前フレーム信号１２及び後フレーム信号１３のそれぞれについて、例えば、ある注目画素とそれに左右もしくは上下に隣接する画素の差分を検出し、その差分が第１閾値テーブル１０８に格納された第１閾値以上の場合で、かつその画素の輝度レベルが第２閾値以上の場合にこの第１輪郭抽出回路１０９は、これに続く回路で第２動きベクトルを検出するために、微小な輝度変化をノイズとして検出しないように、第１閾値テーブル１０８に格納される閾値は、高めに設定される。
【００２９】
一方、第２輪郭抽出回路１１１は、上記第１輪郭抽出回路１０９と同様に、前フレーム信号１２及び後フレーム信号１３のそれぞれについて、例えばある注目画素とそれに左右もしくは上下に隣接する画素の差分を検出し、その差分が第２閾値テーブル１１０に格納された第１閾値以上の場合で、かつその画素の輝度レベルが第２閾値以上の場合に輪郭を抽出する。この第２輪郭抽出回路１１１は、これに続く回路で文字テロップ、格子状またはストライプ状パターンを含む特定領域を抽出するために、第２閾値テーブル１０８に格納される閾値は、第１閾値テーブル１０８に格納される閾値よりも低く設定される。
【００３０】
尚、本実施例では、輪郭を抽出する系統を２つ設けたが、これに限られるものではなく、いずれか一方のみを用いてもよい。すなわち、一つの輪郭抽出回路及び閾値テーブルにより、動きベクトル検出用の輪郭成分と、特定領域判定用の輪郭成分とを検出するようにしてもよい。
【００３１】
上記第１輪郭抽出回路１０９で抽出された輪郭成分は、動きベクトル検出回路１１５に入力される。動きベクトル検出回路１１５は、この前フレーム信号１２及び後フレーム信号１３のそれぞれの輪郭成分に基づき、上述したマッチング処理とは異なる処理で、適用領域判定回路１０７で指定された所定領域内の画像の動きベクトルを検出する。この動きベクトルの検出について、図９を参照しつつ以下に詳述する。
【００３２】
図９は、時間的に連続するフレームを模式的に示したものであり、ｙ軸９０１は垂直方向、ｘ軸９０３は水平方向、ｔ軸９０５は時間方向を示している。この例は、前フレーム信号である第１フレーム画面９０６と、後フレーム信号９０７である第２フレーム画面９０７とを、水平及び／または垂直方向に１画素ずつ相対的にずらしながら、つまり第１フレーム画面９０６に対し第２フレーム画面９０７を水平及び／または垂直方向に１画素ずつ移動させながら、両フレーム画面において輪郭が一致する点を検出する。この処理を実現するために、本実施例では、第１フレーム画面９０６における注目画素９０２を、第２フレーム画面９０７において予め設定された検索領域９０４内をスキャンするように構成している。この検索範囲９０４は、本実施例では、例えば図９の右側に示されるように、注目画素９０２を中心に、水平方向±６画素、垂直±５画素方向とされている。当然、検索範囲９０４の水平及び垂直方向の画素数は、これに限られるものではない。
【００３３】
そして本実施例では、第１フレーム画面９０６における注目画素９０２（輪郭成分）と、検索範囲９０４内の１４３個（１３×１１個）の画素（輪郭成分）とを順次比較して、注目画素９０２とレベルが一致する検索範囲９０４内の点を検索する。本実施例では、両者が一致する画素として、検索範囲９０４内の一致点９０８が検出されたものとする。このようにして、第１フレーム画面９０６の全画素（上述のように、適用領域判定回路１０７で指定された所定領域内の画素）について、検索範囲９０４内の一致点を検索する。このようにすることにより、大まかな動きベクトルが得られる。図１０の例では、一致点９０８は、注目画素９０２に対して水平方向に３画素右、垂直方向に２画素上の位置にあるので、注目画素９０２の移動量は、水平方向については右に「３」、及び垂直方向については上に「２」となる。尚、本実施例では、検索範囲９０４を水平方向と垂直方向の両方を設定したが、水平方向のみ、または垂直方向のみとしてもよい。
【００３４】
動きベクトル検出回路１１５で検出された動きベクトルに関する情報、すなわち一致点の情報、及び注目画素から一致点までのずれ量（移動量）の情報が第１ヒストグラム生成部１１４に入力される。第１ヒストグラム生成部１１４は、動きベクトル検出回路１１５から入力された一致点の情報と移動量の情報とから、図１０に示されるような、各移動量に対して出現した一致点の数を示すヒストグラム（以下、移動量ヒストグラムと呼ぶ）を作成する。ヒストグラムの作成の概念は、図９の右側にある検索範囲の拡大図に示される。第１ヒストグラム生成部１１４は、水平方向一致点数カウンタ９０９、及び垂直方向一致点数カウンタ９１０を有している。図９に示されるように、注目画素９０２の座標を（０，０）としたとき、一致点９０８の座標（ｉ，ｊ）、つまり水平方向及び垂直方向の移動量が（３，２）の場合、水平方向の一致点数カウンタ９０９は、移動量＋３に対応するアドレスに「１」を加算し、垂直方向カウンタ９１０は、移動量＋２に対応するアドレスに「１」を加算する。第１ヒストグラム生成部１１４は、このような一致点数のカウントを上記所定領域内の全画素について行うことで、図１０に示されるようなヒストグラム（以下、移動量ヒストグラムと称する）を作成する。尚、図示された移動量ヒストグラムは、説明の容易の為に、水平方向の移動量に対応する一致点数のみを示すこととする。垂直方向の移動量ヒストグラムは、図１０に示されたものと同様な形態を為す。
【００３５】
図１０に示されるように、かかる移動量ヒストグラムは、横軸が移動量を、縦軸が輪郭の一致点の数を示しており、第２フレーム画面９０７を第１フレーム画面９０６に対して１画素ずつ移動させた場合に、どれだけ輪郭の一致点が出現したかを表している。尚、横軸は、図９の検索範囲９０４の水平方向と対応しており、この例では水平方向の移動量として±６画素分としている。すなわち第１ヒストグラム生成部１１４は、所定領域にある第１フレーム画面９０６の全ての注目画素について、検索範囲９０４内の１画素ずつ移動させたとき出現する一致点の数を、上述のように当該１画素の移動の度にカウントすることで、適用領域判定回路１０７で指定された所定領域における移動量ヒストグラムを作成する。そして、本実施例に係る第１ヒストグラム生成部１１４では、この移動量ヒストグラムを参照し、一致点数が最も大きい移動量を、当該所定領域全体の画素に対する動きベクトル、すなわち第２動きベクトルとして設定する。
【００３６】
尚、マスク設定回路１２０は、前述したマスク信号１１から例えばコントロールパネルやメニュー画面などのＯＳＤ（on screen display）画面が表示されるマスク領域を設定する。マスク処理回路１１７は、マスク設定回路１２０で設定されたマスク領域については、領域ヒストグラムの値を除外するように動作する。これにより、ＯＳＤ画面についてカウントされた一致点数を第２動きベクトルの生成に対して影響を与えないようにしている。このマスク設定回路１２０及びマスク処理回路１１７は、必ずしも必要ではなく、必要に応じて設けるようにしてもよい。
【００３７】
マスク処理回路１１７から出力されたヒストグラム情報は、移動誤差判定回路１１８に入力される。上述のように、本実施例では、移動量ヒストグラムにおいて一致点数が最も大きい移動量を第２動きベクトルとして設定しているが、次に説明する移動誤差判定回路１１８処理により当該第２動きベクトルをより正確に判定している。
【００３８】
例えば、入力映像の精細度を表示パネル７の解像度と合わせるために当該入力映像について拡大、縮小処理を行う場合、当該入力映像に対してフィルタリング処理を行うことにより入力映像に挿入される補間画素を作成する。このため、移動の前後で入力映像の画素が揺らいでしまうことがある。また、例えば文字を半透明にしてと背景画像と混合する処理が為された場合もある。これらの場合、文字の輪郭が抽出されない、もしくは抽出位置が変わる可能性がある。更に、映像の動きは、２画素、３画素などの整数画素単位で動くとは限らず、１．５画素、３．７画素等小数単位で動く場合もある。このように、移動量ヒストグラムの最大値を求めるのみでは、正確な動きベクトルが得られない問題がある。
【００３９】
このような場合でも第２動きベクトルをより正確に判定するために、移動誤差判定回路１１８は、図１０に示されるような処理を行う。すなわち、領域ヒストグラムにおいて、ある移動量に対応する一致点数に、そのある移動量と隣接する移動量に対応する一致点数を加算して、当該ある移動量一致点数とする。その加算処理の概念が図１０の符号１８２に示される。
【００４０】
例えば、図１０において、移動量−３の点について着目すると、当該移動量における一致点数のカウント値は「１８０」で、当該移動量ヒストグラムで最大のカウント値を持ち、上述の問題を考慮しなければ、この移動量−３が動きベクトルとして設定される。しかしながら、上記加算処理を行うと、次のように動きベクトルが求められる。
【００４１】
すなわち、図１０において、上記移動量−３に隣接する移動量−２のカウント値は「１０」、移動量−４のカウント値は「３０」である。尚、本例においては、図１０のヒストグラムにおいて点線で示された閾値以下（本例では「２０」）のカウント値は、これをノイズとして上記加算処理から除外される。従って、移動量−２のカウント値「１０」は、当該加算処理には考慮されないため、移動量−３を中心とする加算値は、加算テーブル１８１に示されるように「２１０」となる。
【００４２】
一方、移動量＋３の点について着目すると、当該移動量における一致点数のカウント値は「１７０」で、それに隣接する移動量＋２のカウント値は「５０」、移動量＋４のカウント値は「１４０」である。いずれのカウント値も閾値を超えているので、移動量＋３を中心とする加算値は、加算テーブル１８１に示されるように「３６０」となる。
【００４３】
よって、移動誤差判定回路１１８は、加算テーブル１８１を参照し、移動量＋３に対応する加算値が最も大きいので、上記所定領域における第２動きベクトルを移動量―３ではなく、移動量＋３と決定する。つまり、この第２動きベクトルは、当該所定領域における画像が、前フレームから後フレームにかけて右方向に３画素分移動したことを示す。
【００４４】
このようにして作成された第２動きベクトルは持続性判定回路１２１に入力され、第２動きベクトルの変化を例えば５〜６フレーム分監視する。持続性判定回路１２１は、例えば、第２動きベクトルの大きさが５フレームにわたって殆ど変化が無い場合は、当該動きベクトルは有効であるものと判断し、移動誤差判定回路１１８からの出力を第２動きベクトル１４として上述したフレーム補間回路５へ出力する。一方、第２動きベクトルの大きさが５フレームにわたって大きく変動する場合は、当該第２動きベクトルの検出が正常に行われていないと判定して、第２動きベクトルとして例えば前回得られた動きベクトルを第２動きベクトル１４として上述した選択器４へ出力する。この持続性判定回路１２１は、必要に応じて設けてよく、本実施例においては必ずしも設ける必要は無い。
【００４５】
次に、特定領域の抽出について、引き続き図２を用いて説明する。第２輪郭抽出回路１１１で抽出された輪郭成分は、領域生成回路１１９に入力される。ここでは、第２輪郭抽出回路１１１で抽出された輪郭成分を例えば水平方向に引き伸ばす、つまり当該輪郭成分を水平方向に連続させる処理を行う。本実施例では、第２閾値テーブル１１０に格納された閾値以上の輪郭は「１」、それ以外の輪郭成分は「０」としているので、上記引き延ばし処理で、「１」が連続する領域が形成される。この領域が特定領域として用いられる。上記引き伸ばし処理は、輪郭の立下りまで継続される。もし輪郭の立下りが検出されない場合には、例えば別に生成されたクロックのカウント値が所定値に達した場合に、当該引き伸ばし処理を終了する。このような処理によって、例えば図１１に示されるような特定領域が形成される。
【００４６】
図１１の左側は、入力映像信号を示しており、適用領域判定回路１０７で設定された所定領域１４１内に文字テロップ「Ａ」が表示されている例を示している。このような入力映像信号が、領域生成回路１１９によって、図１１の右側に示された特定領域１４２（白文字の「Ａ」）が形成される。また領域生成回路１１９には、持続性判定回路１２１を介して第２動きベクトルが入力されており、当該特定領域１４２を上述の補間フレームに対応させるために、この第２動きベクトルに応じて特定領域１４２を遅延させる。フレームレートを６０Ｈｚから１２０Ｈｚに変換する場合は、２つの連続するオリジナルフレーム間に１つの補間フレームを挿入する処理が行われるので、補間フレームとオリジナルフレームとの時間距離は、オリジナルフレーム間の時間距離の半分となる。このため、このような場合は、半フレーム時間分遅延させる。
【００４７】
本実施例において問題としている、輝度変化がある方向において周期的もしくは非周期的に出現するパターン（文字テロップ、格子状またはストライプ状パターン）を含む特定領域の画像は、周囲の画像に比べ、輪郭が明瞭であり、かつその領域を占める色は同系色であることが多い。つまり特定領域は、輪郭近傍の画素間の階調差が大きく、領域内は階調差が小さい領域である。本実施例は、このような特定領域の性質を利用して、上述のように領域生成回路１１９で特定領域１４２を形成するものである。ここで、画素間の階調差は、画面サイズや解像度によっても変化する場合がある。これは、映像信号と表示パネル６間の画像サイズや解像度が異なる場合に映像信号が拡大または縮小されて画素や階調が補間されるため、隣接した二画素間の階調差が変化するからである。例えば、バイリニアフィルタリング手法により、画像を二倍に拡大する場合、補間画素は左右もしくは上下の平均値となり、階調差は狭まる傾向にある。
【００４８】
これに対応するために、予め画面サイズや解像度等、輪郭を構成する画素に対して直接影響する情報に応じて第２閾値テーブル１１０に格納された第１閾値及び第２閾値のデータを設定するようにしてもよい。これらの情報は、例えばＤＶＤ映像等の外部入力やデジタル・ハイビジョン放送等の放送の方式や種類、ＴＶ機器内で行われる画像フィルタの種類などの情報が用いられる。例えば、高解像度ディスプレイに、デジタル・ハイビジョン放送等の高解像度画像を表示する場合は、第２閾値テーブル１１０に格納された第１閾値を大きく設定（例えば映像信号の階調が２５６の場合、閾値を１００とする）、一般放送のような低解像度画像を拡大して表示する場合は、当該第１閾値を、上記の場合に比べ小さく設定する（例えば５０）ことが望ましい。
【００４９】
このようにして領域生成回路１１９で抽出された特定領域１４２は、領域判定回路１２３に入力される。領域判定回路１２３は、第２のヒストグラム生成部１２２を用いて特定領域の空間位置に応じたヒストグラムを生成する。このヒストグラムの一例を図１２に示す。このヒストグラムは、水平方向ヒストグラム１３３と垂直方向ヒストグラム１３４とを含んでおり、所定領域１４１における特定領域の属する画素（つまり「１」とされた画素）の数をカウントする。水平方向ヒストグラム１３３は、図１２に示されるように、水平方向の位置に対応した「１」の画素数をカウントし、また垂直方向ヒストグラム１３４は、垂直方向の位置に対応した「１」の画素数をカウントする。ここで、カウント値が５以下のものは例えばノイズ成分として、次のフレームで、特定領域から除外して無効化する動作を行う。図１２の例では、グレーで示された領域を無効領域１３１とする。また、水平方向ヒストグラム１３３のカウント値が３０〜１５の範囲、及び垂直方向ヒストグラム１３４のカウント値が３０〜１５の範囲、及び２０〜１５の範囲を有効領域１３２として設定する。よって、領域判定回路１２３は、有効領域１３２内の画素を全て「１」として、特定領域を示す領域識別信号１５を出力する。この領域識別信号１５は、第２の動きベクトルとともに選択器４に入力され、既に述べたように選択器４を制御する。
【００５０】
以上説明した、第２動きベクトル取得部３２における処理の流れについて図６を参照しつつ説明する。まずステップ（以降、「Ｓ」と略す）１０１にては、適用領域判定回路１０７によって上述の第２動きベクトル検出処理、及び特定領域抽出処理を実行する所定領域を定める。次に、Ｓ２００において、第１閾値テーブル１０８、第１輪郭抽出回路１０９、ベクトル検出回路１１５、及び第１ヒストグラム生成部１１４によって、上述した一致点を検出して移動量ヒストグラムを作成する処理を行う。続いて、Ｓ１０２において、マスク設定回路１２０、マスク処理回路１１７、及び移動誤差判定回路１１８によって、ヒストグラムの最大値を算出する処理を行い、作成された移動量ヒストグラムより第２動きベクトルを検出する。その後、Ｓ１０３において、持続性判定回路１２２によって、成就対のように５〜６フレームにわたって、動きベクトルの変動を監視することで動きベクトルの持続性の判定処理を行う。この持続性判定処理は、動きベクトルが抽出されなかった場合もしくは異なる動きベクトルが抽出された場合に、前回の動きベクトルを予め設定された指定フレームにわたり適用する処理である。
【００５１】
更に、Ｓ３００において、第２閾値テーブル１１０、第２輪郭抽出回路１１１、及び領域生成回路１１９によって、特定領域を生成する処理を行う。最後に、Ｓ１０４において、第２ヒストグラム生成部１２２と領域判定回路１２３によって、図１２に示されるように、特定領域のヒストグラムが所定の閾値以下の連続領域を無効化する処理を行う。所定値以上の連続領域では、有効領域１３２とする。
【００５２】
このようにして、第２動きベクトル１４と、その第２動きベクトル１４が適用される特定領域が取得される。
【００５３】
続いて、上述の動きベクトルを演算式により算出する手法の一例について、図９を参照しつつ以下に説明する。画像のマッチングの評価方法としては、一般的には次の方法が用いられている。今、ｉ番フレームの位置（ｘ，ｙ）での階調（またはルミナシティ）をＳｉ（ｘ，ｙ）する。ｋ−１フレームで（ｘ，ｙ）にあった注目画素９０２が、ｋ番フレームで(ｘ＋ｄｘ，ｙ＋ｄｙ)の一致点９０８へ動いたとすると、これらの二つの階調差は次の式で表すことができる。
【００５４】
（数１）  ｄＳ＝Ｓｋ(ｘ＋ｄｘ，ｙ＋ｄｙ)−Ｓｋ−１（ｘ，ｙ）
ここで、ｄＳを最小にする変位ベクトル（ｄｘ，ｄｙ）が求める動きベクトルである。
【００５５】
本実施例では、一定の階調範囲[Ｓ０，Ｓ１]の画素と、その近傍の二画素間の階調が閾値Ｅ０以上の画素を用いた階調差の一致により、動きベクトルを求めるため、下記数２〜４を用いて表すことができる。
【００５６】
（数２）  ｄＥ＝Ｅｋ（(ｘ＋ｄｘ，ｙ＋ｄｙ)−Ｅｋ−１（ｘ，ｙ））
（数３）  Ｅｉ（ｘ，ｙ）＝Ｐｉ（ｘ，ｙ）grad Ｓｉ（ｘ，ｙ）
（数４）  Ｐｉ（ｘ，ｙ）
＝Ｈ(Ｓｉ(ｘ，ｙ)−Ｓ０) Ｈ(Ｓ１−Ｓｉ(ｘ，ｙ)) H( grad |Ｓｉ(ｘ，ｙ)|−Ｅ０)  
ここで、Hはヘヴィサイド関数（段階関数）を現しており、Ｈ(ｘ)がｘ≧０の範囲にある場合は１、その他は０である。
【００５７】
ここで、数３は特定領域の輪郭を現す関数（これ以降、この関数を輪郭関数と呼ぶ）で、数２のｄＥを最小にする変位ベクトル（ｄｘ，ｄｙ）が、特定領域の輪郭を構成する画素の動きベクトルである。
【００５８】
ある小さな閾値δＥ（＞０）に対し、|ｄＥ|＜δＥを満たす場合（これ以降、この条件を条件１と呼ぶ。）、ｋ−１番目のフレームの位置(ｘ＋ｄｘ，ｙ＋ｄｙ)とｋ番目のフレームの位置（ｘ，ｙ）の輪郭が一致していることを表す。
【００５９】
条件１にて集計したフレーム内の画素の個数は特定領域の画素数となり、数２〜４の条件式は下記の数５のように置き換えることで、量子化することができる。
【００６０】
（数５）  Ｎ（ｄｘ，ｄｙ）＝Σｘ、ｙ H(δＥ−|ｄＥ|)
ここで、Nを最大にする変位ベクトル（ｄｘ，ｄｙ）が求める動きベクトルである。
【００６１】
次に、図７を用いて、領域ヒストグラムによる第２動きベクトル取得の処理フローの一例について説明する。これは、図６のＳ２００の処理に対応する。まず、Ｓ２０１において、第一フレームの位置(ｘ，ｙ)の画素が指定した階調範囲内か判定する。ｙｅｓの場合はＳ２０２へ進み、位置(ｘ，ｙ)とその近傍の画素との階調差を算出する。続いてステップ２０３において、Ｓ２０２で算出された階調差が指定した値以上かを判定し、そうであればＳ２０４へ進み、第二フレーム位置(ｘ＋ｉ，ｙ＋ｊ)の画素が指定した階調範囲内にあるかどうかを判定する。ｙｅｓならば、Ｓ２０５へ進み上記位置(ｘ＋ｉ，ｙ＋ｊ)とその近傍の画素との階調差を算出する。尚、Ｓ２０１、２０２で判定結果がＮｏの場合は処理を終了する。
【００６２】
ここで、Ｓ２０１〜Ｓ２０５において、(ｘ，ｙ)近傍の画素が階調値の範囲[Ｓ０，Ｓ１]であり、かつδxまたはδy幅近傍の二画素間の階調が閾値Ｅ０以上を満たす場合（これ以降、この条件を条件２と呼ぶ）、上記数３は次の数６のように表すことができる。
【００６３】
（数６）Ｅｉ（ｘ，ｙ）＝ grad Ｓｉ（ｘ，ｙ）
＝({Ｓｉ(ｘ＋δｘ)−Ｓｉ(ｘ)}/δｘ, {Ｓｉ(ｙ+δｙ)−Ｓｉ(ｙ)}/δｙ)
ただし、Ｐｉ （ｘ，ｙ）＝１
また、数２は、数６を用いて次の数７ように置き換えられる。
（数７）ｄＥ＝grad Ｓｋ(ｘ＋ｄｘ，ｙ＋ｄｙ)−grad Ｓｋ−１(ｘ，ｙ)
続いて、Ｓ２０６で、Ｓ２０５で算出した値が指定された値以上かを判定し、ｙｅｓであればＳ２０７に進む。
【００６４】
今、位置(ｘ＋ｉ，ｙ＋ｊ)が検索領域９０４(ｘ0，ｙ0)−(ｘ1，ｙ1)内（ただし、ｘ0≦ｘ≦ｘ1、ｙ0≦ｙ≦ｙ1）に存在する場合を考える。このとき、数７は、ｋ−１のフレームの位置(ｘ＋ｉ，ｙ＋ｊ)とｋ番目のフレームの位置(ｘ，ｙ)での階調差の差分を示しており、Ｓ２０７は、これを用いて２つのフレーム間の差分を算出し、その差分が指定された値以下かどうかを判定する。判定の結果、ｙｅｓであればＳ２０８に進み領域ヒストグラムを作成する処理を行う。このＳ２０８は、上述した数５を用いて条件２を満たす全ての画素について計算する。この結果、Ｎ(ｉ，ｊ)は矩形内の全ての(ｉ，ｊ)の組に渡って、輪郭の一致個数を集計した領域ヒストグラムを算出される。このようにして、Ｓ２０８では、上記領域ヒストグラムＮ(ｉ，ｊ)を算出し、全ての(ｉ，ｊ)に渡って最大値判定をすることで、動きベクトル(ｉ，ｊ)を求める。ここで、領域ヒストグラムＮ(ｉ，ｊ)は、１≦ｉ≦ｎ、１≦ｊ≦ｍ（ｎ、ｍは整数値）を満たす。
【００６５】
Ｓ２０８の処理の終了後、Ｓ２０９に進んで検索範囲９０４内の位置を移動（検索対象の画素を移動）する。Ｓ２１０では、Ｓ２０１〜Ｓ２０９までの処理を検索範囲９０４内の全ての画素について行ったか否かを判定し、その処理が全ての画素について終了するまでＳ２０１〜Ｓ２０９の処理を繰り返す。尚、Ｓ２０４、２０６、２０７での判定結果がＮｏの場合は、Ｓ２０９へ進んで当該ステップの処理を行う。
【００６６】
また、２次元ヒストグラムの実際の装置に用いる場合、行および列に対応するｉ×ｊ個のテーブルを作成すると回路およびメモリ容量が大きくなるため、２次元ヒストグラムを下記数８で近似するようにしてもよい。
【００６７】
（数８）Ｎ(ｎ，ｍ)≒Ｎ(ｎ，１)・Ｎ(１，ｍ)
続いて、特定領域信号１５の作成処理の一例について、図８を参照しつつ説明する。これは、図６に示したＳ３００の処理に対応する。まずＳ３０１において、検出された動きベクトル(ｉ，ｊ)分移動させた第二フレームの位置(ｘ＋ｉ，ｙ＋ｊ)の画素が所定階調範囲[Ｓ０，Ｓ１]内にあるかを判定する。その結果ｙｅｓであれば、Ｓ３０２へ進んで位置(ｘ＋ｉ，ｙ＋ｊ)と、その近傍に位置するδxまたはδy幅にある二画素間の階調差を求める。続いてＳ３０３で、この階調差が閾値Ｅ０以上を満たすか否かを判定する。ここで、前述した条件２と条件３とでは、階調値の範囲と階調の閾値が互いに異なるものとする。尚、Ｓ３０１〜３０３を満たす条件を、以下「条件３」と呼ぶこととする。
【００６８】
Ｓ３０３の判定結果がｙｅｓであれば、Ｓ３０５において、第二フレームの位置(ｘ＋ｉ，ｙ＋ｊ)と第一フレームの位置(ｘ，ｙ)との階調差が小さいか否かを判定し、ｙｅｓであればＳ３０６へ進む、尚、Ｓ３０１、Ｓ３０３の判定結果がＮｏであれば、Ｓ３０４へ進み、前回の処理で、Ｓ３０１〜３０３における判定をクリアしたか（つまりＳ３０１とＳ３０３の判定結果がｙｅｓとなったか）を判定する。この判定結果がｙｅｓであればＳ３０６へ進む。Ｓ３０６では、第二フレームの位置(ｘ＋ｉ，ｙ＋ｊ)の画素の階調が指定範囲内であるかを判定し、ｙｅｓであればＳ３０９へ進み、この位置の画素を特定領域内の画素として、領域判定信号Ｍ（ｘ，ｙ）を「１」とする。
【００６９】
一方、Ｓ３０４の判定結果がＮｏの場合はＳ３０７へ進んで、前述した引き伸ばしされた領域（指定拡張範囲）内に存在する画素があるかを判定し、ｙｅｓであればＳ３０９へ進み、ｎｏであればＳ３０８進む。Ｓ３０８では、当該指定拡張範囲にマスク領域があるか否かを判定し、ｎｏであればＳ３１０へ進む。Ｓ３１０では、当該画素は特定領域外の画素として、領域判定信号Ｍ（ｘ，ｙ）を「０」とする。上記Ｓ３０４、Ｓ３０７、Ｓ３０８の処理は、各ステップの条件を満たす場合に特定領域を引き伸ばす（拡張する）ための処理である。
【００７０】
以上の説明の通り、本実施例に拠れば、輝度変化が周期的もしくは非周期的に出現する映像パターンを含む特定領域では、ヒストグラムを用いて検出された動きベクトルを用いて補間フレームを作成するようにしているので、当該特定領域における動きベクトルの誤検出を抑制して映像の破綻を低減することができる。
【実施例２】
【００７１】
図３及び４を用いて本発明に係る第２実施例を説明する。図３に示された第２実施例は、図１の第２動きベクトル取得部３２を複数並列に設けたことを特徴としている。図３において、第１実施例で説明した要素と同一の符号が付されている要素は、第１実施例と同様の機能を有するものとしてその詳細な説明は省略する。
【００７２】
第２実施例は、複数の第２動きベクトル取得部３２として、第２動きベクトル取得部３２ａ〜３２ｄの４つを設け、更にそれぞれの出力を合成して出力するマスク合成回路３０３を設けている。これにより、本実施例は、複数の所定領域について第２動きベクトル１４及び領域識別信号１５を生成することが可能となる。それぞれの第２動きベクトル取得部の構成は、第１実施例のものと実質的に同じであるが、第１実施例の第２動きベクトル取得部３２と異なる点は次の通りである。つまり、各第２動きベクトル取得部３２ａ〜３２ｄが、それぞれで作成した第２動きベクトル１４を、変換器３０１ａ〜３０２ｃを介して次段の第２動きベクトル取得部３２ａ〜３２ｄに出力しており、かかる構成において第１実施例の第２動きベクトル取得部３２と異なっている。尚、本実施例では、第１の動きベクトル取得部３１は、フレーム補間回路５と一体化されているものとする。
【００７３】
つまり、本実施例は、第２動きベクトル１４を変換器３０１ａ〜３０２ｃによってマスク信号３０２ａ〜３０２ｃに変換することで、ある第２動きベクトル取得部で作成された移動量ヒストグラムから、別の第２動きベクトル取得部で得られた特定領域における一致点のヒストグラムを除外するようにしている。このようにして各第２動きベクトル取得部３２ａ〜３２ｄは、それぞれにおいて定められた所定領域に対応する第２動きベクトル１４ａ〜１４ｄと領域指定信号１５ａ〜１５ｄとをマスク合成回路３０３へ供給する。マスク合成回路３０３は、これらの信号から、合成第２動きベクトル３０４と、合成領域識別信号３０５を生成して補間フレーム５へ供給する。
【００７４】
次に、図４を用いて、第２実施例における領域の指定の一例について説明する。かかる領域の指定は、各第２動きベクトル取得部３２の適用範囲判定回路１０７で、行われるものとする。複数の領域を指定する方法として、図４（ａ）に示すように画面を空間的に４分割する（すなわち領域が同一空間上において並列される）場合と、図４（ｂ）のように、時間的に４分割する（すなわち複数領域を重ねる）場合が考えられる。前者の場合は、他の領域と動きベクトルの依存関係が無いため、変換器３０１ａ〜ｄを無効にして使用する。一方、後者の場合は、同一の対象に対して同じ動きベクトルを検出しないように変換器３０１ａ〜ｃを有効にする必要がある。ただし、特定領域を変更する場合、つまり第１閾値テーブル１０８および第２閾値テーブル１１０を変える場合は、互いの設定に依存関係がないため、変換器３０１ａ〜ｃを無効にして使用することができる。
【００７５】
また、図４（ｃ）のように、左右の縦型字幕用領域４０３および４０５、下側の横型字幕用領域４０６、全体の領域を覆うの汎用領域４０４として領域を指定するようにしてもよい。このように、領域を重ねる方法と領域を並べる方法とが混在する場合は、各領域に対応する第２動きベクトル取得部、および第1ヒストグラム生成部１１４にも上記依存関係により互いに影響を及ぼしあう。この場合では、変換器３０１ａ、３０１ｂを無効、変換器３０１ｃを有効にし、全体の汎用領域４０４に対しては、第２動きベクトル取得３２ｄに割り当てて使用する。また、第1ヒストグラム生成部については、領域４０３および４０５に対応するものはＮ（ｍ，１）、領域４０６に対応するものはＮ（ｍ，１）、領域４０４に対応するものＮ（ｍ，１）Ｎ（ｍ，１）とすることで、回路規模も抑えることができる。
【００７６】
各第２動きベクトル取得部から出力される領域判定信号１５ａ〜ｄは、前述のように、動きベクトルを適用する領域、もしくは適用しない領域を指定するための１ビットの信号である。このため、マスク合成回路３０３で作成される合成マスク領域の信号３０５は、第２動きベクトル取得部の数と等しいビット数となる。本実施例の場合は、第２動きベクトル取得部が４つなので、合成マスク信号３０５は４ビット信号となる。ここで、図４（ａ）の場合では各領域は互いに排他的な関係にあるため、フレーム補間回路５側で各４つの領域を記憶することにより、１ビットの信号とすることができる。尚、図４（ｃ）の場合２ビットの信号となる。
【００７７】
以上の説明の通り、本実施形態に拠れば、マッチング処理により動きベクトルを検出して補間フレームを作成する構成において、例えば格子状、ストライプ状パターン、文字テロップなどの輝度変化が周期的もしくは非周期的に出現する映像パターンを含む領域を特定領域とし、その特定領域については、上記マッチング処理で得られた動きベクトルではなく、２つのフレーム間における輪郭成分の相対的なずれ量から動きベクトルを取得している。更に、このずれ量（移動量）についての動きベクトルのヒストグラムを作成し、このヒストグラムから最大の度数をもつ動きベクトルを上記特定領域の動きベクトルとしている、これにより、本実施形態によれば、補間フレームを用いてフレームレートを変換する場合において、格子、ストライプ模様等の輝度変化が周期的もしくは非周期的に出現する映像パターンを表示する場合でも、破綻や乱れが少ない高画質な映像を表示することが可能となる。
【図面の簡単な説明】
【００７８】
【図１】本発明の第１実施例に係る表示装置の一構成例を示す図。
【図２】本発明の第１実施例に係る第２動きベクトル取得部３２の一具体例を示す図。
【図３】本発明の第２実施例に係る表示装置の一構成例を示す図
【図４】本発明の第２実施例に適用される領域分割の一例を示す図。
【図５】従来技術における課題の一例を示す図。
【図６】本発明の第１実施例に係る第２動きベクトル取得部３２における処理のフローチャート。
【図７】第２動きベクトル取得部３２における第２動きベクトルを取得する処理のフローチャート。
【図８】第２動きベクトル取得部３２における特定領域を判定する処理のフローチャート。
【図９】第２動きベクトル取得部３２における一致点検出の一例を示す図。
【図１０】第２動きベクトル取得部３２における移動量ヒストグラムの一例を示す図。
【図１１】抽出された特定領域の一例を示す図。
【図１２】第２ヒストグラム生成部で作成されるヒストグラムの一例を示す図。
【図１３】マッチング処理による動きベクトルの一例を示す図。
【符号の説明】
【００７９】
１…入力端子、２…フレームバッファ、３１…第１動きベクトル取得部、３２…第２動きベクトル取得部、４…選択器、５…フレーム補間回路、６…タイミング制御回路、７…表示パネル、１４…第２動きベクトル、１５…領域判定信号、１６…第１動きベクトル。
【図１】
2008167103.tif 000003
【図２】
2008167103.tif 000004
【図３】
2008167103.tif 000005
【図４】
2008167103.tif 000006
【図５】
2008167103.tif 000007
【図６】
2008167103.tif 000008
【図７】
2008167103.tif 000009
【図８】
2008167103.tif 000010
【図９】
2008167103.tif 000011
【図１０】
2008167103.tif 000012
【図１１】
2008167103.tif 000013
【図１２】
2008167103.tif 000014
【図１３】
2008167103.tif 000015