(57)【要約】【課題】  動き補償法によるフレームレート変換において、1画面中に複数の動きを伴うような画像や、複数の動物体が交差するような動きを伴う場合等でも高精度に動きベクトルを検出して映像の破綻を抑制したフレームレート変換を行う。【解決手段】  本発明に係る映像処理装置は、２以上のフレームを用いて物体の動き情報を検出する動きベクトル検出部と、前記動きベクトル検出部によって得られる動きベクトルに応じて、水平・垂直方向、且つ時間方向の補間を行う補間フレーム生成部と、前記フレーム間の動きの特徴を検出する動き特徴検出部とを備える。そして、前記動き特徴検出部で検出された特徴に応じて、前記補間フレーム生成部における水平・垂直・時間方向の補間方法を切り替えるようにした。【選択図】  図１
2008236098.tif 000002
【特許請求の範囲】
【請求項１】
映像処理装置において、
現在フレームの情報と、前記現在フレームに対して時間的に過去のフレームを少なくとも１つ以上用いて物体の動き情報を検出する動きベクトル検出部と、
前記動きベクトル検出部によって得られる動きベクトルに応じて、水平・垂直方向、且つ時間方向の補間を行う補間フレーム生成部と、
前記フレーム間の動きの特徴を検出する動き特徴検出部と、を備え、
前記動き特徴検出部で検出された特徴に応じて、前記補間フレーム生成部における水平・垂直・時間方向の補間方法を切り替えることを特徴とする映像処理装置。
【請求項２】
請求項１記載映像処理装置において、前記動き特徴検出部は、画面全体で検出された動きベクトルの総カウント数による各ベクトルの出現度数を表すヒストグラム情報を検出することを特徴とする映像処理装置。
【請求項３】
請求項１または２記載の映像処理装置において、前記動き特徴検出部は、動き探索範囲内の動きベクトルのヒストグラム情報を検出し、前記ヒストグラム情報を元に、画面中支配的な動きがあるか否かを判定するベクトル集中度検出部を含むことを特徴とする映像処理装置。
【請求項４】
請求項１または２記載の映像処理装置において、前記動き特徴検出部は、動き探索範囲内の動きベクトルのヒストグラム情報を検出し、前記ヒストグラム情報を元に、画面中複数の動きが存在するか否かを判定するベクトル分散度検出部を含むことを特徴とする映像処理装置。
【請求項５】
請求項１または２記載の映像処理装置において、前記動き特徴検出部は、動き探索範囲内の動きベクトルのヒストグラム情報を検出し、前記ヒストグラム情報を元に、動き探索範囲外の動きが存在するか否かを判定する検索範囲境界ベクトル集中度検出部を含むことを特徴とする映像処理装置。
【請求項６】
請求項１、２または３記載の映像処理装置において、前記動き特徴検出部によってベクトルが任意の方向に集中していると判定された場合には、動きベクトルを用いた補間フレームを生成し、ベクトルが集中していない場合には、フレーム繰り返しによる補間フレーム生成をすることを特徴とする映像処理装置。
【請求項７】
請求項６記載の映像処理装置において、前記動き特徴検出部によってベクトルが集中していないと判定された場合には、フレーム間の線形補間による補間フレームを生成することを特徴とする映像処理装置。
【請求項８】
請求項６または７記載の映像処理装置において、前記動き特徴検出部は、ベクトルが集中しているか否かの度合いを判定するためのベクトル集中度判定部を含み、前記ベクトル集中度の度合いに応じて、前記補間フレーム生成部における、動きベクトルを用いた補間フレーム生成、フレーム繰り返しによる補間フレーム生成、フレーム間の線形補間による補間フレーム生成、を適応的に切り替えることを特徴とする映像処理装置。
【請求項９】
請求項１、２または４記載の映像処理装置において、前記動き特徴検出部によって、画面中複数の動きが存在しないと判定された場合には、動きベクトルを用いた補間フレームを生成し、複数の動きが存在すると判定された場合には、フレーム繰り返しによる補間フレーム生成をすることを特徴とする映像処理装置。
【請求項１０】
請求項９記載の映像処理装置において、前記動き特徴検出部によって、画面中複数の動きが存在すると判定された場合には、フレーム間の線形補間による補間フレームを生成することを特徴とする映像処理装置。
【請求項１１】
請求項９または１０記載の映像処理装置において、前期動き特徴検出部は、画面中存在する複数動きの度合いを判定するベクトル分散度判定部を含み、前記ベクトル分散度の度合いに応じて、前記補間フレーム生成部における、動きベクトルを用いた補間フレーム生成、フレーム繰り返しによる補間フレーム生成、フレーム間の線形補間による補間フレーム生成、を適応的に切り替えることを特徴とする映像処理装置。
【請求項１２】
請求項１、２または５記載の映像処理装置において、前記動き特徴検出部によって、動き探索範囲外の動きが存在しないと判定された場合には、動きベクトルを用いた補間フレームを生成し、動き探索範囲外の動きが存在すると判定された場合には、フレーム繰り返しによる補間フレーム生成をすることを特徴とする映像処理装置。
【請求項１３】
請求項１２記載の映像処理装置において、前記動き特徴検出部によって、動き探索範囲外の動きが存在すると判定された場合には、フレーム間の線形補間による補間フレームを生成することを特徴とする映像処理装置。
【請求項１４】
請求項１２または１３記載映像処理装置において、前記動き特徴検出部は、動き探索範囲外の動きの度合いを判定する境界ベクトル集中度判定部を含み、前記境界ベクトル集中度の度合いに応じて、前記補間フレーム生成部における、動きベクトルを用いた補間フレーム生成、フレーム繰り返しによる補間フレーム生成、フレーム間の線形補間による補間フレーム生成を適応的に切り替えることを特徴とする映像処理装置。
【請求項１５】
請求項８、１１または１４記載の映像処理装置において、前期補間フレーム生成部は、前記動きベクトルを用いた補間フレームとフレーム繰り返しによる補間フレーム、及び線形補間による補間フレームを混在させた補間フレームを生成し、切り替えることを特徴とする映像処理装置。
【請求項１６】
請求項８、１１、１４または１５記載の映像処理装置において、前記補間フレーム生成部は、補間フレームの生成方法、もしくは時間的配置位置を、所定周期毎に切り替えることを特徴とする、フレームレート変換装置。
【請求項１７】
請求項１または２記載の映像処理装置において、前記動き特徴検出部による動きベクトルのヒストグラム情報で、中央にベクトル情報が所定閾値以上集まっている場合には、静止画像、もしくはシーン切替わりと判定し、補間フレーム生成部において、フレーム繰り返しによる補間フレーム生成をすることを特徴とする、フレームレート変換装置。
【請求項１８】
請求項１〜１７のいずれかに記載の映像処理装置は、前記補間フレーム生成部で生成されて補間フレームによりフレームレート変換を行うことを特徴とする映像処理装置。
【請求項１９】
請求項１８記載の映像表示装置において、映像表示時の、４:３表示、１６:９表示、またはワイドモードを含む表示モードに応じて、前記補間フレーム生成部における適応制御方法を変更することを特徴とする映像処理装置。
【請求項２０】
請求項１８記載の映像表示装置において、更に、番組のジャンルを検出する番組ジャンル検出部を有し、前記番組のジャンルに応じて前記補間フレーム生成部における適応制御方法を変更することを特徴とする補間フレーム生成部。
【請求項２１】
請求項１〜２０のいずれかに記載の映像処理装置で処理された映像を表示するための表示部を備えた映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置に係り、特に映像信号中のフレームから補間フレームを作成してフレームレート変換を行うための技術に関する。
【背景技術】
【０００２】
近年、画像のフレーム数を増やすことにより、動画表示におけるぼやけ感やガタガタ感といった不自然な動きを改善するために、フレームレート変換を高画質化技術として適用する動きが注目され始めている。しかし、前記したような動画性能向上に対する明確な改善効果を得るためには、精度の高い補間フレーム生成が必要となる。従来からよく用いられている高度な補間方法として、現在のフレームと１フレーム前のフレームを用いて、フレーム間の動きベクトルを利用した動き補償処理を用いる方法がある。この方法では、動きベクトル情報をもとにフレーム間の動きを特定し、補間フレームを作成する。精度の高い補間フレームを得るためには、この動きベクトルの精度を上げる必要があり、検索範囲を２段階に分けて探索する方法(例えば非特許文献１)や、周囲の動きベクトルとの比較を行うことで、不適切な動きベクトルを除去するスムージング処理を行う等の手法が提案されている（例えば特許文献１参照）。
【０００３】
【特許文献１】特開平２００２−２７４１４号公報（第9項、図9）
【非特許文献１】東芝レビュー Vol.59 No.12(2004)
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の動き補償処理においては、1画面中に複数の動きを伴うような画像や、複数の動物体が交差するような動きにおいては、正確な動きベクトルを得る事が難しく、映像的に破綻をきたすことになる。
【０００５】
本発明は上記課題に鑑みて考えたものであり、より正確に動きベクトルを検出可能にして、高画質にフレームレート変換を行うことが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は、特許請求の範囲に記載された構成を特徴とするものである。すなわち、フレーム間の動きの特徴に応じて補間フレーム生成部における水平・垂直・時間方向の補間方法を適応的に切り替える構成としている。
【０００７】
このような構成によれば、動き補償法を用いたフレームレート変換処理において、映像の特徴を捉えた適応的な補間制御により、動画性能向上を実現し、且つ破綻発生を抑えた映像を実現することが可能となる。
【発明の効果】
【０００８】
本発明によれば、より正確に動きベクトルを検出することが可能となり、以って、高画質にフレームレート変換を行うことが可能となる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態について図面を参照しつつ説明する。
【実施例１】
【００１０】
図１は、本発明の第一の実施形態である画像処理装置の構成の一例を示すブロック図である。
【００１１】
図１において、1001は入力信号、1002は解像度変換部、1003はフレームレート変換（以下、FRC：Frame Rate Conversionと呼ぶ）部、1004は画像メモリ、1005はタイミングコントロール部、1006は表示部、1007はFRC変換モード信号である。
【００１２】
解像度変換部1002では、入力画像を表示部1006に合わせた画像フォーマットへ拡大・縮小処理を行う。FRC部1003では、外部から設定されるFRC変換モード信号1007に応じたフレームレートの変換を行い、タイミングコントローラ部1005では前記FRC部1003から得られたフレームレート変換出力を表示部1006に表示するためのタイミング調整を行う。
【００１３】
図２は、図１におけるFRC部1003の構成の一例を示すものである。
【００１４】
図2において、2001は現フレーム信号、2002は1フレーム前信号、2003はFRC変換モード信号、2004は動きベクトル検出部、2005は動きベクトル、2006は画像特徴検出部、2007は判定信号、2008は補間フレーム生成部、2009は補間フレーム信号、2010はフレームレート変換出力信号、2011はメモリインターフェース部である。
【００１５】
動きベクトル検出部2004では、現フレーム信号2001と1フレーム前信号2002により、動きベクトル2005を検出する。検出方法としては、前記従来技術で記したようなブロックマッチング法や勾配法、位相相関法等どれを用いても良いが、ここでは、図３に示すようなN×N（Nは整数）のブロックマッチング法を用いる場合で以下説明する。図３において、3001は現フレーム信号、3002は1フレーム前信号、3003は補間フレーム信号、3004は対象ブロック、3005は動きベクトル検索範囲、3006は最小差分値ブロックペア、3007は動きベクトルである。
【００１６】
補間フレーム3003上、補間しようとしている対象ブロック3004に対して、現フレーム信号3001、1フレーム前信号3002のそれぞれにおいて点対称の位置のブロックを中心として、所定ブロック数の検索範囲を設ける。図3の場合は水平11ブロック、垂直5ブロックと設定している。対象ブロック3004を中心として、時間方向に点対称ペアの位置にある現フレーム信号3001、及び1フレーム前信号3002上のブロック間の差分値マッチングにより、最も差分値が小さいブロックペア3006を検出し、その方向を動きベクトル3007として出力する。
【００１７】
得られた動きベクトル2005(3007)は、補間フレーム生成部2008へ入力される。補間フレーム生成部2008では、補間フレーム中の対象ブロックの画素値を前記差分値最小ペアの画素値の平均値として算出する。
【００１８】
図3では、60Hzから120Hzへの変換のように、入力される元のフレームレートでのフレーム（以下、キーフレームと呼ぶ）に対して時間的に中間の重心位置に1枚の補間フレームを挿入する場合を説明した。これに対し、図4では映画の24Hzから60Hzへの変換等、キーフレーム間に複数枚の補間フレームを挿入する場合の例を示す。尚、このように60Hzから120Hzへの変換をするのか、及び24Hzから60Hzへの変換をするのか等、フレームレート変換の動作モードを決めるのが、FRC変換モード信号1007（2003）である。
【００１９】
図４において、図3の構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【００２０】
4001は動きベクトル検索範囲１、4002は動きベクトル検索範囲2、4003は補間フレーム１、4004は補間フレーム２、4005は対象ブロック１、4006は対象ブロック2、4007は動きベクトル１、4008は動きベクトル２である。
【００２１】
図4において、補間フレーム１ 4003上の対象ブロック１ 4005に対しては、現フレーム信号3001上では動きベクトル検索範囲1 4001を、1フレーム前信号3002上では動きベクトル検索範囲2 4002を設定する。図を見ても分かる通り、検索範囲の大きさとして、動きベクトル検索範囲1 <動きベクトル検索範囲２である。これは、補間フレーム１ 4003の現フレーム信号3001からの時間的距離が、1フレーム前信号3002からの時間的距離に比べて短いためであり、その結果、点対称位置のブロック間での差分値マッチング演算の際、設定できる検索範囲の大きさが異なることになる。同様に、補間フレーム２ 4004上の対象ブロック2  4006に対しても、その時間的重心位置の違いから、現フレーム信号3001上では動きベクトル検索範囲２ 4002を、1フレーム前信号3002上では動きベクトル検索範囲１ 4001を設定する必要がある。前記60Hzから120Hzへの変換同様、検索範囲内において差分値マッチング演算を行い、最も差分値が小さいブロックペアを算出し、その方向を動きベクトル2007として出力する。ここで、補間フレームが２つ存在するために、必要な動きベクトルも2つ（4007、4008）となる。補間フレーム生成部2005では、補間フレーム１ 4003、及び補間フレーム２ 4004それぞれの時間的重心位置を考慮して補間画素値を算出する。具体的には、図４において補間フレーム1上の対象ブロック1 4005、及び補間フレーム２ 4006上の対象ブロック２の画素値(それぞれI(1), I(2)とする)は、時間方向の重心位置を考慮した荷重加算によってそれぞれ以下の数１及び数２で算出される。
【００２２】
（数１）I(1) = (3*Y1_a + 2*Y0_a)/5  
（数２）I(2) = (Y1_b +４*Y0_b)/5    
図５は、上記時間方向の荷重加算を説明する図である。図５において、5001〜5003は、24Hzの映像フレーム、5004〜5009は60Hzの映像フレーム、矢印に添えられている数値は、補間フレーム生成の際の時間方向の荷重値を示している。補間フレーム5005〜5008は、上記式（１）、（２）によりそれぞれ算出される。
【００２３】
メモリインターフェース部2011では、補間フレーム生成部2008からの補間フレーム出力の画像メモリ1004へのデータ書き込み、及びFRC変換モード 1007に応じたレートでのデータ読み出しを行い、フレームレート変換出力2009を出力する。ここで、図５に示すように、24Hzから60Hzへの変換の場合は、キーフレーム5002は削除して映像を出力する。
【００２４】
補間フレーム生成部2008では、上記したような通常FRC動作(以下、ベクトルFRCと称する)における補間フレーム生成動作に加え、後述する画像特徴検出部2006からの判定信号により、図６に示すようなフレーム繰り返しによる補間フレーム生成、つまりはベクトルFRC非動作の切替を行う。図７は、図２における補間フレーム生成部2008の構成の一例を示している。図７において、7001は現フレーム信号、7002は１フレーム前信号、7003は動きベクトル、7004はFRC変換モード信号、7005は水平/垂直方向補間画素選択部、7006は時間方向補間処理部、7007はセレクタ部、7008は判定信号である。
【００２５】
ここで、我々がフレームレート変換による動画質評価により得た見解に関して以下に説明する。
【００２６】
60Hzから120Hz、30Hzから60Hzへの変換のように整数倍のフレームレート変換で、キーフレーム間に補間フレームが１つしか挿入されない変換の場合、前記挿入される補間フレームの画質が、動きベクトル誤検出等で多少劣化が見られたとしても、人間の目ではそれを認識し難く、結果として時間解像度が向上したことのインパクトの方が大きい。これに対し、24Hzから60Hz、50Hzから60Hzへの変換のように非整数倍のフレームレート変換で、キーフレーム間に複数の補間フレームが挿入される場合は、前記補間フレームの画質が動きベクトル誤検出等で劣化が見られる場合、その劣化画像が時間的に2枚以上続くことになり、人間の目に認識され、時間解像度向上の効果よりも、画質の劣化が目立ってしまうことになる。
【００２７】
次に、前記動きベクトル誤検出による劣化画像に関して説明する。
【００２８】
動きベクトルの検出においては、前記説明したように、基本的に現フレーム映像と1フレーム前の映像からブロック単位、画素単位での差分値マッチング演算による相関を算出し、前記相関が最も高い位置の画素値から補間フレームの画素値を算出する。しかし例えば図８に示すように、フレーム間において対象動物体が障害物の裏を通り抜けるような画像の場合、対象物体の一部は数フレーム間映像中に存在しなくなるため、正確な動きベクトルを算出することができない。また通常、動きベクトル検出においては、そのベクトルの信頼性向上のために、周囲で検出された動きベクトルや、画面全体の動きベクトルを参照する方式をとる事が多い。これにより、画面全体が一定方向へパンしているような映像ではかなり精度の高い動きベクトルが得られるが、画面中に複数の異なる動きが存在するような映像の場合は、正確な動きベクトル検出が急激に難しくなる。さらに、動きベクトルの検索範囲を超えるような早い動きの場合においても、正確なベクトル検出が行えず、画像の破綻を招くことになる。最も単純な対策としては、動きベクトル検索範囲を拡げることが考えられるが、その分誤検出する可能性も増えると共に、演算量の増大、及びハードウェア化を考えた場合の回路規模の増大に直結する。
【００２９】
本実施例では、映像の特徴に応じてその補間方法を切り替えることでこの問題を解決する。つまり、フレーム毎の動きベクトルヒストグラム情報を元に、映像の補間方法をダイナミックに変更する。以下、本発明では本方式をダイナミックFRCと称する。
【００３０】
図９は、本発明におけるダイナミックFRC処理のステートダイアグラムを示すものである。図９において、S101は動きベクトルを用いた補間フレーム生成を行うベクトルFRC動作状態、S102はフレーム繰り返しによる補間フレーム生成を行う、非FRC動作状態である。
【００３１】
画像特徴検出部2006での動きの特徴判定により、状態遷移(S103、S10４)を行う。
【００３２】
画像特徴検出部2006では、検出された動きベクトルによるヒストグラム情報により、動きの特徴を検出し、判定信号2007を出力する。図１０は、前記ベクトルヒストグラム検出結果の一例を示したものである。図１０では、動きベクトル検出部2004でのベクトル検出範囲を垂直5ブロック、水平11ブロックに設定した場合を示している。図１０のヒストグラム結果をグラフ化したものを図１１に示す。図１１を見て分かるように、この例ではベクトル(0,0)周辺に多くの動きベクトルが集中していることが読み取れる。画像特徴検出部2006ではこのようなベクトルヒストグラム分布を用いて動きの特徴を判定する。
【００３３】
例えば、前記動きベクトルヒストグラム分布において、図１２に示すように任意の方向に集中している場合には、画面中支配的な動きにより全体がスクロールしている可能性が高いと判定する。また図1３に示すように、検索範囲の境界部分に所定閾値以上集中する場合、その画面は検索範囲を超える早い動きの物体が多くある可能性が高いと判定する。別の判定の仕方として、動きが検索範囲を超えた場合には、正確にマッチングがとれるブロックがなくなり、検索範囲内にマッチング値が同じレベルのブロックが複数存在することが予想されることを利用する。例えば、マッチング値が同じ場合には、ベクトル(0,0)、もしくはそれに近いベクトルを優先させるようなアルゴリズムを用いている場合、図１４に示すように、ベクトル(0,0)に分布が集中することが考えられる。従ってこの場合、所定閾値以上ベクトル(0,0)に分布が集中する場合は検索範囲を超える動きが存在したと判定する。尚、ベクトル(0,0)に集中するかどうかはベクトル検出におけるアルゴリズム次第であり、これに限るものではない。また、図１５に示すように、所定閾値以上の分布が散乱している場合は複数の動きが存在する画像であると判定する。
【００３４】
画像特徴検出部2006では、図１２〜１５のようなベクトルヒストグラム分布を持つ画像入力の際に、その旨を示す判定信号2007を出力する。判定信号2007は例えば1/0の1ビットの信号で良い。図１２に示すようなベクトルヒストグラム分布の場合、検出された動きベクトルの信頼性が高いと判断し0を出力する。図1３〜１５に示すようなベクトルヒストグラムの場合、動きベクトルの信頼性が低く、誤検出の可能性が高いため、1を出力する。セレクタ部7007では、前記判定信号に応じて、ベクトルFRCによる補間フレームとフレーム繰り返しによる補間フレーム出力の切替を行う。従って、判定信号2007が0の場合(S10３)には、ベクトルFRC動作(S101)へ遷移し、判定信号が1の場合(S104)には、非FRC動作(S102)へ遷移する。また、前記状態遷移（S103,S104）の際には、状態が頻繁に切替わることによる弊害を防止するため、判定信号2007が0(1)の状態が、所定フレーム期間継続した場合に遷移する、もしくは遷移した後に、その状態を所定期間維持する、といったヒステリシス特性を持たせる構成としてもよい。
【００３５】
また、本実施例においては、動きの特徴検出をハードウェアで構成しているが、これに限るものではなく、ハードウェアからは動きベクトル情報のみ出力し、ソフトウェアにて本ダイナミックFRC制御を実現する構成としてもよい。
【００３６】
また、補間フレーム出力切替に関しては、補間フレーム生成部2008で実施しなければならないこともなく、メモリインターフェース部2011によるデータ読み出し制御によって実施する構成としても良い。
【００３７】
以上のように本実施例によれば、入力された画像の動きの特徴を捉え、前記動きの特徴に応じて、FRCの動作状態をダイナミックに切り替えることが可能となる。
【実施例２】
【００３８】
図１６は、本発明の第二の実施形態である画像処理装置のダイナミックFRC処理のステートダイアグラムを示すものである。図１６において、図９に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【００３９】
本実施例では、FRCの状態を3段階とすることで、より画像に最適な制御を可能としている。以下、上述した第一の実施の形態と異なる部分についてその動作を説明する。
【００４０】
図１６において、S201はベクトルFRC動作と非FRC動作の中間動作状態である。これらの3つの動作状態は、後述する遷移条件によって画像特徴検出部2006から出力される判定信号2007が、0の時ベクトルFRC動作(S205)、1の時に中間動作(S202,S204)、2の時に非FRC動作(S203)へ遷移する。
【００４１】
図１７は、本発明における24Hzから60Hzへの変換モードでの前記中間動作の一例を説明するための図である。図1７において、17001〜17003は入力キーフレーム、17004〜17007は補間フレームである。ベクトルFRC動作(S101)の際には、前記補間フレームは全て動きベクトルを用いた補間、非FRC動作(S102)の際には、前記補間フレームは全て繰り返しフレーム、つまり17004、17005は17001、17006、17007は17002のフレームがそのまま挿入される。中間動作(S201)の場合には、図１７に示すように、17005、17006フレームのみを、繰り返しフレーム、もしくは、時間方向の重心位置を考慮した線形補間フレームに置き換える。ここで、時間方向の重心位置を考慮した線形補間フレームとは、フレーム17001と17002に対して水平・垂直ベクトル”０”による時間方向の重心を考慮した荷重加算によって生成される。本方式による映像の見え方としては、フレームレート変換による本来の効果である動画の滑らかさに関しては、完璧な補間フレームが生成された場合と比較した場合、当然その効果は軽減することになるが、破綻を抑圧し、且つ効果を残した映像を実現することが可能となる。
【００４２】
前記３つの動作状態を切り替えるために、画像特徴検出部2006によって、その旨を示す判定信号2007を出力する。例えば0/1/2を2bitの信号で出力する構成とする。実施例１にて記載した1/0の判定に対して、閾値制御を設けることにより0/1/2への切替を実現する。制御例を以下図１８のフローチャートを参照しながら説明する。
【００４３】
まず、ベクトル集中度に関しては、ベクトルカウント閾値TH１以上の箇所がいくつ存在するかの集中度分布値をカウントする(F101)。境界分布度に関しては、検索範囲境界部分において、境界ベクトルカウント閾値TH4以上の箇所いくつ存在するかの境界分布値をカウントする(F102)。
【００４４】
次に前記集中度分布値と分布閾値TH2、TH3を比較する(F103,104)。さらに、前記境界分布値と境界閾値TH5、TH6を比較する(F105,106)。集中度分布値がTH2以下であり、且つ境界分布値がTH5以下の場合にベクトルFRC動作(F109)となる。集中度分布値がTH2以下であり、且つ境界分布値がTH5以上TH6以下の場合には、中間動作(F108)となる。さらに、集中度分布値がTH2以上TH3以下であり、且つ境界分布がTH5以上TH6以下の場合にも中間動作(F108)となる。集中度分布値がTH3以上の場合には、非FRC動作(F107)となる。さらに、集中度分布値がTH2以下であり、且つ境界分布値がTH6以上の場合、また集中度分布値がTH2以上TH3以下であり、且つ境界分布値がTH5以上の場合にも非FRC動作(F107)となる。
【００４５】
本制御により、画像特徴検出部2006から判定信号0(ベクトルFRC動作)/1(中間動作)/2(非FRC動作) 2007を出力する。
【００４６】
図１９は、本ダイナミックFRC制御による動作イメージを説明するための図である。図に示すように、3つの動作状態をダイナミックに切り替える。ベクトルFRC動作から非FRC動作への遷移（その逆も含む）の間には、基本的に中間動作が入る。これにより、動作切替の際の画像の違和感を軽減することが可能となる。
【００４７】
また、本実施例においては、ベクトルの集中度分布、境界分布を用いて、各値に対して３つの閾値使用による状態分けを行っているが、閾値の数は任意であり、且つ集中度という考え方ではなく、分散度という考え方、または境界分布に関しても、水平/垂直方向独立に制御する考え方を利用してもよい
また、第一の実施例同様、各動作状態への移行の際にはヒステリシス特性を持たせる構成としても良い。
【００４８】
また、中間動作における補間フレームに関しては、図１７において、4枚の補間フレーム中2枚を繰り返しフレーム、もしくは、時間方向の重心位置を考慮した線形補間フレームに置き換える方式としているが、これに限るものではなく、4枚全てを前記線形フレームに置き換える方式としても良い。当然1枚のみ置き換える、3枚置き換える方式としても良い。前記置き換える枚数の違いに応じて、中間動作を分類し状態遷移を3以上に細分化してもよい。
【００４９】
また、2枚の繰り返しフレーム、もしくは、線形フレーム置き換え位置に関しても、17005、17006の位置に限るものではなく、17004、17007を置き換えても良い。さらには例えば図２０に示すように、所定周期毎に、あるいは画像の特徴に応じて、置き換える枚数、位置を切り替える方式としても良い。例えば前記したようなベクトルの集中度分布情報を用いて、中間動作の中で、図２１に示すように集中度が高い場合は置き換えフレーム数を少なくし、低い場合には、置き換えフレーム数を増やしていくような制御を行ってもよい。
【００５０】
以上のように本実施例によれば、FRCの状態をON/OFFモードに加えて、中間モードを持つ3段階とすることで、より画像に最適な制御が可能となる。
【実施例３】
【００５１】
図２２は、本発明の第三の実施形態である画像処理装置の構成の一例を示すブロック図である。
【００５２】
図２２において、図１に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
【００５３】
本実施の形態によれば、スポーツ、ニュース、映画等の番組のジャンルに応じて最適な補間制御へ切り替えることにができる。
【００５４】
また、ワイドモードに応じて最適な補間制御へ切り替えることができる。
【００５５】
以下、上述した第一、第二の実施の形態と異なる部分についてその動作を説明する。
【００５６】
図２２において、22001はEIT（Event Information Table）データ、22002はEITデータ処理部、22003はEIT判定信号、22004はワイドモード信号、22005はダイナミックFRC動作モード選択部、22006はダイナミックFRC動作モード信号である。
【００５７】
BS／CS／地上デジタルテレビ放送では、映像／音声／データ放送以外に番組に関する情報（例えば番組の名称、番組内容、番組放送日、番組放送開始時間、番組放送継続時間、放送チャンネル、番組ジャンルコードなど）も電波に重畳して送出されている。BS／CS／地上デジタルテレビ放送受信装置では、放送局から送出されるEITと呼ばれる番組情報を利用し、これらを取得／構成することにより、電子番組表機能をユーザに提供している。図２２においてEITデータ処理部22002では、EIT内のコンテント記述子で使用されている１バイトの番組ジャンルコードによって、例えば図２３のような分類を行う。つまり、入力されたコンテンツが、スポーツ、アニメ・特撮、映画、ドラマ、バラエティといった動きの激しいシーンが多く存在する可能性のあるものは１を、ニュース、ワイドショーといった動きの激しいシーンが多くは存在しないであろうものには0をEIT判定信号22003として出力する。
【００５８】
ワイドモード信号22004は、4:3映像を16:9へ拡大表示、上下黒帯の付いている映像を拡大して表示等しているかどうかを示す信号であり、ユーザが設定した現在のモードを示す信号である。各メーカによってモードの名称は異なるが、本実施例においては、スムーズ(拡大有り)とフル(拡大無し)の２種類で考える。
【００５９】
ダイナミックFRCモード選択部22005では、上記EIT判定信号22003と、ワイドモード信号22004から、ダイナミックFRC動作モード信号22006を生成する。ここで言うダイナミックFRCの動作モードとは、例えば第二の実施例にて記載した、３つの動作モードを切替るための閾値を切り替えることを示している。つまり、本モード設定により、図２における画像特徴検出部2006の動作が決定する。図１９で示したダイナミックFRCの動作においては、閾値を上げることによってベクトルFRC動作時間が増加する。例えば閾値が低めの設定と、高めの設定の2種類のテーブルを持つことによって、高めの設定ではFRC動作時間が増加するため、効果が出やすいが破綻が見える可能性が残る。低めの設定では効果は限定されるが、破綻は見え難い、といった動作が可能となる。
【００６０】
従って上記を踏まえ、例えばダイナミックFRCモード選択部22005では、図２４に示すようなダイナミックFRC動作モード信号22006を出力する。
【００６１】
EIT判定信号22003により、動きの激しいシーンが多い番組ジャンルであれば１、動きの激しいシーンの少ない番組ジャンルでる場合は、ワイドモードがスムーズのときは１、フルのときは0を出力する。
【００６２】
ダイナミックFRC動作モード信号22006を受け取った画像特徴検出部2006は、その値が1の時は閾値が低めの設定、０の時は高めの設定に切り替える。
【００６３】
以上のように本実施例では、ユーザが視聴する番組のジャンルデータ、表示モードに応じて補間制御を切り替えることが可能となる。
【００６４】
尚本実施例においては、番組ジャンルとして大分類の中の8種類のみで分類を行っているが、当然これに限るものではなく、その下の中分類にまで及ぶ切り替えを行う構成としても良い。また、本実施例においては、制御切替として２種類のみの説明を行ったが、これに限るものではなく、さらに細分化する構成とすれば尚良い。また、制御切替項目として、閾値の値を例に説明を行ったが、これに限ることはなく、例えば各動作状態のヒステリシス期間を切り替えることにより、各動作モードのバランスを可変する制御としても良い。
【図面の簡単な説明】
【００６５】
【図１】本発明の第一の実施の形態を示すブロック図である。
【図２】本発明の第一の実施の形態におけるFRC部の構成の一例を示すものである。
【図３】ブロックマッチング法による補間フレーム生成を説明するための図である。
【図４】ブロックマッチング法による補間フレーム生成を説明するための図である。
【図５】FRC補間フレーム生成における時間方向の荷重加算を説明するための図である。
【図６】フレーム繰り返しによる補間フレーム生成を説明するための図である。
【図７】本発明の第一の実施の形態における補間フレーム生成部の構成の一例を示すものである。
【図８】動きベクトル誤検出となる映像パタンの例を示す図である。
【図９】ダイナミックFRC処理のステートダイアグラムを示すものである。
【図１０】ベクトルヒストグラム検出結果の一例を示す図である。
【図１１】ベクトルヒストグラム分布の一例を示す図である。
【図１２】ベクトルヒストグラム分布の一例を示す図である。
【図１３】ベクトルヒストグラム分布の一例を示す図である。
【図１４】ベクトルヒストグラム分布の一例を示す図である。
【図１５】ベクトルヒストグラム分布の一例を示す図である。
【図１６】本発明の第二の実施形態のダイナミックFRC処理のステートダイアグラムを示すものである。
【図１７】中間動作における補間フレーム生成の一例を説明するための図である。
【図１８】ダイナミックFRC処理のフローチャートである。
【図１９】ダイナミックFRC制御の動作イメージを説明するための図である。
【図２０】ダイナミックFRC処理における補間フレーム生成を説明するための図である。
【図２１】ダイナミックFRC処理における補間フレーム生成を説明するための図である。
【図２２】本発明の第三の実施の形態を示すブロック図である。
【図２３】番組ジャンル分類の一例を説明するための図である。
【図２４】ダイナミックFRC動作モード分類の一例を説明するための図である。
【符号の説明】
【００６６】
1001…入力信号、1002…解像度変換部、1003…フレームレート変換（FRC：Frame Rate Conversion）部、1004…画像メモリ、1005…タイミングコントロール部、1006…表示部、1007…FRC変換モード信号、2001…現フレーム信号、2002…1フレーム前信号、2003…FRC変換モード信号、2004…動きベクトル検出部、2005…動きベクトル、2006…画像特徴検出部、2007…判定信号、2008…補間フレーム生成部、2009…補間フレーム信号、2010…フレームレート変換出力信号、2011 メモリインターフェース部、3001…現フレーム信号、3002…1フレーム前信号、3003…補間フレーム信号、3004…対象ブロック、3005…動きベクトル検索範囲、3006…最小差分値ブロックペア、3007…動きベクトル、4001…動きベクトル検索範囲１、4002…動きベクトル検索範囲2、4003…補間フレーム１、4004…補間フレーム２、4005…対象ブロック１、4006…対象ブロック2、4007…動きベクトル１、4008…動きベクトル２、5001〜5003…24Hzの映像フレーム、5004〜5009…60Hzの映像フレーム、6001〜6003…24Hzの映像フレーム、6004〜6009…60Hzの映像フレーム、7001…現フレーム信号、7002…１フレーム前信号、7003…動きベクトル、7004…FRCモード信号、7005…水平/垂直方向補間画素選択部、7006…時間方向補間処理部、7007…Fセレクタ部、7008…判定信号、S101…ベクトルFRC動作状態、S102…ベクトルFRC非動作状態、S103,S104…状態遷移、S201…中間動作状態、S202〜S205…状態遷移、17001〜17003 入力キーフレーム、17004〜17007 補間フレーム、20001〜20002…入力キーフレーム、20003〜20006…補間フレーム、22001…EIT（Event Information Table）データ、22002…EITデータ処理部、22003 EIT判定信号、22004…ワイドモード信号、22005…ダイナミックFRC動作モード選択部、22006…ダイナミックFRC動作モード信号。
【図１】
2008236098.tif 000003
【図２】
2008236098.tif 000004
【図３】
2008236098.tif 000005
【図４】
2008236098.tif 000006
【図５】
2008236098.tif 000007
【図６】
2008236098.tif 000008
【図７】
2008236098.tif 000009
【図８】
2008236098.tif 000010
【図９】
2008236098.tif 000011
【図１０】
2008236098.tif 000012
【図１１】
2008236098.tif 000013
【図１２】
2008236098.tif 000014
【図１３】
2008236098.tif 000015
【図１４】
2008236098.tif 000016
【図１５】
2008236098.tif 000017
【図１６】
2008236098.tif 000018
【図１７】
2008236098.tif 000019
【図１８】
2008236098.tif 000020
【図１９】
2008236098.tif 000021
【図２０】
2008236098.tif 000022
【図２１】
2008236098.tif 000023
【図２２】
2008236098.tif 000024
【図２３】
2008236098.tif 000025
【図２４】
2008236098.tif 000026