(57)【要約】【課題】  動き補償法によるフレームレート変換において、1画面中に複数の動きを伴うような画像や、複数の動物体が交差するような動きを伴う場合等でも高精度に動きベクトルを検出して映像の破綻を抑制したフレームレート変換を行う。【解決手段】  本発明に係る映像処理装置は、２以上のフレームを用いて物体の動き情報を検出する動きベクトル検出部と、前記動きベクトル検出部によって得られる動きベクトルに応じて、水平・垂直方向、且つ時間方向の補間を行う補間フレーム生成部と、前記フレーム間の動きの特徴を検出する動き特徴検出部とを備える。そして、前記動き特徴検出部で検出された特徴に応じて、前記補間フレーム生成部における水平・垂直・時間方向の補間方法を切り替えるようにした。【選択図】  図１
2010213287.tif 000002
【特許請求の範囲】
【請求項１】
映像処理装置において、
現在フレームの情報と、前記現在フレームに対して時間的に過去のフレームを少なくと
も１つ以上用いて物体の動き情報を検出する動きベクトル検出部と、
前記動きベクトル検出部によって得られる動きベクトルに応じて、水平・垂直方向、且
つ時間方向の補間を行う補間フレーム生成部と、
前記フレーム間の動きの特徴を検出する動き特徴検出部と、を備え、
前記動き特徴検出部で検出された特徴に応じて、前記補間フレーム生成部における水平
・垂直・時間方向の補間方法を切り替えることを特徴とする映像処理装置。
【請求項２】
請求項１記載映像処理装置において、前記動き特徴検出部は、画面全体で検出された動
きベクトルの総カウント数による各ベクトルの出現度数を表すヒストグラム情報を検出す
ることを特徴とする映像処理装置。
【請求項３】
請求項１または２記載の映像処理装置において、前記動き特徴検出部は、動き探索範囲
内の動きベクトルのヒストグラム情報を検出し、前記ヒストグラム情報を元に、画面中支
配的な動きがあるか否かを判定するベクトル集中度検出部を含むことを特徴とする映像処
理装置。
【請求項４】
請求項１または２記載の映像処理装置において、前記動き特徴検出部は、動き探索範囲
内の動きベクトルのヒストグラム情報を検出し、前記ヒストグラム情報を元に、画面中複
数の動きが存在するか否かを判定するベクトル分散度検出部を含むことを特徴とする映像
処理装置。
【請求項５】
請求項１または２記載の映像処理装置において、前記動き特徴検出部は、動き探索範囲
内の動きベクトルのヒストグラム情報を検出し、前記ヒストグラム情報を元に、動き探索
範囲外の動きが存在するか否かを判定する検索範囲境界ベクトル集中度検出部を含むこと
を特徴とする映像処理装置。
【請求項６】
請求項１、２または３記載の映像処理装置において、前記動き特徴検出部によってベク
トルが任意の方向に集中していると判定された場合には、動きベクトルを用いた補間フレ
ームを生成し、ベクトルが集中していない場合には、フレーム繰り返しによる補間フレー
ム生成をすることを特徴とする映像処理装置。
【請求項７】
請求項６記載の映像処理装置において、前記動き特徴検出部によってベクトルが集中し
ていないと判定された場合には、フレーム間の線形補間による補間フレームを生成するこ
とを特徴とする映像処理装置。
【請求項８】
請求項６または７記載の映像処理装置において、前記動き特徴検出部は、ベクトルが集
中しているか否かの度合いを判定するためのベクトル集中度判定部を含み、前記ベクトル
集中度の度合いに応じて、前記補間フレーム生成部における、動きベクトルを用いた補間
フレーム生成、フレーム繰り返しによる補間フレーム生成、フレーム間の線形補間による
補間フレーム生成、を適応的に切り替えることを特徴とする映像処理装置。
【請求項９】
請求項１、２または４記載の映像処理装置において、前記動き特徴検出部によって、画
面中複数の動きが存在しないと判定された場合には、動きベクトルを用いた補間フレーム
を生成し、複数の動きが存在すると判定された場合には、フレーム繰り返しによる補間フ
レーム生成をすることを特徴とする映像処理装置。
【請求項１０】
請求項９記載の映像処理装置において、前記動き特徴検出部によって、画面中複数の動
きが存在すると判定された場合には、フレーム間の線形補間による補間フレームを生成す
ることを特徴とする映像処理装置。
【請求項１１】
請求項９または１０記載の映像処理装置において、前期動き特徴検出部は、画面中存在
する複数動きの度合いを判定するベクトル分散度判定部を含み、前記ベクトル分散度の度
合いに応じて、前記補間フレーム生成部における、動きベクトルを用いた補間フレーム生
成、フレーム繰り返しによる補間フレーム生成、フレーム間の線形補間による補間フレー
ム生成、を適応的に切り替えることを特徴とする映像処理装置。
【請求項１２】
請求項１、２または５記載の映像処理装置において、前記動き特徴検出部によって、動
き探索範囲外の動きが存在しないと判定された場合には、動きベクトルを用いた補間フレ
ームを生成し、動き探索範囲外の動きが存在すると判定された場合には、フレーム繰り返
しによる補間フレーム生成をすることを特徴とする映像処理装置。
【請求項１３】
請求項１２記載の映像処理装置において、前記動き特徴検出部によって、動き探索範囲
外の動きが存在すると判定された場合には、フレーム間の線形補間による補間フレームを
生成することを特徴とする映像処理装置。
【請求項１４】
請求項１２または１３記載映像処理装置において、前記動き特徴検出部は、動き探索範
囲外の動きの度合いを判定する境界ベクトル集中度判定部を含み、前記境界ベクトル集中
度の度合いに応じて、前記補間フレーム生成部における、動きベクトルを用いた補間フレ
ーム生成、フレーム繰り返しによる補間フレーム生成、フレーム間の線形補間による補間
フレーム生成を適応的に切り替えることを特徴とする映像処理装置。
【請求項１５】
請求項８、１１または１４記載の映像処理装置において、前期補間フレーム生成部は、
前記動きベクトルを用いた補間フレームとフレーム繰り返しによる補間フレーム、及び線
形補間による補間フレームを混在させた補間フレームを生成し、切り替えることを特徴と
する映像処理装置。
【請求項１６】
請求項８、１１、１４または１５記載の映像処理装置において、前記補間フレーム生成
部は、補間フレームの生成方法、もしくは時間的配置位置を、所定周期毎に切り替えるこ
とを特徴とする、フレームレート変換装置。
【請求項１７】
請求項１または２記載の映像処理装置において、前記動き特徴検出部による動きベクト
ルのヒストグラム情報で、中央にベクトル情報が所定閾値以上集まっている場合には、静
止画像、もしくはシーン切替わりと判定し、補間フレーム生成部において、フレーム繰り
返しによる補間フレーム生成をすることを特徴とする、フレームレート変換装置。
【請求項１８】
請求項１〜１７のいずれかに記載の映像処理装置は、前記補間フレーム生成部で生成さ
れて補間フレームによりフレームレート変換を行うことを特徴とする映像処理装置。
【請求項１９】
請求項１８記載の映像表示装置において、映像表示時の、４:３表示、１６:９表示、ま
たはワイドモードを含む表示モードに応じて、前記補間フレーム生成部における適応制御
方法を変更することを特徴とする映像処理装置。
【請求項２０】
請求項１８記載の映像表示装置において、更に、番組のジャンルを検出する番組ジャン
ル検出部を有し、前記番組のジャンルに応じて前記補間フレーム生成部における適応制御
方法を変更することを特徴とする補間フレーム生成部。
【請求項２１】
請求項１〜２０のいずれかに記載の映像処理装置で処理された映像を表示するための表
示部を備えた映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置に係り、特に映像信号中のフレームから補間フレームを作成し
てフレームレート変換を行うための技術に関する。
【背景技術】
【０００２】
近年、画像のフレーム数を増やすことにより、動画表示におけるぼやけ感やガタガタ感
といった不自然な動きを改善するために、フレームレート変換を高画質化技術として適用
する動きが注目され始めている。しかし、前記したような動画性能向上に対する明確な改
善効果を得るためには、精度の高い補間フレーム生成が必要となる。従来からよく用いら
れている高度な補間方法として、現在のフレームと１フレーム前のフレームを用いて、フ
レーム間の動きベクトルを利用した動き補償処理を用いる方法がある。この方法では、動
きベクトル情報をもとにフレーム間の動きを特定し、補間フレームを作成する。精度の高
い補間フレームを得るためには、この動きベクトルの精度を上げる必要があり、検索範囲
を２段階に分けて探索する方法(例えば非特許文献１)や、周囲の動きベクトルとの比較を
行うことで、不適切な動きベクトルを除去するスムージング処理を行う等の手法が提案さ
れている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平２００２−２７４１４号公報（第9項、図9）
【非特許文献】
【０００４】
【非特許文献１】東芝レビュー Vol.59 No.12(2004)
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の動き補償処理においては、1画面中に複数の動きを伴うような画
像や、複数の動物体が交差するような動きにおいては、正確な動きベクトルを得る事が難
しく、映像的に破綻をきたすことになる。
【０００６】
本発明は上記課題に鑑みて考えたものであり、より正確に動きベクトルを検出可能にし
て、高画質にフレームレート変換を行うことが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、特許請求の範囲に記載された構成を特徴とする
ものである。すなわち、フレーム間の動きの特徴に応じて補間フレーム生成部における水
平・垂直・時間方向の補間方法を適応的に切り替える構成としている。
【０００８】
このような構成によれば、動き補償法を用いたフレームレート変換処理において、映像
の特徴を捉えた適応的な補間制御により、動画性能向上を実現し、且つ破綻発生を抑えた
映像を実現することが可能となる。
【発明の効果】
【０００９】
本発明によれば、より正確に動きベクトルを検出することが可能となり、以って、高画
質にフレームレート変換を行うことが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第一の実施の形態を示すブロック図である。
【図２】本発明の第一の実施の形態におけるFRC部の構成の一例を示すものである。
【図３】ブロックマッチング法による補間フレーム生成を説明するための図である。
【図４】ブロックマッチング法による補間フレーム生成を説明するための図である。
【図５】FRC補間フレーム生成における時間方向の荷重加算を説明するための図である。
【図６】フレーム繰り返しによる補間フレーム生成を説明するための図である。
【図７】本発明の第一の実施の形態における補間フレーム生成部の構成の一例を示すものである。
【図８】動きベクトル誤検出となる映像パタンの例を示す図である。
【図９】ダイナミックFRC処理のステートダイアグラムを示すものである。
【図１０】ベクトルヒストグラム検出結果の一例を示す図である。
【図１１】ベクトルヒストグラム分布の一例を示す図である。
【図１２】ベクトルヒストグラム分布の一例を示す図である。
【図１３】ベクトルヒストグラム分布の一例を示す図である。
【図１４】ベクトルヒストグラム分布の一例を示す図である。
【図１５】ベクトルヒストグラム分布の一例を示す図である。
【図１６】本発明の第二の実施形態のダイナミックFRC処理のステートダイアグラムを示すものである。
【図１７】中間動作における補間フレーム生成の一例を説明するための図である。
【図１８】ダイナミックFRC処理のフローチャートである。
【図１９】ダイナミックFRC制御の動作イメージを説明するための図である。
【図２０】ダイナミックFRC処理における補間フレーム生成を説明するための図である。
【図２１】ダイナミックFRC処理における補間フレーム生成を説明するための図である。
【図２２】本発明の第三の実施の形態を示すブロック図である。
【図２３】番組ジャンル分類の一例を説明するための図である。
【図２４】ダイナミックFRC動作モード分類の一例を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について図面を参照しつつ説明する。
【実施例１】
【００１２】
図１は、本発明の第一の実施形態である画像処理装置の構成の一例を示すブロック図で
ある。
【００１３】
図１において、1001は入力信号、1002は解像度変換部、1003はフレームレート変換（以
下、FRC：Frame Rate Conversionと呼ぶ）部、1004は画像メモリ、1005はタイミングコン
トロール部、1006は表示部、1007はFRC変換モード信号である。
【００１４】
解像度変換部1002では、入力画像を表示部1006に合わせた画像フォーマットへ拡大・縮
小処理を行う。FRC部1003では、外部から設定されるFRC変換モード信号1007に応じたフレ
ームレートの変換を行い、タイミングコントローラ部1005では前記FRC部1003から得られ
たフレームレート変換出力を表示部1006に表示するためのタイミング調整を行う。
【００１５】
図２は、図１におけるFRC部1003の構成の一例を示すものである。
【００１６】
図2において、2001は現フレーム信号、2002は1フレーム前信号、2003はFRC変換モード
信号、2004は動きベクトル検出部、2005は動きベクトル、2006は画像特徴検出部、2007は
判定信号、2008は補間フレーム生成部、2009は補間フレーム信号、2010はフレームレート
変換出力信号、2011はメモリインターフェース部である。
【００１７】
動きベクトル検出部2004では、現フレーム信号2001と1フレーム前信号2002により、動
きベクトル2005を検出する。検出方法としては、前記従来技術で記したようなブロックマ
ッチング法や勾配法、位相相関法等どれを用いても良いが、ここでは、図３に示すような
N×N（Nは整数）のブロックマッチング法を用いる場合で以下説明する。図３において、3
001は現フレーム信号、3002は1フレーム前信号、3003は補間フレーム信号、3004は対象ブ
ロック、3005は動きベクトル検索範囲、3006は最小差分値ブロックペア、3007は動きベク
トルである。
【００１８】
補間フレーム3003上、補間しようとしている対象ブロック3004に対して、現フレーム信
号3001、1フレーム前信号3002のそれぞれにおいて点対称の位置のブロックを中心として
、所定ブロック数の検索範囲を設ける。図3の場合は水平11ブロック、垂直5ブロックと設
定している。対象ブロック3004を中心として、時間方向に点対称ペアの位置にある現フレ
ーム信号3001、及び1フレーム前信号3002上のブロック間の差分値マッチングにより、最
も差分値が小さいブロックペア3006を検出し、その方向を動きベクトル3007として出力す
る。
【００１９】
得られた動きベクトル2005(3007)は、補間フレーム生成部2008へ入力される。補間フレ
ーム生成部2008では、補間フレーム中の対象ブロックの画素値を前記差分値最小ペアの画
素値の平均値として算出する。
【００２０】
図3では、60Hzから120Hzへの変換のように、入力される元のフレームレートでのフレー
ム（以下、キーフレームと呼ぶ）に対して時間的に中間の重心位置に1枚の補間フレーム
を挿入する場合を説明した。これに対し、図4では映画の24Hzから60Hzへの変換等、キー
フレーム間に複数枚の補間フレームを挿入する場合の例を示す。尚、このように60Hzから
120Hzへの変換をするのか、及び24Hzから60Hzへの変換をするのか等、フレームレート変
換の動作モードを決めるのが、FRC変換モード信号1007（2003）である。
【００２１】
図４において、図3の構成要素と同一の構成要素に関しては、同一の符号を付してその
説明を省略する。
【００２２】
4001は動きベクトル検索範囲１、4002は動きベクトル検索範囲2、4003は補間フレーム
１、4004は補間フレーム２、4005は対象ブロック１、4006は対象ブロック2、4007は動き
ベクトル１、4008は動きベクトル２である。
【００２３】
図4において、補間フレーム１ 4003上の対象ブロック１ 4005に対しては、現フレーム
信号3001上では動きベクトル検索範囲1 4001を、1フレーム前信号3002上では動きベクト
ル検索範囲2 4002を設定する。図を見ても分かる通り、検索範囲の大きさとして、動きベ
クトル検索範囲1 <動きベクトル検索範囲２である。これは、補間フレーム１ 4003の現フ
レーム信号3001からの時間的距離が、1フレーム前信号3002からの時間的距離に比べて短
いためであり、その結果、点対称位置のブロック間での差分値マッチング演算の際、設定
できる検索範囲の大きさが異なることになる。同様に、補間フレーム２ 4004上の対象ブ
ロック2  4006に対しても、その時間的重心位置の違いから、現フレーム信号3001上では
動きベクトル検索範囲２ 4002を、1フレーム前信号3002上では動きベクトル検索範囲１ 4
001を設定する必要がある。前記60Hzから120Hzへの変換同様、検索範囲内において差分値
マッチング演算を行い、最も差分値が小さいブロックペアを算出し、その方向を動きベク
トル2007として出力する。ここで、補間フレームが２つ存在するために、必要な動きベク
トルも2つ（4007、4008）となる。補間フレーム生成部2005では、補間フレーム１ 4003、
及び補間フレーム２ 4004それぞれの時間的重心位置を考慮して補間画素値を算出する。
具体的には、図４において補間フレーム1上の対象ブロック1 4005、及び補間フレーム２ 
4006上の対象ブロック２の画素値(それぞれI(1), I(2)とする)は、時間方向の重心位置を
考慮した荷重加算によってそれぞれ以下の数１及び数２で算出される。
【００２４】
（数１）I(1) = (3*Y1_a + 2*Y0_a)/5  
（数２）I(2) = (Y1_b +４*Y0_b)/5    
図５は、上記時間方向の荷重加算を説明する図である。図５において、5001〜5003は、
24Hzの映像フレーム、5004〜5009は60Hzの映像フレーム、矢印に添えられている数値は、
補間フレーム生成の際の時間方向の荷重値を示している。補間フレーム5005〜5008は、上
記式（１）、（２）によりそれぞれ算出される。
【００２５】
メモリインターフェース部2011では、補間フレーム生成部2008からの補間フレーム出力
の画像メモリ1004へのデータ書き込み、及びFRC変換モード 1007に応じたレートでのデー
タ読み出しを行い、フレームレート変換出力2009を出力する。ここで、図５に示すように
、24Hzから60Hzへの変換の場合は、キーフレーム5002は削除して映像を出力する。
【００２６】
補間フレーム生成部2008では、上記したような通常FRC動作(以下、ベクトルFRCと称す
る)における補間フレーム生成動作に加え、後述する画像特徴検出部2006からの判定信号
により、図６に示すようなフレーム繰り返しによる補間フレーム生成、つまりはベクトル
FRC非動作の切替を行う。図７は、図２における補間フレーム生成部2008の構成の一例を
示している。図７において、7001は現フレーム信号、7002は１フレーム前信号、7003は動
きベクトル、7004はFRC変換モード信号、7005は水平/垂直方向補間画素選択部、7006は時
間方向補間処理部、7007はセレクタ部、7008は判定信号である。
【００２７】
ここで、我々がフレームレート変換による動画質評価により得た見解に関して以下に説
明する。
【００２８】
60Hzから120Hz、30Hzから60Hzへの変換のように整数倍のフレームレート変換で、キー
フレーム間に補間フレームが１つしか挿入されない変換の場合、前記挿入される補間フレ
ームの画質が、動きベクトル誤検出等で多少劣化が見られたとしても、人間の目ではそれ
を認識し難く、結果として時間解像度が向上したことのインパクトの方が大きい。これに
対し、24Hzから60Hz、50Hzから60Hzへの変換のように非整数倍のフレームレート変換で、
キーフレーム間に複数の補間フレームが挿入される場合は、前記補間フレームの画質が動
きベクトル誤検出等で劣化が見られる場合、その劣化画像が時間的に2枚以上続くことに
なり、人間の目に認識され、時間解像度向上の効果よりも、画質の劣化が目立ってしまう
ことになる。
【００２９】
次に、前記動きベクトル誤検出による劣化画像に関して説明する。
【００３０】
動きベクトルの検出においては、前記説明したように、基本的に現フレーム映像と1フ
レーム前の映像からブロック単位、画素単位での差分値マッチング演算による相関を算出
し、前記相関が最も高い位置の画素値から補間フレームの画素値を算出する。しかし例え
ば図８に示すように、フレーム間において対象動物体が障害物の裏を通り抜けるような画
像の場合、対象物体の一部は数フレーム間映像中に存在しなくなるため、正確な動きベク
トルを算出することができない。また通常、動きベクトル検出においては、そのベクトル
の信頼性向上のために、周囲で検出された動きベクトルや、画面全体の動きベクトルを参
照する方式をとる事が多い。これにより、画面全体が一定方向へパンしているような映像
ではかなり精度の高い動きベクトルが得られるが、画面中に複数の異なる動きが存在する
ような映像の場合は、正確な動きベクトル検出が急激に難しくなる。さらに、動きベクト
ルの検索範囲を超えるような早い動きの場合においても、正確なベクトル検出が行えず、
画像の破綻を招くことになる。最も単純な対策としては、動きベクトル検索範囲を拡げる
ことが考えられるが、その分誤検出する可能性も増えると共に、演算量の増大、及びハー
ドウェア化を考えた場合の回路規模の増大に直結する。
【００３１】
本実施例では、映像の特徴に応じてその補間方法を切り替えることでこの問題を解決す
る。つまり、フレーム毎の動きベクトルヒストグラム情報を元に、映像の補間方法をダイ
ナミックに変更する。以下、本発明では本方式をダイナミックFRCと称する。
【００３２】
図９は、本発明におけるダイナミックFRC処理のステートダイアグラムを示すものであ
る。図９において、S101は動きベクトルを用いた補間フレーム生成を行うベクトルFRC動
作状態、S102はフレーム繰り返しによる補間フレーム生成を行う、非FRC動作状態である
。
【００３３】
画像特徴検出部2006での動きの特徴判定により、状態遷移(S103、S10４)を行う。
【００３４】
画像特徴検出部2006では、検出された動きベクトルによるヒストグラム情報により、動
きの特徴を検出し、判定信号2007を出力する。図１０は、前記ベクトルヒストグラム検出
結果の一例を示したものである。図１０では、動きベクトル検出部2004でのベクトル検出
範囲を垂直5ブロック、水平11ブロックに設定した場合を示している。図１０のヒストグ
ラム結果をグラフ化したものを図１１に示す。図１１を見て分かるように、この例ではベ
クトル(0,0)周辺に多くの動きベクトルが集中していることが読み取れる。画像特徴検出
部2006ではこのようなベクトルヒストグラム分布を用いて動きの特徴を判定する。
【００３５】
例えば、前記動きベクトルヒストグラム分布において、図１２に示すように任意の方向
に集中している場合には、画面中支配的な動きにより全体がスクロールしている可能性が
高いと判定する。また図1３に示すように、検索範囲の境界部分に所定閾値以上集中する
場合、その画面は検索範囲を超える早い動きの物体が多くある可能性が高いと判定する。
別の判定の仕方として、動きが検索範囲を超えた場合には、正確にマッチングがとれるブ
ロックがなくなり、検索範囲内にマッチング値が同じレベルのブロックが複数存在するこ
とが予想されることを利用する。例えば、マッチング値が同じ場合には、ベクトル(0,0)
、もしくはそれに近いベクトルを優先させるようなアルゴリズムを用いている場合、図１
４に示すように、ベクトル(0,0)に分布が集中することが考えられる。従ってこの場合、
所定閾値以上ベクトル(0,0)に分布が集中する場合は検索範囲を超える動きが存在したと
判定する。尚、ベクトル(0,0)に集中するかどうかはベクトル検出におけるアルゴリズム
次第であり、これに限るものではない。また、図１５に示すように、所定閾値以上の分布
が散乱している場合は複数の動きが存在する画像であると判定する。
【００３６】
画像特徴検出部2006では、図１２〜１５のようなベクトルヒストグラム分布を持つ画像
入力の際に、その旨を示す判定信号2007を出力する。判定信号2007は例えば1/0の1ビット
の信号で良い。図１２に示すようなベクトルヒストグラム分布の場合、検出された動きベ
クトルの信頼性が高いと判断し0を出力する。図1３〜１５に示すようなベクトルヒストグ
ラムの場合、動きベクトルの信頼性が低く、誤検出の可能性が高いため、1を出力する。
セレクタ部7007では、前記判定信号に応じて、ベクトルFRCによる補間フレームとフレー
ム繰り返しによる補間フレーム出力の切替を行う。従って、判定信号2007が0の場合(S10
３)には、ベクトルFRC動作(S101)へ遷移し、判定信号が1の場合(S104)には、非FRC動作(S
102)へ遷移する。また、前記状態遷移（S103,S104）の際には、状態が頻繁に切替わるこ
とによる弊害を防止するため、判定信号2007が0(1)の状態が、所定フレーム期間継続した
場合に遷移する、もしくは遷移した後に、その状態を所定期間維持する、といったヒステ
リシス特性を持たせる構成としてもよい。
【００３７】
また、本実施例においては、動きの特徴検出をハードウェアで構成しているが、これに
限るものではなく、ハードウェアからは動きベクトル情報のみ出力し、ソフトウェアにて
本ダイナミックFRC制御を実現する構成としてもよい。
【００３８】
また、補間フレーム出力切替に関しては、補間フレーム生成部2008で実施しなければな
らないこともなく、メモリインターフェース部2011によるデータ読み出し制御によって実
施する構成としても良い。
【００３９】
以上のように本実施例によれば、入力された画像の動きの特徴を捉え、前記動きの特徴
に応じて、FRCの動作状態をダイナミックに切り替えることが可能となる。
【実施例２】
【００４０】
図１６は、本発明の第二の実施形態である画像処理装置のダイナミックFRC処理のステ
ートダイアグラムを示すものである。図１６において、図９に示した構成要素と同一の構
成要素に関しては、同一の符号を付してその説明を省略する。
【００４１】
本実施例では、FRCの状態を3段階とすることで、より画像に最適な制御を可能としてい
る。以下、上述した第一の実施の形態と異なる部分についてその動作を説明する。
【００４２】
図１６において、S201はベクトルFRC動作と非FRC動作の中間動作状態である。これらの
3つの動作状態は、後述する遷移条件によって画像特徴検出部2006から出力される判定信
号2007が、0の時ベクトルFRC動作(S205)、1の時に中間動作(S202,S204)、2の時に非FRC動
作(S203)へ遷移する。
【００４３】
図１７は、本発明における24Hzから60Hzへの変換モードでの前記中間動作の一例を説明
するための図である。図1７において、17001〜17003は入力キーフレーム、17004〜17007
は補間フレームである。ベクトルFRC動作(S101)の際には、前記補間フレームは全て動き
ベクトルを用いた補間、非FRC動作(S102)の際には、前記補間フレームは全て繰り返しフ
レーム、つまり17004、17005は17001、17006、17007は17002のフレームがそのまま挿入さ
れる。中間動作(S201)の場合には、図１７に示すように、17005、17006フレームのみを、
繰り返しフレーム、もしくは、時間方向の重心位置を考慮した線形補間フレームに置き換
える。ここで、時間方向の重心位置を考慮した線形補間フレームとは、フレーム17001と1
7002に対して水平・垂直ベクトル”０”による時間方向の重心を考慮した荷重加算によっ
て生成される。本方式による映像の見え方としては、フレームレート変換による本来の効
果である動画の滑らかさに関しては、完璧な補間フレームが生成された場合と比較した場
合、当然その効果は軽減することになるが、破綻を抑圧し、且つ効果を残した映像を実現
することが可能となる。
【００４４】
前記３つの動作状態を切り替えるために、画像特徴検出部2006によって、その旨を示す
判定信号2007を出力する。例えば0/1/2を2bitの信号で出力する構成とする。実施例１に
て記載した1/0の判定に対して、閾値制御を設けることにより0/1/2への切替を実現する。
制御例を以下図１８のフローチャートを参照しながら説明する。
【００４５】
まず、ベクトル集中度に関しては、ベクトルカウント閾値TH１以上の箇所がいくつ存在
するかの集中度分布値をカウントする(F101)。境界分布度に関しては、検索範囲境界部分
において、境界ベクトルカウント閾値TH4以上の箇所いくつ存在するかの境界分布値をカ
ウントする(F102)。
【００４６】
次に前記集中度分布値と分布閾値TH2、TH3を比較する(F103,104)。さらに、前記境界分
布値と境界閾値TH5、TH6を比較する(F105,106)。集中度分布値がTH2以下であり、且つ境
界分布値がTH5以下の場合にベクトルFRC動作(F109)となる。集中度分布値がTH2以下であ
り、且つ境界分布値がTH5以上TH6以下の場合には、中間動作(F108)となる。さらに、集中
度分布値がTH2以上TH3以下であり、且つ境界分布がTH5以上TH6以下の場合にも中間動作(F
108)となる。集中度分布値がTH3以上の場合には、非FRC動作(F107)となる。さらに、集中
度分布値がTH2以下であり、且つ境界分布値がTH6以上の場合、また集中度分布値がTH2以
上TH3以下であり、且つ境界分布値がTH5以上の場合にも非FRC動作(F107)となる。
【００４７】
本制御により、画像特徴検出部2006から判定信号0(ベクトルFRC動作)/1(中間動作)/2(
非FRC動作) 2007を出力する。
【００４８】
図１９は、本ダイナミックFRC制御による動作イメージを説明するための図である。図
に示すように、3つの動作状態をダイナミックに切り替える。ベクトルFRC動作から非FRC
動作への遷移（その逆も含む）の間には、基本的に中間動作が入る。これにより、動作切
替の際の画像の違和感を軽減することが可能となる。
【００４９】
また、本実施例においては、ベクトルの集中度分布、境界分布を用いて、各値に対して
３つの閾値使用による状態分けを行っているが、閾値の数は任意であり、且つ集中度とい
う考え方ではなく、分散度という考え方、または境界分布に関しても、水平/垂直方向独
立に制御する考え方を利用してもよい
また、第一の実施例同様、各動作状態への移行の際にはヒステリシス特性を持たせる構
成としても良い。
【００５０】
また、中間動作における補間フレームに関しては、図１７において、4枚の補間フレー
ム中2枚を繰り返しフレーム、もしくは、時間方向の重心位置を考慮した線形補間フレー
ムに置き換える方式としているが、これに限るものではなく、4枚全てを前記線形フレー
ムに置き換える方式としても良い。当然1枚のみ置き換える、3枚置き換える方式としても
良い。前記置き換える枚数の違いに応じて、中間動作を分類し状態遷移を3以上に細分化
してもよい。
【００５１】
また、2枚の繰り返しフレーム、もしくは、線形フレーム置き換え位置に関しても、170
05、17006の位置に限るものではなく、17004、17007を置き換えても良い。さらには例え
ば図２０に示すように、所定周期毎に、あるいは画像の特徴に応じて、置き換える枚数、
位置を切り替える方式としても良い。例えば前記したようなベクトルの集中度分布情報を
用いて、中間動作の中で、図２１に示すように集中度が高い場合は置き換えフレーム数を
少なくし、低い場合には、置き換えフレーム数を増やしていくような制御を行ってもよい
。
【００５２】
以上のように本実施例によれば、FRCの状態をON/OFFモードに加えて、中間モードを持
つ3段階とすることで、より画像に最適な制御が可能となる。
【実施例３】
【００５３】
図２２は、本発明の第三の実施形態である画像処理装置の構成の一例を示すブロック図
である。
【００５４】
図２２において、図１に示した構成要素と同一の構成要素に関しては、同一の符号を付
してその説明を省略する。
【００５５】
本実施の形態によれば、スポーツ、ニュース、映画等の番組のジャンルに応じて最適な
補間制御へ切り替えることにができる。
【００５６】
また、ワイドモードに応じて最適な補間制御へ切り替えることができる。
【００５７】
以下、上述した第一、第二の実施の形態と異なる部分についてその動作を説明する。
【００５８】
図２２において、22001はEIT（Event Information Table）データ、22002はEITデータ
処理部、22003はEIT判定信号、22004はワイドモード信号、22005はダイナミックFRC動作
モード選択部、22006はダイナミックFRC動作モード信号である。
【００５９】
BS／CS／地上デジタルテレビ放送では、映像／音声／データ放送以外に番組に関する情
報（例えば番組の名称、番組内容、番組放送日、番組放送開始時間、番組放送継続時間、
放送チャンネル、番組ジャンルコードなど）も電波に重畳して送出されている。BS／CS／
地上デジタルテレビ放送受信装置では、放送局から送出されるEITと呼ばれる番組情報を
利用し、これらを取得／構成することにより、電子番組表機能をユーザに提供している。
図２２においてEITデータ処理部22002では、EIT内のコンテント記述子で使用されている
１バイトの番組ジャンルコードによって、例えば図２３のような分類を行う。つまり、入
力されたコンテンツが、スポーツ、アニメ・特撮、映画、ドラマ、バラエティといった動
きの激しいシーンが多く存在する可能性のあるものは１を、ニュース、ワイドショーとい
った動きの激しいシーンが多くは存在しないであろうものには0をEIT判定信号22003とし
て出力する。
【００６０】
ワイドモード信号22004は、4:3映像を16:9へ拡大表示、上下黒帯の付いている映像を拡
大して表示等しているかどうかを示す信号であり、ユーザが設定した現在のモードを示す
信号である。各メーカによってモードの名称は異なるが、本実施例においては、スムーズ
(拡大有り)とフル(拡大無し)の２種類で考える。
【００６１】
ダイナミックFRCモード選択部22005では、上記EIT判定信号22003と、ワイドモード信号
22004から、ダイナミックFRC動作モード信号22006を生成する。ここで言うダイナミックF
RCの動作モードとは、例えば第二の実施例にて記載した、３つの動作モードを切替るため
の閾値を切り替えることを示している。つまり、本モード設定により、図２における画像
特徴検出部2006の動作が決定する。図１９で示したダイナミックFRCの動作においては、
閾値を上げることによってベクトルFRC動作時間が増加する。例えば閾値が低めの設定と
、高めの設定の2種類のテーブルを持つことによって、高めの設定ではFRC動作時間が増加
するため、効果が出やすいが破綻が見える可能性が残る。低めの設定では効果は限定され
るが、破綻は見え難い、といった動作が可能となる。
【００６２】
従って上記を踏まえ、例えばダイナミックFRCモード選択部22005では、図２４に示すよ
うなダイナミックFRC動作モード信号22006を出力する。
【００６３】
EIT判定信号22003により、動きの激しいシーンが多い番組ジャンルであれば１、動きの
激しいシーンの少ない番組ジャンルでる場合は、ワイドモードがスムーズのときは１、フ
ルのときは0を出力する。
【００６４】
ダイナミックFRC動作モード信号22006を受け取った画像特徴検出部2006は、その値が1
の時は閾値が低めの設定、０の時は高めの設定に切り替える。
【００６５】
以上のように本実施例では、ユーザが視聴する番組のジャンルデータ、表示モードに応
じて補間制御を切り替えることが可能となる。
【００６６】
尚本実施例においては、番組ジャンルとして大分類の中の8種類のみで分類を行ってい
るが、当然これに限るものではなく、その下の中分類にまで及ぶ切り替えを行う構成とし
ても良い。また、本実施例においては、制御切替として２種類のみの説明を行ったが、こ
れに限るものではなく、さらに細分化する構成とすれば尚良い。また、制御切替項目とし
て、閾値の値を例に説明を行ったが、これに限ることはなく、例えば各動作状態のヒステ
リシス期間を切り替えることにより、各動作モードのバランスを可変する制御としても良
い。
【符号の説明】
【００６７】
1001…入力信号、1002…解像度変換部、1003…フレームレート変換（FRC：Frame Rate Co
nversion）部、1004…画像メモリ、1005…タイミングコントロール部、1006…表示部、10
07…FRC変換モード信号、2001…現フレーム信号、2002…1フレーム前信号、2003…FRC変
換モード信号、2004…動きベクトル検出部、2005…動きベクトル、2006…画像特徴検出部
、2007…判定信号、2008…補間フレーム生成部、2009…補間フレーム信号、2010…フレー
ムレート変換出力信号、2011 メモリインターフェース部、3001…現フレーム信号、3002
…1フレーム前信号、3003…補間フレーム信号、3004…対象ブロック、3005…動きベクト
ル検索範囲、3006…最小差分値ブロックペア、3007…動きベクトル、4001…動きベクトル
検索範囲１、4002…動きベクトル検索範囲2、4003…補間フレーム１、4004…補間フレー
ム２、4005…対象ブロック１、4006…対象ブロック2、4007…動きベクトル１、4008…動
きベクトル２、5001〜5003…24Hzの映像フレーム、5004〜5009…60Hzの映像フレーム、60
01〜6003…24Hzの映像フレーム、6004〜6009…60Hzの映像フレーム、7001…現フレーム信
号、7002…１フレーム前信号、7003…動きベクトル、7004…FRCモード信号、7005…水平/
垂直方向補間画素選択部、7006…時間方向補間処理部、7007…Fセレクタ部、7008…判定
信号、S101…ベクトルFRC動作状態、S102…ベクトルFRC非動作状態、S103,S104…状態遷
移、S201…中間動作状態、S202〜S205…状態遷移、17001〜17003 入力キーフレーム、170
04〜17007 補間フレーム、20001〜20002…入力キーフレーム、20003〜20006…補間フレー
ム、22001…EIT（Event Information Table）データ、22002…EITデータ処理部、22003 E
IT判定信号、22004…ワイドモード信号、22005…ダイナミックFRC動作モード選択部、220
06…ダイナミックFRC動作モード信号。
【図１】
2010213287.tif 000003
【図２】
2010213287.tif 000004
【図３】
2010213287.tif 000005
【図４】
2010213287.tif 000006
【図５】
2010213287.tif 000007
【図６】
2010213287.tif 000008
【図７】
2010213287.tif 000009
【図８】
2010213287.tif 000010
【図９】
2010213287.tif 000011
【図１０】
2010213287.tif 000012
【図１１】
2010213287.tif 000013
【図１２】
2010213287.tif 000014
【図１３】
2010213287.tif 000015
【図１４】
2010213287.tif 000016
【図１５】
2010213287.tif 000017
【図１６】
2010213287.tif 000018
【図１７】
2010213287.tif 000019
【図１８】
2010213287.tif 000020
【図１９】
2010213287.tif 000021
【図２０】
2010213287.tif 000022
【図２１】
2010213287.tif 000023
【図２２】
2010213287.tif 000024
【図２３】
2010213287.tif 000025
【図２４】
2010213287.tif 000026
【手続補正書】
【提出日】平成22年3月29日(2010.3.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のフレームを含む入力映像信号を入力し、前記入力映像信号のフレームに基づいて補間フレームを生成し、前記入力映像信号に含まれる複数のフレームの一部のフレームと前記補間フレームとを含むフレーム列を有する映像信号に変換する映像変換装置であって、
前記入力映像信号に含まれる複数のフレーム間の動きベクトルの検出を行う動きベクトル検出部と、
前記動きベクトル検出部で検出した動きベクトルについてのヒストグラム情報を作成して映像の特徴を判定する映像特徴判定部と、
前記動きベクトル検出部が検出した動きベクトルと前記入力映像信号に含まれる複数のフレームとを用いて補間フレームを生成する第１の補間フレーム生成処理と、前記入力映像信号に含まれる複数のフレームのうち一つのフレームをそのまま補間フレームとする第２の補間フレーム生成処理とを行い、前記入力映像信号に含まれる複数のフレームの一部のフレームと前記第１の補間フレーム生成処理または前記第２の補間フレーム生成処理で生成した補間フレームとを含む補間フレーム列を生成する補間フレーム列生成部とを備える
ことを特徴とする映像変換装置。