(57)【要約】【課題】ハードウェアの増加を伴わず、より精度の高い動きベクトルの算出を可能にする。【解決手段】画像処理装置は、フレーム画像を複数のブロックに分割する画面分割部２と、ブロックが静止画または動画であるかを判定する判定部３と、動きベクトルを算出する基準ブロックに対応する、１フレーム前のフレーム画像の各ブロックの前記動きベクトル情報に基づいて探索範囲を拡大する方向を示す拡大ベクトル情報を出力する拡大ベクトル算出部６と、、前記基準ブロックの周囲のブロックのうち、静止画と判定されたブロックの数と、前記拡大ベクトル情報とに従って探索範囲を設定する探索範囲設定部７と、設定された探索範囲において動きベクトル情報を算出する動きベクトル計算部８と、算出された動きベクトルに基づいて補間フレーム画像を生成する動き補償部１０とを備えることを特徴とする。【選択図】図１
2010016568.tif 000002
【特許請求の範囲】
【請求項１】
順次走査信号として入力されるフレーム画像から、動きベクトルに応じて補間フレーム画像を生成する画像処理装置において、
フレーム画像を複数のブロックに分割する画面分割部と、
各ブロックが静止画または動画であるかを判定する判定部と、
動きベクトルを算出する基準ブロックに対応する、１フレーム前のフレーム画像の各ブロックの前記動きベクトル情報に基づいて、当該基準ブロックの動きベクトルを探索する探索範囲を拡大する方向を示す拡大ベクトル情報を出力する拡大ベクトル算出部と、
前記基準ブロックの周囲のブロックのうち、静止画と判定されたブロックの数と、前記拡大ベクトル情報とに従って探索範囲を設定する探索範囲設定部と、
前記設定された探索範囲において、前記基準ブロックの動きベクトル情報を算出する動きベクトル計算部と、
前記ベクトル計算部で算出した動きベクトルに基づいて補間フレーム画像を生成する動き補償部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、
前記拡大ベクトル算出部は、前のフレーム画像の各ブロックに対応する動きベクトルのベクトル量を所定のベクトル量に置き換え、前記拡大ベクトル情報とすることを特徴とする画像処理装置。
【請求項３】
請求項１記載の画像処理装置であって、
前記探索範囲設定部は、前記基準ブロックの周囲のブロックを含む初期探索範囲を設定し、前記初期探索範囲内の所定の1列ごとに、当該列に含まれる静止画と判定されたブロックの数を算出することを特徴とする画像処理装置。
【請求項４】
請求項３記載の画像処理装置であって、
前記1列は、行単位、列単位又は斜め方向単位のいずれかであることを特徴とする画像処理装置。
【請求項５】
請求項１記載の画像処理装置であって、
前記画面分割部は動きベクトル情報を算出するまでブロックのサイズを維持することを特徴とする画像処理装置。
【請求項６】
順次走査信号として入力されるフレーム画像から、動きベクトルに応じて補間フレーム画像を生成する画像処理方法において、
フレーム画像を複数のブロックに分割する画面分割ステップと、
各ブロックが静止画または動画であるかを判定する判定ステップと、
動きベクトルを算出する基準ブロックに対応する、１フレーム前のフレーム画像の各ブロックの前記動きベクトル情報に基づいて、当該基準ブロックの動きベクトルを探索する探索範囲を拡大する方向を示す拡大ベクトル情報を出力する拡大ベクトル算出ステップと、
前記基準ブロックの周囲のブロックのうち、静止画と判定されたブロックの数と、前記拡大ベクトル情報とに従って探索範囲を設定する探索範囲設定ステップと、
前記設定された探索範囲において、前記基準ブロックの動きベクトル情報を算出する動きベクトル計算ステップと、
前記ベクトル計算ステップで算出した動きベクトルに基づいて補間フレーム画像を生成する動き補償ステップと、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、順次走査信号として入力されるフレーム画像において、動きベクトルに応じて補間フレーム画像を生成する画像処理装置に関する。
【背景技術】
【０００２】
従来、入力される映像信号を倍速フレームレート化する際には、元画像のフレーム間に元画像のフレームから生成した補間フレームの映像信号を挿入する方法が知られている。この方法によれば、一画面を所定のサイズのブロックに分割し（以下、マッチングブロック）、このマッチングブロックが次のフレームでどこに移動したかを計算することにより動きベクトル情報を算出する。この動きベクトルを求める方法の１つとして、ブロックマッチング法がある。
【０００３】
ブロックマッチング法による動きベクトル情報算出方法によれば、フレーム間でのマッチングブロック同士の相関を検出することで、動きベクトルを検出する。従って、動きの速い画像について動きベクトルの検出精度を上げるためには、できるだけ広い探索範囲においてマッチングブロック同士の相関を計算することが必要となる。また、動きベクトルの検出処理は、マッチングブロック内において画素ごとの演算による相関値算出処理が必要であり、リアルタイムでマッチングブロックの相関を調べられる探索範囲としては時間的制約が伴うか、ハードウェア規模増加を招いてしまう。
【０００４】
特許文献１は、演算量の増加を防ぎつつ、ブロックマッチング法を行う技術を開示している。特許文献１の技術は、符号化ブロックの動き量に応じて探索範囲の大きさを決める処理を行っている。符号化ブロックの動き量が大きい場合には探索範囲を拡大し、符号化ブロックの動き量が小さい場合には探索範囲を小さくすることによって、探索範囲の部分最適化を行い、ハードウェア演算量が増大しないように制御を行っている。ただし、探索範囲を拡大する場合にはマッチングブロックのサイズを大きくする。大きくしたマッチングブロック内の演算量を減らすために、相関値計算処理を行うサンプリング画素数を減らす。このように、画素情報を減らすことで探索範囲の拡大を行う。
【特許文献１】特開２００３−１６９３３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来の技術では、ハードウェアの増加を抑制するために、探索範囲の大きさに応じてマッチングブロック内のサンプリング画素数を減少させて、相関値を算出するという処理を行っている。従って、動きの大きい映像についてブロックマッチング法を行うとき、探索範囲を拡大するとともにマッチングブロックのサイズを拡大するが、サンプリング画素数を減少させることによって動きベクトル検出精度が低下してしまう。
【０００６】
一般的に、正確な補間フレーム画像を生成するためには、動きベクトルの検出精度の向上が必要となる。これを実現するためにはマッチングブロックのサイズを小さくし、より多くの情報量から相関値算出を求めることによって、検出精度を向上させる必要がある。しかし、従来の技術では、ハードウェアの増加を伴わず、検出精度の向上を実現することは困難であるという課題があった。
【０００７】
そこで、本発明の目的は、ハードウェアの増加を伴わず、より精度の高い動きベクトルの算出を可能にする画像処理装置を提供することにある。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本発明は、順次走査信号として入力されるフレーム画像から、動きベクトルに応じて補間フレーム画像を生成する画像処理装置において、フレーム画像を複数のブロックに分割する画面分割部と、各ブロックが静止画または動画であるかを判定する判定部と、動きベクトルを算出する基準ブロックに対応する、１フレーム前のフレーム画像の各ブロックの動きベクトル情報に基づいて、当該基準ブロックの動きベクトルを探索する探索範囲を拡大する方向を示す拡大ベクトル情報を出力する拡大ベクトル算出部と、基準ブロックの周囲のブロックのうち、静止画と判定されたブロックの数と、拡大ベクトル情報とに従って探索範囲を設定する探索範囲設定部と、設定された探索範囲において、基準ブロックの動きベクトル情報を算出する動きベクトル計算部と、ベクトル計算部で算出した動きベクトルに基づいて補間フレーム画像を生成する動き補償部とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、補間フレーム画像の生成をブロックマッチング法により行う場合、探索範囲内に静止画と判定されたブロックがあるとき、そのブロックに対して相関計算処理をせず、動画と判定されたブロックの数に応じて探索範囲を拡大することによって、ブロックのサイズを維持したまま、限られたリソース内でより精度の高い探索を実現できる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態について、図面を用いて、詳細に説明する。なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００１１】
＜第1実施形態＞
図１は、本発明に係る画像処理装置の倍速フレーム生成制御部の構成を示すブロック図である。図１において、６０Ｈｚの順次走査信号（プログレッシブ信号）をシステムに入力し、１２０Ｈｚの順次走査信号（プログレッシブ信号）を出力する場合の構成を示している。
【００１２】
本発明に係る画像処理装置は、フレームデータメモリ１と、画面分割部２と、静止画／動画判定部３とを備えている。
【００１３】
フレームデータメモリ１は、入力される映像信号（６０Ｈｚ）を保存する。フレームデータメモリ１は、入力される映像信号を逐次保存し、複数フレーム分の映像データを保存できる。
【００１４】
画面分割部２は、フレームデータメモリの映像データを、横ｋｍａｘ、縦ｌｍａｘ個のブロックに分割し、静止画／動画判定部３及び探索中心決定部５に分割情報ｋｍａｘ、ｌｍａｘを出力する。画面分割部２は、また、１フレームの入力信号を分割した１個のブロックをマッチングブロックとし、そのマッチングブロックの座標を（ｋ，ｌ）とする。座標は１フレーム映像の左上を（０，０）とし、右に向かって（１，０）、（２，０）とカウントアップし、下に向かっては（０，１）、（０，２）とカウントアップし、右下の最終座標は（ｋｍａｘ−１、ｌｍａｘ−１）とする。
【００１５】
静止画／動画判定部３は、横ｋｍａｘ、縦ｌｍａｘに分割されたブロックごとに静止画／動画の判定を行い、静止画／動画判定情報α（ｋ，ｌ）をフレーム静動メモリ４に出力する。α（ｋ，ｌ）は、マッチングブロック座標（ｋ，ｌ）の静止画／動画判定情報を示す。
【００１６】
図２に、静止画／動画判定部３による静止画／動画の判定方法のフローチャートを示す。ここではｕフレーム目の静止画動画判定を行うとする。
【００１７】
まず、静止画／動画判定部３は、静止画／動画判定を行うマッチングブロックの座標を原点（０，０）に設定する（Ｓ３０１）。また、マッチングブロック（ｋ，ｌ）内の画素毎の座標を（ｉ，ｊ）とし、マッチングブロック内の画素数は横方向にｉｍａｘ個、縦方向にはｊｍａｘ個の画素があるとする。座標は、マッチングブロック内の左上を（０，０）とし、右に向かって（１，０）、（２，０）とカウントアップし、下に向かっては（０，１）、（０，２）とカウントアップし、右下の座標は（ｉｍａｘ−１、ｊｍａｘ−１）となる。
【００１８】
続いて、静止画／動画判定部３は、マッチングブロック内の計算を行う座標を原点に設定する（Ｓ３０２）。画素（ｉ，ｊ）について、あるｕフレーム目とｕ−１フレーム目のフレーム差分の絶対値Ｙ（ｉ，ｊ）を計算する（Ｓ３０３）。Ｙ（ｉ，ｊ）が静止画か動画を判定する閾値Ｆより大きいかどうかを判定する（Ｓ３０４）。Ｆよりければ画素静止画判定結果Ｚ（ｉ，ｊ）を１とし（Ｓ３０５）、Ｆ以下であればＺ（ｉ，ｊ）を０とする（Ｓ３０６）。
【００１９】
静止画／動画判定部３は、以上の処理をブロックマッチング内のすべての画素で行ったかどうかの判定を行う（Ｓ３０７）。マッチングブロック内の画素すべての処理が終わっていなければ、ｉ，ｊをカウントアップし（Ｓ３０８）、すべての画素について処理が終わるまで繰り返す。
【００２０】
続いて、静止画／動画判定部３は、マッチングブロック内のＺ（ｉ，ｊ）をすべて加算した合計値Ｃ（ｋ，ｌ）を計算する（Ｓ３０９）。計算したＣ（ｋ，ｌ）がマッチングブロック静止画判定閾値ｔｈｒｅｓｈよりも大きいかどうかを判定する（Ｓ３１０）。ここでマッチングブロック座標（ｋ，ｌ）の静止画／動画判定情報をα（ｋ，ｌ）とする。次に、Ｃ（ｋ，ｌ）がｔｈｒｅｓｈよりも大きければ、α（ｋ，ｌ）を１とし（Ｓ３１１）、ｔｈｒｅｓｈ以下ならばα（ｋ，ｌ）を０とする（Ｓ３１２）。そして静止画／動画判定部３は、最終的に求めたα（ｋ，ｌ）をフレーム静動メモリ４に対して出力する（Ｓ３１３）。
【００２１】
静止画／動画判定部３は、すべてのマッチングブロックに対して、静止画／動画判定を行ったかどうかを確認し（Ｓ３１４）、行っていない場合はマッチングブロックの座標をカウントアップする（Ｓ３１５）。すべてのマッチングブロックの静止画／動画判定処理が終了したら終了となる。
【００２２】
図３に、「Ａ」という文字が画面の右から左に移動した場合の静止画／動画判定処理を示す。
【００２３】
図３（ａ１）〜（ａ４）に、「Ａ」という文字が画面の右から左に移動している状態を示す。図３（ｂ１）から（ｂ４）に、図３（ａ１）〜（ａ４）の映像をマッチングブロックに分割した状態に示す。図３（ｃ１）から（ｃ４）に、マッチングブロックごとに静止画／動画判定処理を行った結果を示す。
【００２４】
図３において、（ｂ１）フレームと（ｂ２）フレームのフレーム差分情報から得られた結果を（ｃ２）フレームとしている。同様に、（ｂ２）フレームと（ｂ３）フレームから（ｃ３）フレームを求める。例えば、（ｂ２）フレームと（ｂ３）フレームを比較して、「Ａ」と言う文字が、出現あるいは消滅したマッチングブロックを動画と判定し（以下、動画ブロック）、変化のないマッチングブロックを静止画と判定する（以下、静止画ブロックという）。静止画ブロックは白で塗りつぶされた枠３１１で示され、動画ブロックは斜線枠３１２で示される。また、１画面内で同様の枠で表示された箇所は同じ意味を示す。
【００２５】
なお、本発明における静止画／動画の判定方法は一例に過ぎず、これに限られず、他の判定方法であってもよい。
【００２６】
図１に示すように、本発明に係る画像処理装置は、フレーム静動メモリ４と、探索中心決定部５と、拡大ベクトル算出部６とを備えている。
【００２７】
フレーム静動メモリ４は、静止画／動画判定部３で判定したマッチングブロックごとの静止画／動画判定情報αを保存する。ここでは入力されるαを逐次保存し、複数フレーム分のデータを保存できる。
【００２８】
探索中心決定部５は、動きベクトルを探索する基準ブロック（以下、基準マッチングブロック）の座標を決定し、その情報を拡大ベクトル算出部６、探索範囲設定部７、動きベクトル計算部８、動き補償部１０に出力する。
【００２９】
基準マッチングブロックの座標は静止画／動画判定部３と同様の座標軸をとり、その座標を（ｍ，ｎ）とする。座標を出力する順番としては１フレーム映像の左上を（０，０）とし、右に向かって（１，０）、（２，０）とカウントアップし、右までカウントアップしたら１段下にずれ（１，１）、（１，２）とカウントアップしていき、（ｋｍａｘ−１、ｌｍａｘ−１）までカウントアップする。
【００３０】
拡大ベクトル算出部６は、探索中心決定部５からの基準マッチングベクトルの座標（ｍ，ｎ）、フレームベクトルメモリ９からの１フレーム前の動きベクトル情報ｖｏｌｄ（ｍ，ｎ）から探索範囲拡大方向ベクトルｖｓｕｂ（ｍ，ｎ）を算出し、探索範囲設定部７に出力する。探索範囲拡大方向ベクトルｖｓｕｂは、探索範囲設定部７で探索範囲を拡大する方向を決める拡大ベクトル情報である。
【００３１】
図４Ａに、拡大ベクトル算出部６による探索範囲拡大方向ベクトルｖｓｕｂを算出するフローチャートを示す。
まず、拡大ベクトル算出部６は、ｖｏｌｄ（ｍ，ｎ）ベクトルの、横方向の大きさεｘと縦方向の大きさεＹを求める（Ｓ６０１）。次に、拡大ベクトル算出部６は、εｘの絶対値がベクトル大きさ判定閾値ξ以下かどうかを判定する（Ｓ６０２）。εｘがξより大きいならば、εｘが正か負かを判定する（Ｓ６０３）。正ならばεｘを−βと置き換え（Ｓ６０５）、負ならばβと置き換える（Ｓ６０６）。
【００３２】
βは基準マッチングブロックの映像が、前のフレームにおけるどのマッチングブロックに存在していたかを示す動きベクトルｖｏｌｄ（ｍ，ｎ）を、縦及び横成分の大きさに分解した場合に、この大きさを一定にそろえるために置き換えるベクトル量である。ベクトルの大きさは数ブロックの大きさを示す量である。拡大ベクトル算出部６は、εｘ、εＹの大きさをβに統一する。これによって探索範囲を拡大する方向を８方向にまとめることができ、探索範囲設定部７において探索範囲を拡大する処理の規模を小さくすることができる。またεｘとεＹは元のベクトル方向に対して、逆向きとなるように置き換える。これは動きベクトル計算部８では現在のフレームから過去のフレームを参照して動きベクトルを算出するために、１フレーム前の基準マッチングブロックの動きベクトル方向と、探索範囲の拡大方向が逆になるためである。
【００３３】
次に、拡大ベクトル算出部６は、εＹの絶対値がξ以下かどうかを判定する（Ｓ６０７）。εＹがξより大きいならば、εＹが正か負かを判定する（Ｓ６０９）。正ならばεｙを−βと置き換え（Ｓ６１０）、負ならばβと置き換える（Ｓ６１１）。εＹの絶対値がξ以下の場合、εｙを０とする（Ｓ６１２）。
【００３４】
また、拡大ベクトル算出部６は、εｘがξ以下ならば、εＹの絶対値がξ以下かどうかを判定する（Ｓ６０８）。εＹがξより大きいならば、εＹが正か負かを判定する（Ｓ６１３）。正ならばεｙを−βと置き換え（Ｓ６１４）、負ならばβと置き換える（Ｓ６１５）。ステップＳ６０８においてεＹの絶対値がξ以下の場合、基準マッチングブロックの座標に応じたεｘとεＹを図４Ｂのテーブルより求める（Ｓ６１６）。
【００３５】
拡大ベクトル算出部６は、最終的に求めたεｘとεＹをｖｓｕｂ（ｍ，ｎ）のｘ方向成分、ｖ方向成分の動きベクトルのベクトル量（すなわち、拡大ベクトル情報）として、探索範囲設定部７に出力する（Ｓ６１７）。
【００３６】
ｖｏｌｄ（ｍ，ｎ）から判定を行い、基準マッチングブロックが前のフレームにおいて動いていたという情報がある場合は、そのまま探索範囲をその方向に対して拡大するｖｓｕｂ（ｍ，ｎ）を設定する。前のフレームの動き情報が小さければ基準マッチングブロックの映像情報が突然現れたと判断し、基準マッチングブロックの座標に応じたｖｓｕｂを設定することを行う。
【００３７】
探索範囲設定部７は、拡大ベクトル算出部６から出力されるｖｓｕｂ（ｍ，ｎ）と、探索中心決定部６からの基準マッチングベクトルの座標（ｍ，ｎ）、フレーム静動メモリ４からのマッチングベクトルの静止画／動画判定情報を元に、動きベクトルを探索する探索範囲を設定する。
【００３８】
図５に、探索範囲設定部７による探索範囲を設定するフローチャートを示す。図６は、探索範囲を設定する場合の模式図である。
【００３９】
まず、探索範囲設定部７は、座標（ｍ，ｎ）の基準マッチングブロックの初期探索範囲を設定する（Ｓ７０１）。図６（ａ）に初期探索範囲を設定する模式図を示す。この図６（ａ）は基準マッチングブロック７２１を中心として、その周囲に５×５の黒枠で囲われた初期探索範囲７２２を設定した場合を示す。
【００４０】
次に、探索範囲設定部７は、ｖｓｕｂ（ｍ，ｎ）から探索範囲の拡大方向を求めるベクトルγｘ、γｙを算出する（Ｓ７０２）。次にγｘ、γｙの大きさに応じて、基準万チン具ブロック７２１の周囲における静止画と判定された個数Ｓｐを検出する処理を行う。まずγｘが０かどうかを判定する（Ｓ７０３）。γｘ＝０の場合には、初期探索範囲内の所定の１列を一つの集合として、１列ごとのＳｐを算出する（Ｓ７０５）。図６（ｂ）に１列を所定の一つの集合としてＳｐを算出する範囲７２３を示した模式図を示す。
【００４１】
静止画と判定された個数Ｓｐは、例えば、探索範囲が５×５のマッチングブロックで構成される場合、行単位及び列単位で検出した場合ではｐは１から５の値をとり、斜め方向単位で検出した場合ではｐは１から９までの値をとる。図６（ｆ）に１行を一つの集合としてＳｐを算出する範囲７２８を示した模式図、図６（ｇ）に斜め方向を一つの集合としてＳｐを算出する範囲７２９を示した模式図を示す。
【００４２】
ステップＳ７０３において、探索範囲設定部７は、γｘ＝０でない場合には、γＹが０かどうかを判定する（Ｓ７０４）。探索範囲設定部７は、γＹ＝０の場合には行を一つの集合として行単位でＳｐを検出する（Ｓ７０６）。探索範囲設定部７は、γＹ＝０でない場合には、斜め方向を一つの集合として、斜め方向単位でＳｐを検出する（Ｓ７０７）。
【００４３】
次に、探索範囲設定部７は、εｘ、εＹで示されるベクトル方向に従って、Ｓｐに応じた個数分だけ周囲に探索範囲を拡大して設定する（Ｓ７０８）。図６（ｃ）に右横方向に探索範囲を拡大した場合の模式図を示す。初期探索範囲７２２の中で動画と判定されたマッチングブロック（以後、動画マッチングブロックと称する）を斜線で囲われたブロック７２４で示す。白で塗りつぶされているマッチングブロック７２７を静止画と判定されたマッチングブロック（以後、静止画マッチングブロック）として示す。
【００４４】
図６（ｃ）の場合、初期探索範囲７２２のＳｐを求めると、Ｓ１＝５、Ｓ２＝３、Ｓ３＝３、Ｓ４＝２、Ｓ５＝５となる。このＳｐに従って、探索範囲を右に拡大したエリアを拡大探索エリア７２５で示す。また、拡大探索エリア７２５の中で、探索を行う探索拡大マッチングブロック７２６を黒で塗りつぶされている枠のエリアとして示す。
【００４５】
図６（ｃ）は、横方向の拡大を行った場合の例を示したが、図６（ｄ）に縦方向（下方向）に探索範囲を拡大した場合の模式図を示す。図（ｅ）に、斜め方向（右下）に探索範囲を拡大した場合の模式図を示す。得られた拡大探索エリア情報及び探索拡大マッチングブロック情報が動きベクトル計算部８に出力される。
【００４６】
このように探索範囲を拡大することによって、例えば文字がスクロールする場合において、出現した位置に応じたスクロール方向に対する探索範囲を設定することができ、より正確な探索範囲を設定できるようになる。図７に、図３（ａ１）〜（ａ４）に示したように「Ａ」という文字が右から左に移動している場合において、図３（ｃ３）のフレームにおいて、探索範囲の拡大を示す。
【００４７】
図７（ａ）で、基準マッチングブロックに対して初期探索範囲７２２を設定し、その中でＳｐを行単位で検出する。次に、各行ごとに検出したＳｐの個数に応じて探索拡大エリア７２５を設定する。図７（ｂ）に、探索拡大エリアを設定する模式図を示す。また、図７（ｃ）に、探索を行う探索拡大マッチングブロック７２６を示す。
【００４８】
このように処理を行う事で、図７（ａ）に示す初期探索エリアでは次に「Ａ」という文字が次に移動したエリアまで基準マッチングブロックの探索範囲が広がらない。従って、正しい動きベクトルを検出できない。しかし、本発明によって探索範囲の拡大を行うと、図７（ｃ）に示すように、基準マッチングブロックに対して、「Ａ」という文字が移動した先まで探索範囲が広がる。従って、正しい動きベクトルを計算できるようになる。また、基本探索処理を行うマッチングブロック数及びマッチングブロックサイズを変えずに探索範囲を広くすることができるため、より正確な動きベクトル探索範囲を設定できる。
【００４９】
さらに、図１に示すように、本発明に係る画像処理装置は、動きベクトル計算部８と、フレームベクトルメモリ９と、動き補償部１０とを備えている。
【００５０】
動きベクトル計算部８は、探索中心決定部５からの基準マッチング座標情報（ｍ，ｎ）、フレームデータメモリより出力される映像データ、探索範囲設定部７からの拡大探索エリア情報、及び探索拡大マッチングブロック情報より、基準マッチングブロックの動きベクトルを算出する。ここでは、基準マッチングブロックと拡大探索エリア内の探索拡大マッチングブロックとの差分絶対値和（sum of absolute difference：以下ＳＡＤと称する）を計算し、この値が最小値となるものから動きベクトルを求める。算出した動きベクトル情報はフレームベクトルメモリ９及び動き補償部１０に出力される。
【００５１】
第１実施形態ではＳＡＤを用いるが、ブロックマッチングによる動きベクトルの算出はこれ以外の方法を適応してもかまわない。
【００５２】
フレームベクトルメモリ９では動きベクトル計算部８から出力される基準マッチングブロックごとの動きベクトル情報を複数フレームにわたって保存する。
【００５３】
動き補償部１０では、フレームデータメモリ１から出力される６０Ｈｚの映像信号、探索中心決定部５からの基準マッチングベクトルの座標情報（ｍ，ｎ）、及び動きベクトル計算部８からの動きベクトル情報に基づいて、補間フレーム画像（１２０Ｈｚ）を生成する。
【００５４】
図８に、動き補償部１０による補間フレームを生成する処理の模式図を示す。
図８（ａ１）、（ａ２）は、６０Ｈｚで入力された連続の映像信号を示す。動き補償部１０は、動きベクトル計算部８の処理において得られる動きベクトルから、図８（ａ１）、（ａ２）の中間フレームである図８（ａ３）のフレーム画像を生成する。
【００５５】
第１実施形態によれば、以下の効果を奏する。
補間フレーム画像の生成をブロックマッチング法により行う場合、探索範囲内に静止画と判定されたブロックがあるとき、そのブロックに対して相関計算処理をせず、動画と判定されたブロックの数に応じて探索範囲を拡大することによって、ブロックのサイズを維持したまま、限られたリソース内でより精度の高い探索を実現できる。
【００５６】
探索範囲を拡大して動きベクトルを算出し、またブロックのサイズを維持するため、ハードウェアの増加を伴うことなく、より精度の高い動きベクトルの算出を行うことができる。
【００５７】
＜第２実施形態＞
第１実施形態は、動きベクトルの探索範囲を拡大する情報を得るために、入力される信号から静止画／動画判定を行って、静止画マッチングブロックの相関を計算する処理を行わず、探索範囲を拡大するものであった。第２実施形態では、第１実施形態の処理を表示制御装置に適応し、探索範囲の改善を行う。
【００５８】
図９に、第２実施形態である画像処理装置のブロック図を示す。画像処理装置は、表示制御装置１０００と、画像表示装置１００１とから構成される。表示制御装置１０００は、本発明に係る倍速フレーム生成部１１を備えている。
【００５９】
表示制御装置１０００は、映像を受信するチューナー部１３と、インターレース信号をプログレッシブ信号に変換するＩ／Ｐ変換部１２と、倍速フレーム生成部１１とから構成される。画像表示装置１００１は、入力映像信号から表示パネルを駆動する信号を生成する駆動制御部１４と、入力信号を表示する表示パネル１５とから構成される。
【００６０】
図１０に、表示制御装置１０００における倍速フレーム生成部１１のブロック図を示す。
【００６１】
倍速フレーム生成部１１は、フレームデータメモリ１と、画面分割部２と、フレーム静動メモリ４と、探索中心決定部５と、拡大ベクトル算出部６と、探索範囲設定部７と、動きベクトル計算部８と、フレームベクトルメモリ９と、動き補償部１０とから構成される。
【００６２】
続いて、倍速フレーム生成部１１の動作を説明する。Ｉ／Ｐ変換部１２が第１実施形態で説明した静止画／動画判定部３と同様の処理をおこない、その結果をフレーム静動メモリ４に出力する。フレーム静動メモリ４は、入力される静動情報信号を複数フレームにわたって保存する。このフレーム静動メモリ４以外の処理は実施例１で説明を行った内容と同様の処理を行い、６０Ｈｚの入力映像信号から１２０Ｈｚの補間フレーム画像の生成を行う。
【００６３】
このように、表示制御装置１０００の内部に倍速フレーム生成部１１を設けることによって、本発明を表示制御装置に適応することが可能となる。
【００６４】
第２実施形態によれば、第1実施形態と同様の効果に加え、Ｉ／Ｐ変換部１２で生成される静止画／動画判定情報を共有化することができるようになり、表示制御装置として最適化した規模で実現できるという効果を奏する。
【図面の簡単な説明】
【００６５】
【図１】第１実施形態における画像処理装置を構成する倍速フレーム生成制御部のブロック図である。
【図２】静止画／動画判定部で静止画／動画判定を行うフローチャートである。
【図３】静止画／動画判定部で静止画／動画判定を行う模式図である。
【図４Ａ】拡大ベクトル算出部で基準ブロックを用いて探索範囲拡大方向ベクトルを算出するフローチャートである。
【図４Ｂ】探索範囲設定部で基準ブロックの動きベクトルの成分を求めるテーブルである。
【図５】探索範囲設定部により探索範囲を設定するフローチャートである。
【図６】探索範囲設定部による探索範囲の設定例を示す模式図である。
【図７】探索範囲設定部による探索範囲の設定例を示す模式図である。
【図８】動き補償部による補間フレーム生成処理の模式図である。
【図９】第２実施形態である画像表示装置のブロック図である
【図１０】倍速フレーム生成部を構成するブロック図である。
【符号の説明】
【００６６】
１  フレームデータメモリ
２  画面分割部
３  静止画／動画判定部
４  フレーム静動メモリ
５  探索中心決定部
６  拡大ベクトル算出部
７  探索範囲設定部
８  動きベクトル計算部
９  フレームベクトルメモリ
１０  動き補償部
１１  倍速フレーム生成部
１２  Ｉ／Ｐ変換部
１３  チューナー部
１４  駆動制御部
１５  表示パネル
１０００  表示制御装置
１００１  画像表示装置
【図１】
2010016568.tif 000003
【図２】
2010016568.tif 000004
【図３】
2010016568.tif 000005
【図４Ａ】
2010016568.tif 000006
【図４Ｂ】
2010016568.tif 000007
【図５】
2010016568.tif 000008
【図６】
2010016568.tif 000009
【図７】
2010016568.tif 000010
【図８】
2010016568.tif 000011
【図９】
2010016568.tif 000012
【図１０】
2010016568.tif 000013