(57)【要約】【課題】  画像のブロックマッチングにおける探索範囲境界でより精度の高いベクトルを検出する技術を提供する。【解決手段】  入力動画の第１の画像を保持するフレームメモリと、前記フレームメモリに保持された第１の画像から大小２つの大きさの異なるブロックの動きベクトルを検出して出力し、また小ブロックのベクトル候補を検出してこれら前記ベクトル候補のベクトル情報を出力する動きベクトル探索部と、前記動きベクトル探索部から出力された前記小ブロックのベクトル候補のベクトル情報から探索範囲境界ベクトルを検出する探索範囲境界ベクトル検出部と、前記動きベクトル探索部の大小の２つのブロックの動きベクトルの出力の何れか一方を前記探索範囲境界ベクトルの検出結果に基づいて選択するベクトル選択部と、選択された動きベクトルを用いて補間フレームを作成する補間フレーム作成部とを備えたことを特徴とする補間画像生成装置。【選択図】      図１
2010098513.tif 000002
【特許請求の範囲】
【請求項１】
入力動画の第１の画像と第２の画像の間の補間画像を生成する補間画像生成装置において、
前記第１の画像を保持するフレームメモリと、
前記フレームメモリに保持された第１の画像から大小２つの大きさの異なるブロックの動きベクトルを検出して出力し、また小ブロックのベクトル候補を検出してこれら前記ベクトル候補のベクトル情報を出力する動きベクトル探索部と、
前記動きベクトル探索部から出力された前記小ブロックのベクトル候補のベクトル情報から探索範囲境界ベクトルを検出する探索範囲境界ベクトル検出部と、
前記動きベクトル探索部の大小の２つのブロックの動きベクトルの出力の何れか一方を前記探索範囲境界ベクトルの検出結果に基づいて選択するベクトル選択部と、
選択された動きベクトルを用いて補間フレームを作成する補間フレーム作成部とを
備えたことを特徴とする補間画像生成装置。
【請求項２】
前記ベクトル候補が単数であるときには前記ベクトル選択部は小ブロックの動きベクトルの出力を選択することを特徴とする請求項１に記載の補間画像生成装置。
【請求項３】
前記ベクトル情報はSAD値を含むことを特徴とする請求項１に記載の補間画像生成装置。
【請求項４】
前記ベクトル候補が無いときには前記ベクトル選択部は大ブロックの動きベクトルの出力を選択することを特徴とする請求項１に記載の補間画像生成装置。
【請求項５】
前記補間フレーム作成部の出力を入力し動画として表示するパネルを更に備えたことを特徴とする請求項１に記載の補間画像生成装置。
【請求項６】
入力動画の第１の画像と第２の画像の間の補間画像を生成する補間画像生成方法であって、
前記第１の画像から大小２つの大きさの異なるブロックの動きベクトルを検出して出力し、また小ブロックのベクトル候補を検出してこれら前記ベクトル候補のベクトル情報を出力する動きベクトル探索工程と、
前記動きベクトル探索工程で出力された前記小ブロックのベクトル候補のベクトル情報から探索範囲境界ベクトルを検出する探索範囲境界ベクトル検出工程と、
前記動きベクトル探索工程での大小の２つのブロックの動きベクトルの出力の何れか一方を前記探索範囲境界ベクトルの検出結果に基づいて選択するベクトル選択工程と、
選択された動きベクトルを用いて補間フレームを作成する補間フレーム作成工程とを
含むことを特徴とする補間画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム補間回路、フレーム補間方法、表示装置に関する。
【背景技術】
【０００２】
液晶表示装置（ＬＣＤ）に動画像を表示する場合、ＬＣＤは例えば６０フレーム／秒のレートでフレーム画像（以下単にフレームと記載する）を表示する。このフレームは例えば６０フィールド／秒のインターレースを処理して得られる順次走査信号である。つまりＬＣＤは、１フレームを１／６０秒間表示し続ける。
【０００３】
ＬＣＤに表示されたこのような映像を視聴する場合、人の目には１フレーム前の画像が残像として残る。このため、映像中の動いている物体がボケて見えるか、物体の動きが不自然に見えることがある。このような現象は、大画面になるほど顕著に表れる。
【０００４】
動画像のこのようなボケを防止するために、連続する２つのフレームの間に、補間フレームを挿入して動画像を表示する方法が知られている（特許文献１）。この方法では、前フレーム及び後フレームの２枚ないしそれ以上の入力フレーム間で、フレームを構成する画像ブロックのマッチングを行うことにより、各ブロックの動きベクトル（物体の動いた方向及び距離）が検出される。各ブロックの動きベクトルを用いて、入力フレーム間に位置する新たな補間フレームが作成される。補間フレームを２枚の入力フレーム間に挿入することにより、フレーム数を増加して動画像を表示する。
【０００５】
上記ブロックマッチングとは、あるフレームにおける所定サイズの画像ブロックが、後のフレーム中のどの画像ブロックに一致するかを検出する方法である。前フレーム中の画像ブロックと、後フレーム中のいずれかの画像ブロックとで、互いに対応する画素間の差分を計算し、これを累積した値(ＳＡＤ:Sum of Absolute Difference)が最小となる後フレーム中画像ブロックが、前フレーム中画像ブロックに最も類似する画像ブロックとして検出される。前フレームと後フレームで、最も類似する画像ブロックの位置の差が、動きベクトルとして検出される。
【０００６】
このブロックのサイズを変える工夫もなされている。例えば補間フレームを作成するための動きベクトルの検出において、周期的なパターンを含んでいる画像に対して、動きベクトルの検出精度を以下のように向上するというものがある。
【０００７】
即ち解決手段として、互いに大きさの異なる２つのブロックを用いた動き検出処理を行い、通常時には小さいブロックで検出した動きベクトルを採用する。小さいブロックでのベクトル検出時に、信頼し得る動きベクトルの候補が複数見つかった場合、大きいブロックを用いて検出されたベクトルを参照し、小ブロックにおいて検出された動きベクトルの中から、大ブロックで検出された動きベクトルに最も近いものを、補間フレーム作成に用いる当該ブロックの動きベクトルとして採用する（特許文献２）。
【０００８】
上記は目的に対して有効であるが、他方で別の問題点として、入力信号に探索範囲境界付近や探索範囲超過の動きがある場合、ベクトル検出時にベクトルの誤検出が発生するということがあり、この問題点に対処する技術は開示されていない。
【特許文献１】特開２００５−６２７５号公報
【特許文献２】特開２００８−３５４０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、画像のブロックマッチングにおける探索範囲境界でより精度の高いベクトルを検出する技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の補間画像生成装置は、入力動画の第１の画像と第２の画像の間の補間画像を生成する補間画像生成装置において、前記第１の画像を保持するフレームメモリと、前記フレームメモリに保持された第１の画像から大小２つの大きさの異なるブロックの動きベクトルを検出して出力し、また小ブロックのベクトル候補を検出してこれら前記ベクトル候補のベクトル情報を出力する動きベクトル探索部と、前記動きベクトル探索部から出力された前記小ブロックのベクトル候補のベクトル情報から探索範囲境界ベクトルを検出する探索範囲境界ベクトル検出部と、前記動きベクトル探索部の大小の２つのブロックの動きベクトルの出力の何れか一方を前記探索範囲境界ベクトルの検出結果に基づいて選択するベクトル選択部と、かく選択された動きベクトルを用いて補間フレームを作成する補間フレーム作成部とを備えたことを特徴とする。
【発明の効果】
【００１１】
本発明によれば画像のブロックマッチングにおける探索範囲境界でより精度の高いベクトルを検出する技術が得られる。
【発明を実施するための最良の形態】
【００１２】
本発明による実施形態を図１乃至図８を参照して説明する。
図１は本発明による補間フレーム作成装置１の実施形態を示すブロック図である。
入力画像信号６０フレーム/秒より補間フレームの前後のフレームから動きベクトル探索部３で大小２つの動きベクトルを検出して出力する。また、この動きベクトル探索部３では小さいブロックのベクトル候補のベクトル情報(ベクトル値、相関値例えばSAD値)を検出し、本実施形態の特徴である探索範囲境界ベクトル検出部４へ出力する。探索範囲境界ベクトル検出部４は、探索範囲境界ベクトルを検出し、動きベクトル探索部３はこの信号をもとに最適なベクトルを選択して、ベクトルを補間フレーム生成部５へ出力するよう構成されている。補間フレーム生成部５はこのベクトルをもとにフレームメモリ２を用いて補間フレームを生成して出力画像信号１２０フレーム/秒でパネル７へ出力する。制御部６は以上の各構成要素の制御を司る。
【００１３】
次に、ブロックマッチング処理の方式について説明する。図２はブロックマッチング処理を示す図である。
ブロックマッチングを用いた動きベクトルの検出方法としては、前フレーム内画像ブロックを、後フレーム内で単にシフトしてＳＡＤを求める方法の他に、図２のように、点対象の位置にある画像ブロックどうしのブロックマッチング処理を介して動きベクトルを求める方法がある。
【００１４】
すなわち図２の方法では、補間フレーム２１内の補間画像ブロック４１の挿入位置を中心として、それを挟む前フレーム２０上及び後フレーム２２上で点対象の位置にある画像ブロックどうしを画素毎に比較してＳＡＤを算出する。最も類似している（ＳＡＤが最も小さい）画像ブロックどうしを結ぶベクトルを動きベクトルと決定する。この比較は、前フレーム２０中の所定探索範囲４０及び後フレーム２２内の対応する探索範囲４２において行われる。
【００１５】
互いに最も類似している画像ブロックの組み合わせが、例えば画像ブロック４３と画像ブロック４４であった場合、画像ブロック４３から画像ブロック４４までのベクトルが、補間画像ブロック４１の動きベクトルとして決定される。この動きベクトルと、互いに最も類似している画像ブロック４３及び４４の画像データに基づいて、補間フレーム２１内の補間画像ブロック４１が作成される。
【００１６】
なお相関の大小の基準となる相関値としては、絶対値差分和（Sum of Absolute Difference： ＳＡＤ）、高相関画素に対応する一致画素数和（Sum of Agreement Pixels： ＳＡＰ）等が考えられる。ＳＡＤは、以下の式により求めることができる。
【００１７】
【数１】
2010098513.tif 000003
【００１８】
ここでｘはフレームにおける画素の位置、Ｂはブロック内画素位置の集合、Ｎはフレーム数、ｄは動きベクトルを表し、ｆ（ｘ，Ｎ）は、対象画素の輝度成分を表している。すなわち（１）式においてＳＡＤが最小となるｄがＮフレームからＮ−１フレームへの動きベクトルＭＶとなり、ＭＶが示す先のブロックが候補補間ブロックとなる。また、ＳＡＰは以下の式により求めることができる。
【００１９】
【数２】
2010098513.tif 000004
【００２０】
（２）、（３）式は、ブロック内の輝度成分の絶対値差分が閾値Ｔｈより小さい画素数を求めている。すなわち（２）、（３）式においてＳＡＰが最大となるｄがＮフレームからＮ−１フレームへの動きベクトルＭＶとなり、ＭＶが示す先のブロックが候補補間ブロックとなる。ＳＡＰではＳＡＤとは反対に値が大きいほうが相関が高い。
【００２１】
図３は本発明による動きベクトル探索部３と探索範囲境界ベクトル検出部４の実施形態を示すブロック構成図である。
動きベクトル探索部３は、小さなブロックベクトルの検出をして出力する小ブロックベクトル検出部３１と、大きなブロックのベクトルの検出をして出力する大ブロックベクトル検出部３２と、本実施形態の特徴である小さなブロックのベクトル候補の検出とベクトル候補のベクトル情報（ベクトル値とSAD値）を求める小ブロックベクトル候補検出部３３と、ベクトル選択部３４とにより構成される。また加えて小ブロックベクトル候補検出部３３より求めたベクトル情報から探索範囲境界ベクトルを検出する探索範囲境界ベクトル検出部４がある。なお、ベクトル選択部３４は動きベクトル探索部３の外部に有ってもよい。
【００２２】
次に、画像ブロックのサイズ及び動きベクトルの探索範囲について説明する。
図４は小ブロックのサイズ及びその探索範囲の具体例を示し、図５は大ブロックのサイズ及びその探索範囲の具体例を示す。これらブロック及び探索範囲は、図２に示したブロックマッチング処理に適用することができる。説明を簡単にするため、主に水平方向のブロックマッチング処理について述べる。
【００２３】
図４において、ＳＢは小ブロック、ＳＳＲは小ブロックＳＢの探索範囲である。小ブロックＳＢのサイズは、例えば６４画素×２画素である。この小ブロックＳＢを前フレーム２０上では水平方向に−１２画素〜＋１２画素、垂直方向に−２画素〜＋２画素シフトする。同時にこの小ブロックＳＢを後フレーム２２上で水平方向に＋１２画素〜−１２画素、垂直方向に＋２画素〜−２画素シフトする。
【００２４】
つまり、補間フレーム２１上に挿入される補間画像ブロック４１（ここでは小ブロックＳＢに一致するサイズのブロック）を点対象の中心として、前フレーム２０上で小ブロックＳＢを例えば＋１２画素シフトした場合は、後フレーム２２上で小ブロックＳＢを−１２画素シフトする。両フレーム２０、２２で対応する画像ブロックどうしを、対応する画素単位で画素値を比較してＳＡＤを算出する。従って小ブロックＳＢを用いたブロックマッチングの場合、前フレーム２０上及び後フレーム２２上の探索範囲ＳＳＲは、ここでは共に８８画素×６画素である。後述の探索範囲境界近傍は、例えばＳＳＲ内で水平方向に絶対値９画素以上シフトした場合、水直方向に絶対値２画素シフトした場合といった定義が可能である。
【００２５】
図５のように大ブロックＬＢのサイズは、例えば６４０画素×４画素である。この大ブロックＬＢを小ブロックＳＢと同様に、前フレーム２０上では水平方向に−１２画素〜＋１２画素、垂直方向に−２画素〜＋２画素シフトする。同時にこの大ブロックＬＢを後フレーム２２上で水平方向に＋１２画素〜−１２画素、垂直方向に＋２画素〜−２画素シフトする。
【００２６】
つまり、補間フレーム２１上に挿入される補間画像ブロック４１（ここでは大ブロックＬＢに対応するサイズのブロック）を点対象の中心として、前フレーム２０上で大ブロックＬＢを例えば＋１２画素シフトした場合は、後フレーム２２上で大ブロックＬＢを−１２画素シフトして、両フレーム２０、２２で対応する画像ブロックどうしを、対応する画素単位で画素値を比較してＳＡＤを算出する。従って大ブロックを用いたブロックマッチングの場合、前フレーム２０上及び後フレーム２２上の探索範囲ＬＳＲは、ここでは共に６６４画素×８画素である。
【００２７】
図６は本実施例の動きベクトル検出部の小ブロックベクトル候補検出のベクトル候補のベクトル値とSAD値の関係図である。これらのベクトル候補のベクトル値とSAD値からなるベクトル情報は探索範囲境界ベクトル検出部へ出力される。この例ではベクトル候補１のベクトル値V1とSAD値SAD(V1), SAD値が最小のベクトル候補２のベクトル値V2,SAD値SAD(V2)が探索範囲検出ベクトル検出部へ出力される。探索範囲検出ベクトル部はΔSAD(V1,V2)=|SAD(V1)-SAD(V2)|がある閾値THR_SADより小さく、かつ、２つのベクトルの距離D(V1,V2)=|V1-V2|がある閾値THR_Dより大きく、これらのベクトルの候補が探索範囲境界近傍に位置している場合に探索範囲境界の動きベクトルであると判断して検出する。
【００２８】
図７（ａ）は図６の図に対して横軸に水平ベクトル、縦軸に垂直ベクトルの探索範囲上にベクトルの候補と、本来の動きベクトルをプロットした図である。図７（ｂ）は図７（ａ）と同様に大ブロックのベクトルと本来の動きベクトルをプロットした図である。
【００２９】
従来方式では小ブロックのSADの最小値であるベクトルV2によって補間フレームが生成される。しかし、この図７（ａ）からわかるように、V2は本来の動きベクトルと比較すると逆方向のベクトルであるので誤検出ベクトルで補間フレームが生成される。
【００３０】
探索範囲境界の検出がされた場合には本実施形態において図７（ｂ）の大ブロックのベクトルV3をベクトル選択部で判断することにより、本来の動きベクトルに近いV3 によってベクトルの補正が可能となり、本来のベクトルと同方向のベクトルによって補間フレームを生成することが可能となる。
【００３１】
図８は本実施形態のフローチャートである。まず小ブロックベクトル候補検出部３３より求めたベクトル候補が単数の場合（ステップＳ２１のいいえ）、その小ブロックベクトルを出力する（ステップＳ２４）。尚、ベクトル候補が無い場合は大ブロックベクトルが有ればその大ブロックベクトルを出力する。
【００３２】
ベクトル候補が複数の場合（ステップＳ２１のはい）、これら全てのベクトルの候補が探索範囲境界近傍に位置している場合で且つSAD値が最小のベクトル候補とのΔSADがある閾値THR_SADより小さいベクトル候補が無ければ（ステップＳ２２のいいえ）、そのSAD値が最小の小ブロックベクトルを出力する（ステップＳ２４）。
【００３３】
また上記ベクトル候補が有れば（ステップＳ２２のはい）、探索範囲境界ベクトル検出部４は探索範囲境界の動きベクトルが検出されたと判定して大ブロックベクトルを出力する（ステップＳ２３）。ステップＳ２３またはステップＳ２４のあと、ステップＳ２５ですべての小ブロックに対して処理を完了したか判定し、完了していなければステップＳ２１に戻り、完了していれば処理を終了する。
【００３４】
尚、本実施形態では、小ブロックを用いた動きベクトル候補検出前に、大ブロックを用いた動きベクトル検出がされていることが解りやすい処理形態であるが、このような動きベクトル検出を並列、または逆に直列に行ってもよい。
【００３５】
すなわち、小ブロックを用いて動きベクト候補検出を行い、探索範囲境界の動きベクトルの検出判定後に、大ブロックを用いて動きベクトル検出を行い、大ブロックベクトルを出力してもよい。直列処理は並列処理より回路規模を縮小することができる。
【００３６】
以上、本実施形態における改善方法として、入力信号に対して探索範囲境界付近や探索範囲超過の動きの検出を行い、最適なベクトルを選択して補間フレームを作成する。
【００３７】
効果としてベクトル候補検出部では逆方向動きベクトルの検出に係わるような探索範囲境界付近や探索範囲超過の動きがある場合でも、探索範囲境界ベクトルの検出を行い最適なベクトルを選択することでより精度の高いベクトルを検出することができる。
【００３８】
上記のように、本実施形態により探索範囲境界ベクトル検出された場合には、大ブロックのベクトルで補正することによって、より精度の高いベクトルで補間することが可能となった。
【００３９】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。例えばベクトル選択部３４は、探索範囲境界ベクトル検出部４からの指示により出力を選択することが通常であるが、ベクトル候補が無い場合等の処理は小ブロックベクトル候補検出部３３からの指示により出力を選択するように構成してもよい。
【００４０】
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。
【図面の簡単な説明】
【００４１】
【図１】この発明の一実施形態を示すブロック構成図。
【図２】同実施形態のブロックマッチング処理を示す図。
【図３】同実施形態の要部の詳細を説明するために示すブロック構成図。
【図４】小ブロックのサイズ及びその探索範囲の具体例を示す図。
【図５】大ブロックのサイズ及びその探索範囲の具体例を示す図。
【図６】同実施形態の小ブロックベクトル候補検出のベクトル候補のベクトル値とSAD値の関係図。
【図７】同実施形態を説明するためのベクトルのプロット図。
【図８】同実施形態フローチャート図。
【符号の説明】
【００４２】
１…補間フレーム作成装置、２…フレームメモリ、３…動きベクトル探索部、４…探索範囲境界ベクトル検出部、５…補間フレーム生成部、６…制御部、７…パネル、３１…小ブロックベクトル検出部、３２…大ブロックベクトル検出部、３３…小ブロックベクトル候補検出部、３４…ベクトル選択部。
【図１】
2010098513.tif 000005
【図２】
2010098513.tif 000006
【図３】
2010098513.tif 000007
【図４】
2010098513.tif 000008
【図５】
2010098513.tif 000009
【図６】
2010098513.tif 000010
【図７】
2010098513.tif 000011
【図８】
2010098513.tif 000012