(57)【要約】【課題】可変長ブロックを用いたマッチング処理を行ないながら、使用するバッファ量の増大を抑制する補間フレーム生成装置及び補間フレーム生成方法を提供する。【解決手段】固定長第１ブロック（４０−１，…）に関してブロックマッチング処理を行い、これにより第２ブロック（４０’−１，…）のサイズを算出する第１演算部（２５）と、先の補間フレームの処理サイクルで算出したサイズの第２ブロックに関してブロックマッチング処理を行なう第２演算部（２４）と、第１ブロックのブロックマッチング処理で複数の動きベクトル候補が検出された場合は、先の補間フレームの処理サイクルで算出した第２ブロックの動きベクトルに基づいて複数の動きベクトル候補から一つを選択する第３演算部（２３）をもつ補間フレーム生成装置。【選択図】      図１
2009060377.tif 000002
【特許請求の範囲】
【請求項１】
連続するフレーム画像に挿入する補間フレーム画像を生成する補間フレーム生成装置であって、
前記連続するフレーム画像の間で、固定されたサイズをもつ第１ブロックに関してブロックマッチング処理を行い、この結果に基づいて、前記第１ブロックを連結した第２ブロックのサイズを算出する第１演算部と、
先の補間フレームの処理サイクルで前記第１演算部が算出した前記サイズに応じた第２ブロックに関して、前記連続するフレーム画像の間でブロックマッチング処理を行なって動きベクトルを算出する第２演算部と、
前記第１ブロックに関してブロックマッチング処理を行なった結果、一つの動きベクトルが検出された場合はこの動きベクトルを出力し、複数の動きベクトル候補が検出された場合は、先の補間フレームの処理サイクルで前記第２ブロックに関して得られた動きベクトルに基づいて前記複数の動きベクトル候補から一つの動きベクトル候補を選択して出力する第３演算部と、
前記第３演算部が出力した動きベクトルに基づいて、補間フレーム画像を生成する生成部と、を具備することを特徴とする補間フレーム生成装置。
【請求項２】
前記第１演算部が、前記第1ブロックを連結して前記第２ブロックとする基準は、前記第１ブロックに関してブロックマッチング処理を行なった結果、複数の動きベクトル候補が検出された場合であることを特徴とする請求項１記載の補間フレーム生成装置。
【請求項３】
前記第１演算部が、前記第１ブロックを連結して前記第２ブロックを生成する際の、連結の方向は、水平方向又は垂直方向の内の一方であることを特徴とする請求項１記載の補間フレーム生成装置。
【請求項４】
前記第１演算部が、前記第１ブロックを連結して前記第２ブロックを生成する際の、連結の方向は、水平方向と垂直方向の両方であることを特徴とする請求項１記載の補間フレーム生成装置。
【請求項５】
前記第１演算部は、複数の異なる前記第２ブロックのサイズを算出することを特徴とする請求項１記載の補間フレーム生成装置。
【請求項６】
前記第1演算部の演算結果と、前記第２演算部の演算結果と、前記第３演算部の演算結果の内の少なくとも二つの演算結果は、異なる補間フレームを生成するために用いられることを特徴とする請求項１記載の補間フレーム生成装置。
【請求項７】
連続するフレーム画像に挿入する補間フレーム画像を生成する補間フレーム生成装置であって、
ブロックマッチング処理の最小単位である第１ブロックよりも大きなサイズをもつ第２ブロックに関して、前記連続するフレーム画像の間でブロックマッチング処理を行なって動きベクトルを算出する第１演算部と、
前記第１ブロックに関してブロックマッチング処理を行なった結果、一つの動きベクトルが検出された場合はこの動きベクトルを出力し、複数の動きベクトル候補が検出された場合は、先の補間フレームの処理サイクルで前記第２ブロックに関して得られた動きベクトルに基づいて前記複数の動きベクトル候補から一つの動きベクトル候補を選択して出力する第２演算部と、
前記第２演算部が出力した動きベクトルに基づいて、補間フレーム画像を生成する生成部と、を具備することを特徴とする補間フレーム生成装置。
【請求項８】
連続するフレーム画像に挿入する補間フレーム画像を生成する補間フレーム生成方法であって、
前記連続するフレーム画像の間で固定されたサイズをもつ第１ブロックに関してブロックマッチング処理を行い、この結果に基づいて、前記第１ブロックを連結した第２ブロックのサイズを算出し、
先の補間フレームの処理サイクルで算出したサイズに応じた第２ブロックに関して、現在の補間フレームよりも前のフレームのフレーム画像の間でブロックマッチング処理を行なって動きベクトルを算出し、
フレーム画像の間で、前記第１ブロックに関してブロックマッチング処理を行い、この結果が一つの動きベクトルが検出された場合はこの動きベクトルを出力し、
複数の動きベクトル候補が検出された場合は、先の補間フレームの処理サイクルで前記第２ブロックに関して得られた動きベクトルに基づいて、前記複数の動きベクトル候補から一つの動きベクトル候補を選択して出力し、
前記出力した動きベクトルに基づいて、補間フレーム画像を生成することを特徴とする補間フレーム生成方法。
【請求項９】
前記第1ブロックを連結して前記第２ブロックとする基準は、前記第１ブロックに関してブロックマッチング処理を行なった結果、複数の動きベクトル候補が検出された場合であることを特徴とする請求項８記載の補間フレーム生成方法。
【請求項１０】
前記第1ブロックを連結して前記第２ブロックとする基準は、前記第１ブロックに関してブロックマッチング処理を行なった結果、複数の動きベクトル候補が検出された場合であることを特徴とする請求項８記載の補間フレーム生成方法。
【請求項１１】
前記第１ブロックを連結して前記第２ブロックを生成する際の連結の方向は、水平方向又は垂直方向の内の一方であることを特徴とする請求項８記載の補間フレーム生成方法。
【請求項１２】
前記第１ブロックを連結して前記第２ブロックを生成する際の連結の方向は、水平方向と垂直方向の両方であることを特徴とする請求項８記載の補間フレーム生成方法。
【請求項１３】
前記第1のブロックマッチング処理の結果と、前記第２のブロックマッチング処理の結果と、前記第３のブロックマッチング処理の結果の内の少なくとも二つの結果は、異なる補間フレームを生成するために用いられることを特徴とする請求項８記載の補間フレーム生成方法。
【請求項１４】
連続するフレーム画像に挿入する補間フレーム画像を生成する補間フレーム生成方法であって、
ブロックマッチング処理の最小単位である第１ブロックよりも大きなサイズをもつ第２ブロックに関して、前記連続するフレーム画像の間でブロックマッチング処理を行なって動きベクトルを算出し、
前記第１ブロックに関してブロックマッチング処理を行なった結果、一つの動きベクトルが検出された場合はこの動きベクトルを出力し、複数の動きベクトル候補が検出された場合は、先の補間フレームの処理サイクルで前記第２ブロックに関して得られた動きベクトルに基づいて前記複数の動きベクトル候補から一つの動きベクトル候補を選択し、
前記選択した動きベクトルに基づいて、補間フレーム画像を生成することを特徴とする補間フレーム生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数のフレーム画像の補間フレームを生成する補間フレーム生成装置であって、特に、可変長ブロックを用いたブロックマッチングを行なう際に計算手順を工夫した補間フレーム生成装置及び補間フレーム生成方法である。
【背景技術】
【０００２】
液晶表示装置（ＬＣＤ）に動画像を表示する場合、ＬＣＤは例えば６０フレーム／秒のレートでフレーム画像（以下単にフレームと記載する）を表示する。このフレームは例えば６０フィールド／秒のインターレースを処理して得られる順次走査信号である。つまりＬＣＤは、１フレームを１／６０秒間表示し続ける。
【０００３】
ＬＣＤに表示されたこのような映像を視聴する場合、人の目には１フレーム前の画像が残像として残る。このため、映像中の動いている物体がボケて見えるか、物体の動きが不自然に見えることがある。このような現象は、大画面になるほど顕著に表れる。
【０００４】
特許文献１は、動画像のこのようなボケを防止するために、連続する２つのフレームの間に、補間フレームを挿入して動画像を表示する方法を開示している。
【特許文献１】特開２００５−６２７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の従来技術は、固定長のブロックでブロックマッチングを行なうものであるため、周期的繰り返しパターンを含む画像に対しては、確実なマッチング処理が行なえない場合がある。
【０００６】
又、可変長のブロックを用いてブロックマッチングを行い、そのブロック長も同一補間フレームに対して演算で特定する手法をとると、演算の負荷が増えてしまい、必要なバッファ量が増大してしまう。
【０００７】
本発明は、可変長ブロックを用いたマッチング処理を行ないながら、バッファ量の増大を抑制する補間フレーム生成装置及び補間フレーム生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
課題を解決するための一実施形態は、
連続するフレーム画像（３１，３３）に挿入する補間フレーム画像（３２）を生成する補間フレーム生成装置であって、
前記連続するフレーム画像（３１，３３）の間で、固定されたサイズをもつ第１ブロック（４０−１，…）に関してブロックマッチング処理を行い、この結果に基づいて、前記第１ブロックを連結した第２ブロック（４０’−１，…）のサイズを算出する第１演算部（２５）と、
先の補間フレームの処理サイクルで前記第１演算部が算出した前記サイズに応じた第２ブロックに関して、前記連続するフレーム画像（３１，３３）の間でブロックマッチング処理を行なって動きベクトルを算出する第２演算部（２４）と、
前記第１ブロックに関してブロックマッチング処理を行なった結果、一つの動きベクトルが検出された場合はこの動きベクトルを出力し、複数の動きベクトル候補が検出された場合は、先の補間フレームの処理サイクルで前記第２ブロックに関して得られた動きベクトルに基づいて前記複数の動きベクトル候補から一つの動きベクトル候補を選択して出力する第３演算部（２３）と、
前記第３演算部が出力した動きベクトルに基づいて、補間フレーム画像を生成する生成部（１３）と、を具備することを特徴とする補間フレーム生成装置。
【発明の効果】
【０００９】
周期的繰り返しパターンを含んでいる画像に対して、大ブロックのサイズを適応的に可変とすることにで、画像の絵柄に対応した精度の高い動きベクトル検出を可能とする。更に、演算処理で用いる演算結果は先の補間フレームの処理サイクルで取得したものを用いるため、必要となる総バッファ量を削減可能とする。
【発明を実施するための最良の形態】
【００１０】
以下、この発明の実施の形態について図面を参照して詳細に説明する。
【００１１】
＜本発明の一実施形態である補間フレーム生成装置の構成の一例＞
初めに、本発明の一実施形態である補間フレーム生成装置の構成の一例を図面を用いて詳細に説明する。図１は、本発明の一実施形態に係る補間フレーム生成装置の構成の一例を示すブロック図である。図２は、同じく補間フレーム生成装置のブロックマッチング処理の一例を示す説明図である。
【００１２】
本発明の一実施形態に係る補間フレーム生成装置１０は、図１に示すように、入力画像信号が与えられるフレームメモリ１１と、同様に入力端及びフレームメモリ１１から入力画像信号が与えられる動きベクトル検出部１２と、動きベクトル検出部１２から動きベクトルがフレームメモリ１１から入力画像信号が供給され、補間画像を生成する補間画像生成部１３を有している。
【００１３】
ここで、動きベクトル検出部１２は、固定長ブロック処理部２１と、可変長ブロック処理部２４と、ブロックサイズ決定部２５と、先の補間フレームの処理サイクルの演算結果を利用するべく制御する簡易演算制御部２６を有している。更に、固定長ブロック処理部２１は、算出処理部２２と、選択処理部２３を有している。
【００１４】
本発明の一実施形態に係る補間フレーム生成装置１０は、このような構成により、図２に示すように、前フレーム３１と後フレーム３３の間に補間フレーム３２を生成し挿入することで、６０Ｆ／ｓの入力信号を１２０Ｆ／ｓの入力信号とするものである。このとき、補間画像生成部１３で生成される補間フレーム３２は、動きベクトル検出部１２で検出された動きベクトルに基づいて生成されたものである。
【００１５】
すなわち、動きベクトル検出部１２は、前フレーム３１と後フレーム３３の間で図３に示される固定長ブロックに基づいてブロックマッチング処理を行なうことで、動きベクトルを検出する。しかし、動きベクトル検出部１２は後述するように、部分的に可変長ブロックを生成し、可変長ブロックに基づくブロックマッチング処理を行ない、その結果に応じて、固定長ブロックのブロックマッチング処理の処理結果を正確に求めるものである。
【００１６】
更に、簡易演算制御部２６により、演算処理の際に、先の補間フレームの演算結果を利用するべく制御することで、動きベクトル検出部１２の簡易演算制御部２６に含まれる演算用画素値バッファ容量を約１／３に軽減することを可能にする。以下、その詳細を図面を用いて説明する。
【００１７】
＜固定長ブロックと可変長ブロックのブロックマッチング処理＞
次に、固定長ブロックと可変長ブロックのブロックマッチング処理について図面を用いて説明する。図３は、本発明に係る実施形態である補間フレーム生成装置により、固定長ブロックから生成された可変長ブロックの一例を示す説明図である。図４は、同じく補間フレーム生成装置の固定長ブロックによるマッチング処理の一例を示す説明図である。図５は、同じく補間フレーム生成装置の可変長ブロックによるマッチング処理の一例を示す説明図である。図６は、同じく補間フレーム生成装置の固定長ブロックと可変長ブロックとをそれぞれ用いたブロックマッチング処理によるＳＡＤ特性を示すグラフである。
【００１８】
・ブロックマッチング処理
上述したように、補間画像生成部１３は、動きベクトル検出部１２が検出したフレーム間の動きベクトルに基づいて、補間フレーム画像を生成する。動きベクトルは、前フレーム及び後フレームの２枚ないしそれ以上の入力フレーム間で、フレームを構成する画像ブロックのマッチングを行うことにより、物体の動いた方向及び距離として検出される。各ブロックの動きベクトルを用いて、入力フレーム間に位置する新たな補間フレームが作成され、補間フレームを２枚の入力フレーム間に挿入することにより、フレーム数を増加して動画像を表示する。
【００１９】
このブロックマッチングは、図２に示すように、あるフレーム３１の領域４０におけるどの所定サイズの画像ブロック４０−１等が、後のフレーム３３中の領域４２におけるどの所定サイズの画像ブロック４２−１等に一致するかを逐一検出する方法である。
【００２０】
そのため、前フレーム中の画像ブロックと、後フレーム中のいずれかの画像ブロックとで、互いに対応する画素間の差分を計算し、これを累積した値（ＳＡＤ:Sum of Absolute Difference）が最小となる後フレーム中画像ブロックが、前フレーム中画像ブロックに最も類似する画像ブロックとして検出される。前フレームと後フレームで、最も類似する画像ブロックの位置の差が、動きベクトルとして検出される。
【００２１】
・固定長ブロック（小ブロック）と可変長ブロック（大ブロック）
しかし、ブロックマッチング処理は、図３に示すようにブロックのサイズを固定とする固定長ブロック４０−１、４０−２だけでなく、ブロックのサイズを可変とする可変長ブロック４０’−１、４０’−２等を用いることが有効な場合が存在する。
【００２２】
すなわち、図４に示すように、ＳＡＤを用いたブロックマッチングに基づいて物体の動きを推定する時、入力フレーム内に縦じま模様のような周期的パターンが存在する場合、この周期的パターン内の固定長の画像ブロックでは、ＳＡＤの値だけでは正確な動きベクトルを推定することができない。従って、図６のグラフの固定長ブロックのＳＡＤ値αは、判別し難い複数の極小値Ｐ１，Ｐ２，Ｐ３の動きベクトル候補が示されており、ブロックマッチングが困難になっている。
【００２３】
一方、図５に示すような縦じま模様のような周期的パターンに対して十分大きな可変長ブロックによるマッチング処理を行なう。この可変長ブロックによるブロックマッチングにより、図６のグラフの可変長ブロックのＳＡＤ値βは、複数の極小値を示すことはなく、一つの極小値ＰＬ１を示しているため、ブロックマッチングが困難となることはない。
【００２４】
従って、ブロックマッチングにより動きベクトルの検出を行う補間フレーム作成方法において、大きさの異なるブロックを少なくとも２つ以上用いることが有効となる。そして、通常時には２つ以上のブロックのうち小さいブロックで検出した動きベクトルを用い、小さいブロックでのベクトル検出時に、動きベクトル候補が複数検出された場合は、大きいブロックを用いて検出されたベクトルを参照して、小さいブロックによる複数の動きベクトル候補から真正な動きベクトル候補を選択することが可能である。
【００２５】
図６のグラフの場合だと、可変長ブロックのＳＡＤ値βを参照して、真正な動きベクトル候補が極小値ＰＬ１に一番近い極小値Ｐ２であることが判断できる。これにより、周期的なパターンを含んだ映像の動きベクトルの検出精度を向上させることができる。
【００２６】
なお、この技術に近い技術が、先の出願（特願２００６−２０８７９２号、２００６年７月３１日出願）においても開示されている。
【００２７】
・可変長ブロック（大ブロック）のサイズ決定
更に、可変長ブロック（大ブロック）の動き検出を行う際の適切なブロックサイズを決定する基準の一例を示す。
【００２８】
すなわち、図４に示すように、小ブロックＡ，Ｂ，Ｃでは各々矩形領域内に同一の画像しか含まないため区別ができないが、図５に示すように、周期的繰り返しパターン幅全てを包含するサイズの大ブロックＤ，Ｅ，Ｆでは各々の矩形領域内に含まれる画像は異なるため一意に正しい動きベクトルを検出することが可能である。
【００２９】
従って、大ブロックの動き検出時ブロックサイズとして、周期的繰り返しパターンに惑わされないほど十分な大きさを有し、かつ、必要以上に大きすぎてブロック内に複数の動きを持つ物体が入り込むことの無い大きさが適切な大きさである。
【００３０】
従って、周期的繰り返しパターン幅の具体的な検出方法の一つは、
『複数の動きベクトル候補が発生する領域』を検出し、この領域の幅に基づいて『可変長ブロック（大ブロック）のサイズ』を決定するものである。
【００３１】
従って、
『複数の動きベクトル候補が発生する領域』≒『可変長ブロック（大ブロック）のサイズ』
又は、
『複数の動きベクトル候補が発生する領域』≒『可変長ブロック（大ブロック）のサイズ』＋ａ（定数）
等の決定方法が好適であるが、これに限定されるものではない。
【００３２】
なお、この技術に近い技術が、先の出願（特願２００６−３３２３８４号、２００６年１２月８日出願）において開示されている。
【００３３】
＜本発明の一実施形態である補間フレーム生成装置の演算制御方法＞
次に、本発明の一実施形態である補間フレーム生成装置の演算制御方法の一例をフローチャートを用いて詳細に説明する。図７は、本発明の一実施形態である補間フレーム生成装置の３段階の演算処理の一例を説明するフローチャートである。図８は、同じく補間フレーム生成装置における本発明の特徴を有していない複数のバッファによる演算処理の一例を示す説明図である。図９は、同じく補間フレーム生成装置における単数のバッファによる演算処理の一例を示す説明図である。図１０は、同じく補間フレーム生成装置における本発明の特徴を有していない複数のバッファによる演算処理のフレーム画像の扱い方の一例を示す説明図である。図１１は、同じく補間フレーム生成装置における単数のバッファによる演算処理のフレーム画像の扱い方の一例を示す説明図である。
【００３４】
・３段階の演算処理
本発明の一実施形態である補間フレーム生成装置１０は、図７のフローチャートに示すように、３段階の演算処理を実行することで動きベクトルを決定することができる。その後、この動きベクトルに基づいて、補間画像生成部１３により補間フレーム画像が生成され前後のフレーム画像に挿入される。
【００３５】
しかし、第1演算の演算結果を用いて第２演算を行い、第２演算の演算結果を用いて第３演算を行なうと、タイミングに余裕がなくなるため、フレーム画像のバッファは、図１１及び図１３に後述するように３つの演算処理分の容量を必要とする。
【００３６】
この実施形態では、先の補間フレームの処理サイクルで決定した可変長ブロックのサイズに応じて、動きベクトル検出の演算を行い、先の補間フレームの処理サイクルで取得した可変長ブロックに応じた動きベクトルを用いて、固定長ブロックに応じた動きベクトル候補の選択のための演算を行なう。従って、先の補間フレームの処理サイクルで取得した演算結果を用いるので、タイミングに余裕があるため、フレーム画像を格納するバッファを共有することができる。
【００３７】
すなわち、図７のフローチャートにおいて、第１演算として、可変長ブロックのサイズを処理単位ユニット毎に演算する（ステップＳ１１）。第２演算として、先の補間フレームの処理サイクルで決定した可変長ブロックのサイズに基づき、可変長ブロックで動きベクトルを処理単位ユニット毎に決定するための演算をする（ステップＳ１２）。第３演算として、先の補間フレームの処理サイクルで検出した可変長ブロックの動きベクトルに従って、固定長ブロックの動きベクトルを処理単位ユニット毎に決定するための演算をする（ステップＳ１３）。
【００３８】
（本発明の実施形態を用いない場合の演算処理）
上述した三段階の演算処理は、本発明の実施形態を用いない場合では、図８に示すような各処理部（ブロックサイズ決定部２５，可変長ブロック処理部２４，固定長ブロック処理部２１）に逐一対応する第１バッファ１０１−１、第２バッファ１０１−２、第３バッファ１０１−３を用いて行なう必要がある。
【００３９】
すなわち、３つの演算処理に応じて、それぞれに前フレーム３１と後フレーム３３の画素値を供給する画素値バッファが必要となるので、総バッファサイズの具体例としては例えば、次の条件下で３*２*１９２０*１２８*３０＝４４２３６８００ビットと求まる。
【００４０】
・Ｆｕｌｌ−ＨＤ（横１９２０画素×縦１０８０画素）
・小ブロックサイズは（横６４画素×縦１６画素）
・小ブロックのベクトル探索領域は（横２５６画素×縦１２８画素）
・小ブロックあたりの動きベクトルは１６ビット信号
・画素あたり３０ビット信号
この本発明の実施形態を用いない場合の処理では、図１０の破線で示すように、一つのフレーム処理サイクルで、第１演算結果を待ってこれを用いて第２演算を行い、第２演算結果を待ってこれを用いて第３演算を行なっている。従って、演算結果を供給するための時間的余裕は、図３の処理単位Ｕで示す、１処理単位Ｕ分の遅延時間しか存在しない。
【００４１】
なお、図１０の長方形で示す各バッファ内の『前−１後０、前０後１、前１後２、前２後３、前３後４、前４後５』は、補間フレーム処理のため演算処理部に供給される『前フレーム分として−１番目のフレーム画像データと後フレーム分として０番目のフレーム画像データ、前フレーム分として０番目のフレーム画像データと後フレーム分として１番目のフレーム画像データ、前フレーム分として１番目のフレーム画像データと後フレーム分として２番目のフレーム画像データ、前フレーム分として２番目のフレーム画像データと後フレーム分として３番目のフレーム画像データ、前フレーム分として３番目のフレーム画像データと後フレーム分として４番目のフレーム画像データ、前フレーム分として４番目のフレーム画像データと後フレーム分として５番目のフレーム画像データ』の意味である。また円形で示す補間フレーム処理時の３つの演算結果『補−０．５、補０．５、補１．５、補２．５、補３．５、補４．５』は、前フレームｎと後フレームｎ＋１の画素データを用いてその中間の補間フレームｎ＋０．５を処理する際の『補間フレーム−０．５用演算結果、補間フレーム０．５用演算結果、補間フレーム１．５用演算結果、補間フレーム２．５用演算結果、補間フレーム３．５用演算結果、補間フレーム４．５用演算結果』の意味である。
【００４２】
簡易演算制御部２６は、ブロックサイズ決定部２５からの演算結果を内蔵する記憶部に格納し直ぐに可変長ブロック処理部２４に供給し、更に、可変長ブロック処理部２４からの演算結果を内蔵する記憶部に格納し直ぐに固定長ブロック処理部２１に供給しなければならない。従って、図８に示すように、各バッファは同一補間フレーム上の同一処理単位Ｕ位置に対応させるために、各演算部（２５，２４，２１）に専用のものが３つ必要となる。
【００４３】
（本発明の実施形態を用いた場合の演算処理）
上述した、１フレーム処理サイクル内で行なわれる三段階の演算処理に対するバッファ量問題を解消する方法として、１フレーム前又は２フレーム前の演算結果を利用して演算処理を行なうことが好適である。
【００４４】
本発明の実施形態を用いた場合の演算処理では、図９及び図１１に示すように、演算処理に用いる演算結果を同一補間フレーム処理サイクルから取得するのではなく、先の補間フレームの処理サイクルから取得している。従って、図１１の破線で示すように、先の補間フレーム処理サイクルの第１演算結果を用いて第２演算を行い、先の補間フレーム処理サイクルの第２演算結果を用いて第３演算を行なっている。
【００４５】
従って、演算結果を供給するための時間的余裕は、１フレーム分の遅延時間を得ることができる。簡易演算制御部２６は、ブロックサイズ決定部２５からの演算結果を内蔵する記憶部に格納し、次の補間フレーム処理サイクルに可変長ブロック処理部２４に供給し、更に、可変長ブロック処理部２４からの演算結果を内蔵する記憶部に格納し、次の補間フレーム処理サイクルに固定長ブロック処理部２１に供給すればよい。従って、十分な時間的余裕があるために、図９に示すように、バッファを異なる補間フレーム上の同一処理単位Ｕ位置に対応させることで、各演算部（２５，２４，２１）に共有することが可能となる。
【００４６】
なお、この実施形態において、１番目のフレーム画像の演算に０番目のフレーム画像データの演算結果、−１番目のフレーム画像の演算結果を用いるわけであるが、このような代用品としての演算結果を利用できるとの考えは以下の理由による。
【００４７】
すなわち、１つ前及び２つ前の補間フレーム作成時には、シーンが切り替わる時点を除き、ほぼ同じ絵柄が存在していた可能性が高い。よって、３つのステップを１補間フレーム作成時に全て行うのではなく、複数の補間フレーム作成時に分散して処理することも可能である。
【００４８】
更に、１つ前及び２つ前の補間フレーム作成時の演算結果の容量は、補間フレーム作成時の１ステップあたりの画素値バッファの容量より遥かに小さくできる。
【００４９】
従って、先の補間フレームの処理サイクルで得られた演算結果を利用することで、結果的にバッファ容量を約１／３に削減することが可能となる。
【００５０】
すなわち、図９から明らかな通り、画素値バッファ自体は図８の３本から１本へ削減できており、演算結果を転送するための簡易演算制御部２６の記憶部の容量は、画素値バッファに比べればはるかに小さい。
【００５１】
総バッファサイズの具体例としては例えば、先と同じ次の条件下で１*２*１９２０*１２８*３０＋（１９２０/６４）*（１０８０/１６）*１＋（１９２０/６４）*（１０８０/１６）*１６＝１４７８０２８０ビットと求まる。この値は、先の図６構成に比べ約１/３に削減できている。ここで加算の第２項は第１演算結果を転送するため、第３項は第２演算結果を転送するために必要なった部分であるが、もともとの画措置バッファ自体の第１項に比べれば無視できる小ささである。
【００５２】
（フローチャートによる各演算処理の説明）
次に、上述した３段階の演算処理の詳細をフローチャートを用いて説明する。図１２は、同じく補間フレーム生成装置の第１の演算処理の詳細の一例を説明するフローチャートである。図１３は、同じく補間フレーム生成装置の第２の演算処理の詳細の一例を説明するフローチャートである。図１４は、同じく補間フレーム生成装置の第３の演算処理の詳細の一例を説明するフローチャートである。
【００５３】
なお、以下の図７及び図１２乃至図１４のフローチャートの各ステップは、回路ブロックに置き換えることができ、従って、各フローチャートのステップは、全てブロックに定義しなおすことが可能である。
【００５４】
・第１演算
初めに、第１演算である可変長ブロックサイズを決定する工程を、図１２のフローチャートを用いて説明する。
【００５５】
本発明の一実施形態である補間フレーム生成装置１０の動きベクトル検出部１２のブロックサイズ決定部２５は、初めに、固定長ブロックを用いて、１処理単位のフレーム画像について、ベクトル検出処理を行なう（ステップＳ２１）。次に、ブロックサイズ決定部２５は、固定長ブロックを用いたベクトル検出処理の検出結果から、最小値を求める（ステップＳ２２）。そして、ブロックサイズ決定部２５は、
固定長ブロックでの検出結果で｜最小値−極小値ｉ｜＜ＴＨ……（１）
を満たす極小値が複数存在するかを判断する（ステップＳ２３）。
【００５６】
これが複数存在しなければ、可変長ブロックを設ける必要はなく、ステップＳ２７に進み、可変長ブロックのサイズをゼロ（又は固定長ブロックのまま）と決定し（ステップＳ２７）、処理単位ユニット内の全ての固定長ブロックがチェックされていれば（ステップＳ２８）終了する。処理単位ユニット内の固定長ブロックが残っていれば、検出対象の固定長ブロックを一つ移動して（ステップＳ２９）、ステップＳ２１から処理を続行する。
【００５７】
ブロックサイズ決定部２５は、ステップＳ２３で動きベクトル候補が複数存在していれば、検出対象の固定長ブロックを１つ移動し（ステップＳ２４）、可変長ブロックのサイズを一段階大きくする（ステップＳ２５）。そして、ブロックサイズ決定部２５は、サイズを大きくした結果、サイズが処理単位ユニットからはみ出してしまうかを判断し（ステップＳ２６）、十分大きければステップＳ２７に進み、大きくなければ、ステップＳ２１に戻って処理を続行する。
【００５８】
このような処理を継続することにより、上述した手法、すなわち、
周期的繰り返しパターン幅の具体的な検出方法の一つとして、
『複数の動きベクトル候補が発生する領域』を検出し、この領域の幅に基づいて『可変長ブロック（大ブロック）のサイズ』を決定することができる。
【００５９】
一例として、『複数の動きベクトル候補が発生する領域』≒『可変長ブロック（大ブロック）のサイズ』の結果を得ることができるが、
『複数の動きベクトル候補が発生する領域』≒『可変長ブロック（大ブロック）のサイズ』＋ａ（定数）とすることも好適であり、これに限定されるものではない。
【００６０】
・第２演算
次に、第２演算である可変長ブロックの動きベクトルを決定する工程を、図１３のフローチャートを用いて説明する。
【００６１】
可変長ブロック処理部２４は、図１３のフローチャートに示すように、初めに、先の補間フレームの処理サイクルの演算処理で決定した演算結果であるサイズを取得する。そして、可変長ブロック処理部２４は、このサイズに応じた可変長ブロックについて、前フレームと後フレームの各マクロブロックを比較する（ステップＳ３１）。可変長ブロック処理部２４は、比較結果に応じて、最も近似したマクロブロックの組が示す動きベクトルを決定する（ステップＳ３２）。
【００６２】
可変長ブロック処理部２４は、処理単位ユニット内の全ての可変長ブロックについて、動きベクトルを求めるまで、可変長ブロックに処理を移動して（ステップＳ３４）、これらの動きベクトルを求める処理を繰り返す（ステップＳ３３）。
【００６３】
・第３演算
次に、第３演算である固定長ブロックの動きベクトルを決定する工程を、図１４のフローチャートを用いて説明する。
【００６４】
固定長ブロック処理部２１は、図１４のフローチャートに示すように、初めに、固定長ブロックを用いてベクトル検出処理を行なう（ステップＳ４１）。そして、固定長ブロックを用いたベクトル検出処理の検出結果から最小値を求める（ステップＳ４２）。
【００６５】
そして、固定長ブロック処理部２１は、
固定長ブロックでの検出結果で｜最小値−極小値ｉ｜＜ＴＨ……（１）
を満たす極小値が複数存在するかを判断する（ステップＳ４３）。
【００６６】
これが複数存在しなければ、極小値に対応するベクトルをこのブロックの動きベクトルとして選択して終了する（ステップＳ４７）。これが複数存在すれば、固定長ブロック処理部２１の選択処理部２３は、先の補間フレームの処理サイクルで求めた演算結果である可変長ブロックのベクトル検出結果を参照する（ステップＳ４４）。そして、式（１）を満たす極小点の中で、可変長ブロックを用いて検出した極小点に最も近い極小点に対応するベクトルを当該ブロックの動きベクトルとして選択する（ステップＳ４５）。そして、選択処理部２３は、選択されたベクトルを補間画像生成部１３に送る（ステップＳ４６）。
【００６７】
このような処理を繰り返して、処理単位ユニット内の全ての固定長ブロックのベクトルが決定されたかどうかを判断し（ステップＳ４８）、全ての固定長ブロックについて終了していなければ、対象の固定長ブロックを１つ移動して（ステップＳ４９）、ステップＳ４１から処理を反復するものである。
【００６８】
以上、説明したように、このような処理を施すことで、周期的繰り返しパターンを含んでいる画像に対して、大ブロックのサイズを適応的に可変とし、画像の絵柄に対応した精度の高い動きベクトル検出を可能とする。更に、演算処理で用いる演算結果は先の補間フレームの処理サイクルで取得したものを用いるため、必要となる総バッファ量を削減可能とする。
【００６９】
＜他の実施形態＞
更に、他の実施形態について、以下に言及する。
【００７０】
上述した図７等の第１演算処理と、第２演算処理と、第３演算処理の演算結果としての補間フレームは、必ずしも一つの補間フレームを生成するものでなくともよい。すなわち、第１演算処理と第２演算処理は、ある補間フレームを生成することに用いられ、第３演算処理は、他の補間フレームを生成することに用いられることも好適であり、制限されるものではない。このような構成を選択することで、時間経過に伴う大ブロックの動きベクトル検出誤差を低減することが可能となる。
【００７１】
又、更に、上述した図７等の第１演算処理は、省略することができる。すなわち、固定長ブロック（小ブロック）とは異なる可変長ブロック（大ブロック）は、予め与えられた一定の大きさをもつものでもよく、その場合は、第１演算処理でサイズを決定する必要はない。従って、固定長ブロックよりも大きな大ブロックが１種類以上用意されて利用されることが好適である。この場合は、図７の第２演算処理と第３演算処理のみにより、本発明の特徴をもった実施形態を実現することができる。
【００７２】
又、図３の可変長ブロックでは、水平方向及び垂直方向に固定長ブロックが連結された可変長ブロックが示されたが、可変長ブロックは、単に水平方向のみに連結されてもよく、単に垂直方向のみに連結されることも好適である。
【００７３】
又、上述した固定長ブロック（小ブロック）と可変長ブロック（大ブロック）は、２段階であるが、３段階以上のサイズのブロックが存在することも好適である。
【００７４】
以上のような実施形態の特徴により、周期的繰り返しパターンを含んでいる画像に対して、適応的に大ブロックのサイズを可変とすることにより、絵柄に応じたより精度の高い動きベクトル検出を可能とし、かつ、そのために必要となる総バッファ量を削減することが可能である。
【００７５】
以上記載した様々な実施形態により、当業者は本発明を実現することができるが、更にこれらの実施形態の様々な変形例を思いつくことが当業者によって容易であり、発明的な能力をもたなくとも様々な実施形態へと適用することが可能である。従って、本発明は、開示された原理と新規な特徴に矛盾しない広範な範囲に及ぶものであり、上述した実施形態に限定されるものではない。
【図面の簡単な説明】
【００７６】
【図１】本発明の一実施形態に係る補間フレーム生成装置の構成の一例を示すブロック図。
【図２】同じく補間フレーム生成装置のブロックマッチング処理の一例を示す説明図。
【図３】同じく補間フレーム生成装置により、固定長ブロックから生成された可変長ブロックの一例を示す説明図。
【図４】同じく補間フレーム生成装置の固定長ブロックによるマッチング処理の一例を示す説明図。
【図５】同じく補間フレーム生成装置の可変長ブロックによるマッチング処理の一例を示す説明図。
【図６】同じく補間フレーム生成装置の固定長ブロックと可変長ブロックとをそれぞれ用いたブロックマッチング処理によるＳＡＤ特性を示すグラフ。
【図７】同じく補間フレーム生成装置の３段階の演算処理の一例を説明するフローチャート。
【図８】同じく補間フレーム生成装置における本発明の特徴を有していない複数のバッファによる演算処理の一例を示す説明図。
【図９】同じく補間フレーム生成装置における単数のバッファによる演算処理の一例を示す説明図。
【図１０】同じく補間フレーム生成装置における本発明の特徴を有していない複数のバッファによる演算処理のフレーム画像の扱い方の一例を示す説明図。
【図１１】同じく補間フレーム生成装置における単数のバッファによる演算処理のフレーム画像の扱い方の一例を示す説明図。
【図１２】同じく補間フレーム生成装置の第１の演算処理の詳細の一例を説明するフローチャート。
【図１３】同じく補間フレーム生成装置の第２の演算処理の詳細の一例を説明するフローチャート。
【図１４】同じく補間フレーム生成装置の第３の演算処理の詳細の一例を説明するフローチャート。
【符号の説明】
【００７７】
１０…補間フレーム生成装置、１１…フレームメモリ、１２…動きベクトル検出部、１３…補間画像作成部、２１…固定長ブロック処理部、２２…算出処理部、２３…採用処理部、２４…可変長ブロック処理部、２５…ブロックサイズ決定部、２６…簡易演算制御部。
【図１】
2009060377.tif 000003
【図２】
2009060377.tif 000004
【図３】
2009060377.tif 000005
【図４】
2009060377.tif 000006
【図５】
2009060377.tif 000007
【図６】
2009060377.tif 000008
【図７】
2009060377.tif 000009
【図８】
2009060377.tif 000010
【図９】
2009060377.tif 000011
【図１０】
2009060377.tif 000012
【図１１】
2009060377.tif 000013
【図１２】
2009060377.tif 000014
【図１３】
2009060377.tif 000015
【図１４】
2009060377.tif 000016