(57)【要約】【課題】補間画像の作成に適した正確な動きベクトル検出を可能とする。【解決手段】画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎは１以上の整数）間の動きベクトルを検出する方法において、第ｍフレームから所定サイズかつ所定形状の複数の第１ブロックを抽出し（Ｓ１０１）、第ｍ＋ｎフレームから第１ブロックと同サイズかつ同形状の複数の第２ブロックを抽出し（Ｓ１０２）、第１ブロックと第２ブロック間の相対応する画素毎の差分絶対値を求め（Ｓ１０３）、差分絶対値が閾値以下となる画素の数をカウントしてカウント値を求め（Ｓ１０４）、第１ブロック及び第２ブロックからカウント値が最大となる画素をそれぞれ含むブロック対を抽出し、該ブロック対間のベクトルを第ｍフレームと第ｍ＋ｎフレーム間の動きベクトルとして選択する（Ｓ１０５）。【選択図】    図２
2006279982.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素からなる画像の第ｍフレーム（ｍは任意の整数）から該第ｍフレームを分割した所定サイズかつ所定形状の複数の第１ブロックを抽出するステップと、
前記画像の第ｍ＋ｎフレーム（ｎは１以上の整数）から前記第１ブロックと同サイズかつ同形状の複数の第２ブロックを抽出するステップと、
前記第１ブロックと前記第２ブロック間の相対応する画素毎の差分絶対値を求めるステップと、
前記差分絶対値が閾値以下となる画素の数をカウントしてカウント値を求めるステップと、
前記第１ブロック及び第２ブロックから前記カウント値が最大となる画素をそれぞれ含むブロック対を抽出し、該ブロック対間のベクトルを前記第ｍフレームと第ｍ＋ｎフレーム間の動きベクトルとして選択するステップと
を具備する動きベクトル検出方法。
【請求項２】
複数の画素からなる画像の第ｍフレーム（ｍは任意の整数）から該第ｍフレームを分割した所定サイズかつ所定形状の複数の第１ブロックを抽出するステップと、
前記画像の第ｍ＋ｎフレーム（ｎは１以上の整数）から前記第１ブロックと同サイズかつ同形状の複数の第２ブロックを抽出するステップと、
前記第１ブロックと前記第２ブロック間の相対応する画素毎の第１差分絶対値を求めるステップと、
前記第１差分絶対値が第１閾値以下となる画素の数をカウントして第１カウント値を求めるステップと、
前記第１ブロック及び第２ブロックから前記第１カウント値が最大となるブロック対を抽出し、該ブロック対間のベクトルを第１動きベクトル候補として求めるステップと、
前記第ｍ＋ｎフレームから該第ｍ＋ｎフレームを分割した所定サイズかつ所定形状の複数の第３ブロックを抽出するステップと、
前記第ｍフレームから前記第３ブロックと同サイズかつ同形状の第４ブロックを抽出するステップと、
前記第３ブロックと前記第４ブロック間の相対応する画素毎の第２差分絶対値を求めるステップと、
前記第２差分絶対値が第２閾値以下となる画素の数をカウントして第２カウント値を求めるステップと、
前記第３ブロック及び第４ブロックから前記第２カウント値が最大となる画素をそれぞれ含むブロック対を抽出し、該ブロック対間のベクトルを第２動きベクトル候補として求めるステップと、
前記第１カウント値及び第２カウント値を比較し、第１カウント値が第２カウント値以上の場合には前記第１動きベクトル候補、第１カウント値が第２カウント値より小さい場合には前記第２動きベクトル候補をそれぞれ前記第ｍフレームと第ｍ＋ｎフレーム間の動きベクトルとして選択するステップと
を具備する動きベクトル検出方法。
【請求項３】
複数の画素からなる画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎはｋ＋１以上の整数，ｋは任意の実数）間に仮定した第ｍ＋ｋフレームから、該第ｍ＋ｋフレームを分割した所定サイズかつ所定形状の複数の第５ブロックを抽出するステップと、
前記第ｍフレームから前記第５ブロックと同サイズかつ同形状の複数の第６ブロックを抽出するステップと、
前記第５ブロックと前記第６ブロック間のベクトルを第３動きベクトルとして求めるステップと、
前記第３動きベクトルの−（ｎ−ｋ）／ｋである第４動きベクトルを算出するステップと、
前記第４動きベクトルに従って前記第ｍ＋ｎフレームから前記第５ブロックの移動先となる第７ブロックを抽出するステップと、
前記第６ブロックと前記第７ブロック間の相対応する画素毎の差分絶対値を求めるステップと、
前記差分絶対値が閾値以下となる画素の数をカウントしてカウント値を求めるステップと、
前記第６ブロック及び第７ブロックから前記カウント値が最大となる画素をそれぞれ含むブロック対を抽出し、該ブロック対間のベクトルを前記第ｍフレームと第ｍ＋ｎフレーム間の動きベクトルとして選択するステップと
を具備する動きベクトル検出方法。
【請求項４】
複数の画素からなる画像の第ｍフレーム（ｍは任意の整数）から該第ｍフレームを分割した所定サイズかつ所定形状の複数の第５ブロックを抽出するステップと、
前記画像の第ｍ＋ｎフレーム（ｎはｋ＋１以上の整数，ｋは整数）から前記第５ブロックと同サイズかつ同形状の複数の第６ブロックを抽出するステップと、
前記第５ブロックと前記第６ブロック間のベクトルを第１動きベクトルとして求めるステップと、
前記第５ブロックと前記第６ブロック間の相対応する画素毎の第１差分絶対値を求めるステップと、
前記第１差分絶対値が第１閾値以下となる画素の数をカウントして第１カウント値を求めるステップと、
前記画像の第ｍ＋ｋフレームから前記第５ブロックと同サイズかつ空間的同位置の第７ブロックを抽出するステップと、
前記第１動きベクトルの（ｎ−ｋ）／ｎ倍である第２動きベクトルを算出するステップと、
前記第２動きベクトルに従って前記第ｍ＋ｎフレームから前記第７ブロックの移動先となる第８ブロックを抽出するステップと、
前記第７ブロックと前記第８ブロック間の相対応する画素毎の第２差分絶対値を求めるステップと、
前記第２差分絶対値が第２閾値以下となる画素の数をカウントして第２カウント値を求めるステップと、
前記第１及び第２カウント値をそれぞれｐ，ｑとしてｒ（ｒ＝ｘ×ｐ＋（１−ｘ）ｑ；ｘは０以上１以下の実数）で表される重み付け加算値を求めるステップと、
前記第５ブロック及び第６ブロックから前記重み付け加算値が最大となる画素をそれぞれ含むブロック対を抽出し、該ブロック対間のベクトルを前記第ｍフレームと第ｍ＋ｎフレーム間の動きベクトルとして選択するステップと
を具備する動きベクトル検出方法。
【請求項５】
複数の画素からなる画像の第ｍフレーム（ｍは任意の整数）から、該第ｍフレームを分割した所定サイズかつ所定形状の複数の第１ブロックを抽出するステップと、
前記画像の第ｍ＋ｎフレーム（ｎは１以上の整数）から前記第１ブロックと同サイズかつ同形状の第２ブロックを抽出するステップと、
前記第１ブロックと前記第２ブロック間の相対応する画素毎の第１差分絶対値を求めるステップと、
前記第１差分絶対値が第１閾値以下となる画素の数をカウントして第１カウント値を求めるステップと、
前記第１ブロック及び第２ブロックから前記第１カウント値が最大となる画素をそれぞれ含むブロック対を抽出し、該ブロック対間のベクトルを前記第１ブロック内の第１領域と前記第ｍ＋ｎフレーム間の第１領域別動きベクトルとして選択するステップと、
前記第１差分絶対値が第２閾値以下となる前記第１ブロック内の画素を前記第１領域の画素ブロックとして抽出するステップと、
前記第１差分絶対値が前記第２閾値より大きくなる前記第１ブロック内の画素を第２領域の画素ブロックとして抽出するステップと、
第ｍ＋ｎフレームから前記第２領域の画素ブロックと同サイズかつ同形状の第３ブロックを抽出するステップと、
前記第２領域の画素ブロックと前記第３ブロック間の相対応する画素毎の第２差分絶対値を求めるステップと、
前記第２差分絶対値が第３閾値以下となる画素の数をカウントして第２カウント値を求めるステップと、
前記第２領域の画素ブロックと前記第３ブロックから前記第２カウント値が最大となる画素をそれぞれ含むブロック対を抽出し、該ブロック対間のベクトルを前記第２領域と前記第ｍ＋ｎフレーム間の第２領域別動きベクトルとして選択するステップと
を具備する動きベクトル検出方法。
【請求項６】
複数の画素からなる画像の第ｍフレーム（ｍは任意の整数）から、該第ｍフレームを分割した、輝度情報及び色差情報を有する複数の第１ブロックを抽出するステップと、
前記画像の第ｍ＋ｎフレーム（ｎは１以上の整数）から前記第１ブロックと同サイズかつ同形状の、輝度情報及び色差情報を有する第２ブロックを抽出するステップと、
前記第１ブロックの輝度情報を有する第１輝度ブロックと前記第２ブロックの輝度情報を有する第２輝度ブロック間の相対応する画素毎の第１差分絶対値を求めるステップと、
前記第１ブロック及び第２ブロックの前記第１差分絶対値が第１閾値以下となる画素について、前記第１ブロックの色差情報を有する第１色差ブロックと前記第２ブロックの色差情報を有する第２色差ブロック間の相対応する画素毎の第２差分絶対値を求めるステップと、
前記第２差分絶対値が第２閾値以下となる画素の数をカウントして第１カウント値を求めるステップと、
前記第１ブロック及び第２ブロックから前記第１カウント値が最大となる画素をそれぞれ含むブロック対を抽出し、該ブロック対間のベクトルを前記第１ブロック内の第１領域と前記第ｍ＋ｎフレーム間の第１領域別動きベクトルとして選択するステップと、
前記第２差分絶対値が前記第２閾値以下となる前記第１ブロック内の画素を前記第１領域の画素ブロックとして抽出するステップと、
前記第２差分絶対値が第２閾値より大きくなる前記第１ブロック内の画素を第２領域の画素ブロックとして抽出するステップと、
前記第ｍ＋ｎフレームから前記第２領域の画素ブロックと同サイズかつ同形状の第３ブロックを抽出するステップと、
前記第２領域の画素ブロックと前記第３ブロック間の相対応する画素毎の輝度についての第３差分絶対値を求めるステップと、
前記第３差分絶対値が第３閾値以下となる画素の数をカウントして第２カウント値を求めるステップと、
前記第２領域の画素ブロックと前記第３ブロックから前記第２カウント値が最大となる画素をそれぞれ含むブロック対を抽出し、該ブロック対間のベクトルを前記第２領域と前記第ｍ＋ｎフレーム間の第２領域別動きベクトルとして選択するステップと
を具備する動きベクトル検出方法。
【請求項７】
複数の画素からなる画像の第ｍフレーム（ｍは任意の整数）から、該第ｍフレームを分割した所定サイズかつ所定形状の複数の第１ブロックを抽出するステップと、
前記画像の第ｍ＋ｎフレーム（ｎは１以上の整数）から前記第１ブロックと同サイズかつ同形状の第２ブロックを抽出するステップと、
前記第１ブロックと前記第２ブロック間の相対応する画素毎の第１差分絶対値を求めるステップと、
前記第１差分絶対値が第１閾値以下となる画素の数をカウントして第１カウント値を求めるステップと、
前記第１ブロック及び第２ブロックから前記第１カウント値が最大となる画素をそれぞれ含むブロック対を抽出し、該ブロック対間のベクトルを前記第１ブロック内の第１領域と前記第ｍ＋ｎフレーム間の第１領域別動きベクトルとして選択するステップと、
前記第１差分絶対値が第２閾値以下となる前記第１ブロック内の画素を前記第１領域の画素ブロックとして抽出するステップと、
前記第１差分絶対値が前記第２閾値より大きくなる前記第１ブロック内の画素を第２領域の画素ブロックとして抽出するステップと、
前記第ｍ＋ｎフレームから、前記第１ブロック内の隣接する前記第２領域を空間的に連結した第１空間拡張領域と同サイズかつ同形状の第２空間拡張領域の画素ブロックを抽出するステップと、
前記第１空間拡張領域の画素ブロックと前記第２空間拡張領域の画素ブロック間の相対応する画素毎の第２差分絶対値を求めるステップと、
前記第２差分絶対値が第３閾値以下となる画素の数をカウントして第２カウント値を求めるステップと、
前記第１空間拡張領域と前記第２空間拡張領域から前記第２カウント値が最大となる画素をそれぞれ含む画素ブロック対を抽出し、該画素ブロック対間のベクトルを前記第１空間拡張領域と前記ｍ＋ｎフレーム間の第２領域別動きベクトルとして選択するステップと
を具備する動きベクトル検出方法。
【請求項８】
複数の画素からなる画像の第ｍフレーム（ｍは任意の整数）から、該第ｍフレームを分割した所定サイズかつ所定形状の複数の第１ブロックを抽出するステップと、
前記画像の第ｍ＋ｎフレーム（ｎは１以上または−１以下の整数）から前記第１ブロックと同サイズかつ同形状の第２ブロックを抽出するステップと、
前記第１ブロックと前記第２ブロック間の相対応する画素毎の第１差分絶対値を求めるステップと、
前記第１差分絶対値が第１閾値以下となる画素の数をカウントして第１カウント値を求めるステップと、
前記第１ブロック及び第２ブロックから前記第１カウント値が最大となる画素をそれぞれ含むブロック対を抽出し、該ブロック対間のベクトルを前記第１ブロック内の第１領域と前記第ｍ＋ｎフレーム間の第１領域別動きベクトルとして選択するステップと、
前記第１差分絶対値が第２閾値以下となる前記第１ブロック内の画素を前記第１領域の画素ブロックとして抽出するステップと、
前記第１差分絶対値が前記第２閾値より大きくなる前記第１ブロック内の画素を第２領域の画素ブロックとして抽出するステップと、
前記第ｍ＋ｎフレームから前記第２領域と同サイズかつ同形状の第３ブロックを抽出するステップと、
前記第２領域の画素ブロックと前記第３ブロック間の相対応する画素毎の第２差分絶対値を求めるステップと、
前記第２差分絶対値が第２閾値以下となる画素数をカウントして第２カウント値を求めるステップと、
前記第２領域の画素ブロックと前記第３ブロック間のベクトルを第３動きベクトルとして求めるステップと、
前記第３動きベクトルのｋ／ｎ（ｋはｎ及び０以外の整数）である第４動きベクトルを算出するステップと、
前記第４動きベクトルに従って前記第ｍ＋ｋフレームから前記第２領域の画素ブロックの移動先となる第４ブロックを抽出するステップと、
前記第２領域の画素ブロックと前記第４ブロック間の相対応する画素毎の第３差分絶対値を求めるステップと、
前記第３差分絶対値が第２閾値以下となる画素数をカウントして第３カウント値を求めるステップと、
前記第２カウンタ値と前記第３カウント値の和が最大となる画素をそれぞれ含むブロック対を抽出し、該ブロック対間のベクトルを前記第２領域と前記ｍ＋ｎフレーム間の第２領域別動きベクトルとして選択するステップと
を具備する動きベクトル検出方法。
【請求項９】
原画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎは１以上の整数）間の第ｍ＋ｋフレーム（ｋは任意の実数）の時間的位置に補間すべき補間画像を作成するフレーム補間画像作成方法において、
請求項１乃至４のいずれか１項記載の動きベクトル検出方法により求められた前記第ｍフレームと第ｍ＋ｎフレーム間の動きベクトル、及び請求項５乃至９のいずれか１項記載の動きベクトル検出方法により求められた領域別動きベクトルを前記第ｍ＋ｋフレ−ムの時間的位置に応じてスケール変換するステップと、
前記第ｍ＋ｎフレームから前記スケール変換後の動きベクトルに従って、前記第ｍフレーム上のブロックと空間的同位置にある前記第ｍ＋ｋフレーム上の補間ブロック、及び前記第ｍフレーム上の領域分割後の画素ブロックと空間的同位置にある前記第ｍ＋ｋフレーム上の領域別補間ブロックの移動先である第５ブロックを抽出するステップと、
前記第ｍ＋ｋフレームの前記補間ブロック及び前記領域別補間ブロックへ前記第５ブロックを割り当てることにより前記補間画像を作成するステップと
を具備するフレーム補間画像作成方法。
【請求項１０】
請求項９記載のフレーム補間画像作成方法により作成された前記補間画像及び前記原画像を表示する画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きベクトル検出方法と動きベクトルを用いた動き補償によるフレーム補間画像作成方法及び画像表示システムに関する。
【背景技術】
【０００２】
一般に、画像表示装置としては画像の書き込み後、蛍光体の残光時間のみ発光し続けるインパルス型表示装置（例えばＣＲＴやフィールドエミッション型表示装置（ＦＥＤ）と、新たに画像の書き込みが行われるまで前フレームの表示を保持し続けるホールド型表示装置（例えば液晶表示装置（ＬＣＤ）、エレクトロルミネッセンスディスプレイ（ＥＬＤ）など）の２種類がある。
【０００３】
ホールド型表示装置の問題点の一つは、動画表示に生じるボケ現象である。ボケ現象の発生は、図２８（ａ）に示ように複数フレームにわたる画像中に動体（楕円で示される）が存在し、その動体の動きに観察者の眼が追随した場合、図２８（ｂ）に示されるように複数フレームの画像が重なって網膜上に映し出されることに起因する。表示画像が前フレームから次のフレームへ切り換わる期間までは、同じ前フレームの画像が表示され続けられているにもかかわらず、眼は次フレームの画像の表示を予測して、前フレーム画像上を動体の移動方向に移動しながら観察してしまう。すなわち、眼の追随運動は連続性があり、フレーム間隔より細かいサンプリングを行うため、結果として隣接する二つのフレームの間の画像を埋めるように視認することで、ボケとして観察される。  
ホールド型表示装置のもう一つの問題点、コマ数の少ない動画を表示する場合に不自然な動きが生じることである。
【０００４】
これらの問題を解決するためには、表示のフレーム間隔を短くすればよい。その具体的な手法として、ＭＰＥＧ（Motion Picture Experts Group phase2）で用いられている動き補償を利用して補間画像を作成し、隣接するフレーム間で補間を行うことが考えられる。動き補償では、ブロックマッチングによって検出される動きベクトルが用いられる。しかし、ＭＰＥＧ２ではブロック単位で画像を作成するため、ブロック内で相関のある部分と相関のない部分が発生し、相関のない部分によりブロック歪が生じる。
【０００５】
特開２０００−２２４５９３（特許文献１）には、この問題を解決するフレーム間補間方法が開示されている。特開２０００−２２４５９３では、補間フレームにおける補間ブロックの画素値を定める際に、復号対象小ブロックの２フレーム間の動き補償フレーム間差分絶対値を相対応する画素毎に閾値と比較し、閾値以下の差分絶対値を持つ第１画素領域と閾値以上の差分絶対値を持つ第２画素領域に分割する。第１画素領域については、該領域の画素値と２フレーム間の動きベクトルで指し示される参照ブロック内の対応する画素値との平均値を求めて補間フレームを作成する。第２画素領域については、復号対象フレームにおける陰面関係を判定し、その判定結果に基づき２フレーム間の動きベクトル探索方向を設定し直して第２動きベクトルを検出し、これをスケール変換した動きベクトルで指し示される際探索参照フレーム上の画素値を補間フレームにコピーする。
【特許文献１】特開２０００−２２４５９３号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特開２０００−２２４５９３においては、動きベクトルの検出方法について特に記述がないが、通常のＭＰＥＧ２と同様の動きベクトル検出方法を採用しているとすると、誤った動きベクトルが使われやすい。ＭＰＥＧ２では基本的に圧縮率を上げることを前提においており、動きベクトルの誤差は動き補償により作成される予測信号の誤差がＤＣＴにより符号化されるため、動きベクトルが実際の動きを正確に再現しているかどうかは、あまり問題にならないためである。
【０００７】
また、特開２０００−２２４５９３では第２画素領域の補間において第２画素領域が必ずしも陰面関係にあるとは限らないので、判定により誤った領域を抽出する可能性がある。さらに、補間画像作成に際して第１画素領域は平均値化された画素データをスケール変換後のベクトルを用いて補間フレームメモリ上のアドレス位置に格納する方法によって補間がなされるため、補間画像に隙間や重なりが生じる可能性がある。第２画素領域についても、同様の手法を用いた場合は補間画像に隙間や重なりが生じ得る。
【０００８】
本発明の目的は、補間画像の作成に適した正確な動きベクトル検出を可能とすることにある。  
より具体的には、閾値によるブロック内での領域分割に適し、領域分割後の画素ブロックに対しても領域毎に最適な動きベクトルを検出できるようにすることにある。  
さらに、本発明はホールド型表示装置に起因するボケや、コマ数の少ない動画における不自然な動きを改善するため補間画像を作成する場合に、領域分割後の各画素ブロックに対して隙間や重なりの発生がなく、表示画質をよりリアルにできるフレーム補間画像作成方法及びこれを用いた画像表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の第１の視点では、複数の画素からなる画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎは１以上の整数）間の動きベクトルを検出する動きベクトル検出方法において、（ａ）第ｍフレームから該第ｍフレームを分割した所定サイズかつ所定形状の複数の第１ブロックを抽出し、（ｂ）第ｍ＋ｎフレームから第１ブロックと同サイズかつ同形状の複数の第２ブロックを抽出し、（ｃ）第１ブロックと第２ブロック間の相対応する画素毎の差分絶対値を求め、該差分絶対値が閾値以下となる画素の数をカウントしてカウント値を求め、（ｄ）第１ブロック及び第２ブロックからカウント値が最大となる画素をそれぞれ含むブロック対を抽出し、（ｅ）該ブロック対間のベクトルを第ｍフレームと第ｍ＋ｎフレーム間の動きベクトルとして選択することを基本とする。
【００１０】
本発明の第２の視点では、第１の視点に従う動きベクトル検出方法に対して、第ｍ＋ｎフレームから第ｍフレームへの動きベクトルを求める方法を加えた双方向動きベクトル検出によって、より正確な動きベクトルを求める。
【００１１】
本発明の第３の視点では、第ｍフレームと第ｍ＋ｎフレームとの間に第ｍ＋ｋフレーム（ｋはｎ−１以下の整数、ｋは１以上の任意の実数）を仮定し、この仮想フレームである第ｍ＋ｋフレームを支点として第ｍフレームと第ｍ＋ｎフレーム間で閾値以下となる画素数が最大となるブロック対を抽出し、そのブロック対を結ぶベクトルを動きベクトルとして選択する。
【００１２】
本発明の第４の視点では、第ｍフレームと第ｍ＋ｎフレーム間で閾値以下となる画素数が多くなる複数のブロック対に対して複数の動きベクトルを求め、それらの動きベクトルをスケール変換した後、画像の実フレームである第ｍ＋ｋ（ｋはｎ−１以下の整数、ｋは１以上の整数）フレームと第ｍ＋ｎフレーム間にそれらの動きベクトルを当てはめてブロック対をそれぞれ抽出し、各ブロック対間の差分絶対値が閾値以下となる画素数をカウントし、カウント値が閾値以下となる画素数が最大となる動きベクトルを選択する。
【００１３】
本発明の第５の視点では、１ブロック内を複数の領域に分割し、それぞれの領域に対して動きベクトルを求める。
【００１４】
本発明の第６の視点では、領域分割後に画素数が１乃至２程度の少数の領域に分割された部分がノイズとなりうるエラーを改善するために、領域の大きさを確保するため空間領域のローパスフィルタを通した後に、領域毎に動きベクトルを検出する。
【００１５】
本発明の第７の視点では、領域分割後に画素数が１乃至２つ程度の小領域に分割された部分がノイズとなり得るエラーを改善するために、第１動きベクトルを検出する方法の冗長性を高めるように、輝度のみならず色差についても閾値処理を行う。
【００１６】
本発明の第８の視点では、領域分割後に各領域の画素数が少なくることによるデータ不足を補うために、隣接ブロックを連結させて各小領域を空間方向に拡張し、動きベクトル検出精度を高める。
【００１７】
本発明の第９の視点では、領域分割後に各領域の画素数が少なくることによるデータ不足を補うために、動きベクトルの探索範囲を隣接フレーム間に拡張することで、小領域における動きベクトル検出精度を高め、且つ陰面関係を持つ物体間の検出精度も高める。
【００１８】
本発明の第１０の視点では、ブロック内の複雑な動きを再現するために、領域分割を繰り返すとともに、各領域の動きベクトル検出も繰り返し行う。
【００１９】
本発明の第１１の視点では、原画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎは１以上の整数）間のフレーム画像のない時間的位置、すなわち第ｍ＋ｋフレーム（ｋは任意の実数）の時間的位置に補間すべき補間画像を作成する補間画像作成方法において、（ａ）第１〜第４の視点のいずれかの動きベクトル検出方法により求められた第ｍフレームと第ｍ＋ｎフレーム間の動きベクトル、及び第５〜第１０の視点のいずれかの動きベクトル検出方法により求められた領域別動きベクトルを第ｍ＋ｋフレ−ムの時間的位置に応じてスケール変換し、（ｂ）第ｍ＋ｎフレームからスケール変換後の動きベクトルに従って、第ｍフレーム上のブロックと空間的同位置にある第ｍ＋ｋフレーム上の補間ブロック、及び第ｍフレーム上の領域分割後の画素ブロックと空間的同位置にある第ｍ＋ｋフレーム上の領域別補間ブロックの移動先である第５ブロックを抽出し、（ｃ）第ｍ＋ｋフレームの補間ブロック及び領域別補間ブロックへ第５ブロックを割り当てることにより補間画像を作成する。
【発明の効果】
【００２０】
本発明によれば画像の形状に重点をおいた動きベクトル検出手法により正確な動きベクトルを検出でき、さらにはブロック内を領域分割した領域別の動きベクトルも検出することができる。従って、ブロック歪や補間誤りの生じない補間画像を作成でき、動画においてはよりリアルな画像を再生表示することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して本発明の実施の形態を説明する。  
（第１の実施形態）  
図１に示すように、原画像の第ｍフレーム（ｍは任意の整数）１と第ｍ＋ｎフレーム（ｎは１以上の整数）２間の動きベクトルを検出するために、本発明の第１の実施形態では図２に示すような手順を用いる。以下、図１及び図２を用いて本実施形態の処理手順を説明する。
【００２２】
まず、第ｍフレーム１の画像データを複数の第１ブロック１１に分割し、各々の第１ブロック１１を順次抽出する（ステップＳ１０１）。  
次に、第ｍ＋ｎフレーム２の画像データから、ステップＳ１０１で抽出された第１ブロック１１と同サイズかつ同形状の第２ブロック１２を抽出する（ステップＳ１０２）。  
次に、ステップＳ１０１で抽出された第１ブロック１１と、ステップＳ１０２で抽出された第２ブロック１２との相対応する画素毎の差分絶対値を求める（ステップＳ１０３）。従って、差分絶対値はブロック内の画素数だけ求められることになる。  
次に、各々の差分絶対値を予め定められた共通の閾値と比較し、差分絶対値が閾値以下となる画素の数をカウントして、カウント値ｐ（ｐは０以上の整数）を求める（ステップＳ１０４）。
【００２３】
次に、ステップＳ１０１で抽出された第１ブロック１１毎に、ステップＳ１０４で求められるカウント値ｐが最大となる第１ブロック１１と第２ブロック１２の対を求め、そのブロック対間を結ぶベクトルを動きベクトルとして選択する（ステップＳ１０５）。
【００２４】
図３は、動きベクトルの検出結果により、補間画像が変化する様子を示している。第１ブロック１１に対して検出される動きベクトルがＡの場合、動きベクトルＡによって指し示される第２ブロック１２Ａから画像３Ａが作成される。第１ブロック１１に対して検出される動きベクトルがＢの場合、動きベクトルＢによって指し示される第２ブロック１２Ｂから画像３Ｂが作成される。この例では動きベクトルＡが正しく、動きベクトルＢが誤っている。
【００２５】
本実施形態の目的である補間画像を作成においては、原画像のない所に補間画像を作成するため、動きベクトルの精度によって補間画像の画質がほぼ決定されてしまう。図３のように誤った動きベクトルＢが検出されると、画像３Ｂのように補間画像の画質が大幅に劣化する。
【００２６】
図４は、図３に対応する画像データの例を示している。図４（ａ）に示す第ｍフレーム１の第１ブロック１１に対して、図３に示した動きベクトルＡ及び動きベクトルＢが検出され、第ｍ＋ｎフレーム２から動きベクトルＡ及び動きベクトルＢによって指し示される第２ブロック１２Ａ，１２Ｂが図４（ｂ）及び図４（ｃ）のようにそれぞれ抽出されたとする。
【００２７】
図４（ａ）に示されるように、第ｍ＋ｎフレーム２の画像は明るさがわずかに変化している。正しい動きベクトルＡによって指し示される第２ブロック１２Ａは、図４（ｂ）のように第４図（ａ）に対して全体的に輝度が明るくなっているが、形状は変化していないことが重要である。一方、誤った動きベクトルＢによって指し示される第２ブロック１２Ｂである図４（ｃ）は、全面ラスタ画像の部分であり、形状そのものが図４（ａ）とは異なっている。
【００２８】
次に、ＭＰＥＧ２で行われているブロックマッチング法によって、第１ブロックと第２ブロックのブロック対、すなわち図４（ａ）と（ｂ）間及び図４（ａ）と（ｃ）間の画素値の差分絶対値和（以下、単に差分絶対値和という）をそれぞれ求める。図４（ａ）と（ｂ）間の差分絶対値和は、図４（ｄ）に示すように「１８０」であるのに対して、図４（ａ）と（ｃ）間の差分絶対値和は、図４（ｅ）に示すように「１５０」となる。差分絶対値和の小さい方が選択されるとすると、図４（ａ）と（ｃ）のブロック対が選択され、対応する動きベクトルＢが選択される。しかし、エッジなどの形状から判定すると、より相関が高いのは図４（ａ）と（ｂ）のブロック対である。
【００２９】
図５は、本実施形態に従う図３に対応する画像データの例であり、図５（ａ）（ｂ）（ｃ）は図４（ａ）（ｂ）（ｃ）と同じである。本実施形態に従い、閾値を例えば「２０」と設定し、第１及び第２ブロック間で画素毎の差分絶対値が閾値以下の画素の数をカウントして、カウント値ｐを求める。この場合、第１ブロック１１である図５（ａ）と動きベクトルＡによって指し示される第２ブロック１２Ａである図５（ｂ）間の差分絶対値和が閾値以下の画素数のカウント値は「９」となる。図５（ａ）と動きベクトルＢによって指し示される第２ブロック１２Ｂである図５（ｃ）間の差分絶対値和が閾値以下の画素数のカウント値は「６」となる。
【００３０】
本実施形態によると、カウント値ｐが大きい方のブロック対間の動きベクトルが選択されるので、図５（ａ）と（ｂ）のブロック対間の動きベクトルＡが選択される。発明者らの行った実験からも、画像の平均画素値（輝度値）の３％前後となるように上記の閾値を設定することで、誤った動きベクトルの検出が減少することが確認された。簡単には、例えば２５６階調の画像においては閾値を５レベルとすることで、その効果を確認できた。
【００３１】
次に、本実施形態に係る上述の動きベクトル検出処理を実施する動きベクトル検出装置の構成を図６に示す。ここでは説明を簡略化するためにｎ＝１とする。入力画像信号３１は第ｍ＋１フレームメモリ３２及び第ｍフレームメモリ３３に順次入力され、これらのフレームメモリ３２及び３３から、第ｍ＋１フレーム及び第ｍフレームの画像信号３４及び３５がそれぞれ読み出される。
【００３２】
第１ブロック抽出部４１において図２中のステップＳ１０１の処理、すなわち第ｍフレームからの第１ブロック抽出を行い、第２ブロック抽出部４２においてステップＳ１０２の処理、すなわち第ｍ＋１フレームからの第２ブロック抽出を行う。第１ブロックの画像信号と第２ブロックの画像信号をブロック間差分絶対値算出部５１に入力し、ステップＳ１０３の処理、すなわち相対応する画素毎の差分絶対値Ｅ１の計算を行う。差分絶対値Ｅ１は、以下の式により算出される。
【００３３】
【数１】
2006279982.tif 000003
【００３４】
ここで、Ｄは動きベクトル、Ｘはブロックの位置ベクトル、ｆ（Ｘ，ｍ）は各ブロックの位置（Ｘ）及びフレーム（ｍ）に対応する画素データを表している。これについては、後述する他の実施形態においても適用される。
【００３５】
差分絶対値算出部５１により得られた差分絶対値Ｅ１は、閾値以下となる画素数のカウント部５２に入力され、ステップＳ１０４の処理、すなわち差分絶対値Ｅ１を閾値と比較し、閾値以下となる画素のカウント値ｐを求める計算が第１及び第２ブロックのブロック対毎に行われる。カウント値ｐは動きベクトル選択部５３へ入力され、ステップＳ１０５の処理、すなわちカウント値ｐが最大となるブロック対の抽出と動きベクトルの検出・選択が行われる。
【００３６】
このように本実施形態では、第ｍフレームと第ｍ＋ｎフレーム間で形状に重点をおいた動きベクトル検出を行うことができる。
【００３７】
（第２の実施形態）  
図７に示すように、原画像の第ｍフレーム（ｍは任意の整数）から第ｍ＋ｎフレーム（ｎは１以上の整数）への動きベクトルを検出するとともに、第ｍ＋ｎフレームから第ｍフレームへの動きベクトルを検出する。本発明の第２の実施形態では、図８に示すような手順に従って、このような双方向の動きベクトルを検出する。以下、図７及び図８を用いて本実施形態の処理手順を説明する。図８において、ステップＳ２０１〜Ｓ２０５の処理は、図２のステップＳ１０１〜Ｓ１０５と同様である。
【００３８】
すなわち、まず第ｍフレーム１の画像データを複数の第１ブロック１１に分割し、各々の第１ブロック１１を順次抽出する（ステップＳ１０１）。  
次に、第ｍ＋ｎフレーム２の画像データから、ステップＳ２０１で抽出された第１ブロック１１と同サイズかつ同形状の第２ブロック１２を抽出する（ステップＳ２０２）。  
次に、ステップＳ２０１で抽出された第１ブロック１１と、ステップＳ２０２で抽出された第２ブロック１２との相対応する画素毎の差分絶対値（第１差分絶対値和）を求める（ステップＳ２０３）。  
次に、各々の第１差分絶対値を予め定められた共通の第１閾値と比較し、第１差分絶対値が第１閾値以下となる画素の数をカウントして、第１カウント値ｐ（ｐは０以上の整数）を求める（ステップＳ２０４）。  
次に、ステップＳ２０１で抽出された第１ブロック１１毎に、ステップＳ２０４で求められる第１カウント値ｐが最大となる第１ブロック１１と第２ブロック１２の対を求め、そのブロック対間を結ぶベクトルを第１動きベクトル候補Ｄとして選択する（ステップＳ２０５）。
【００３９】
次に、第ｍ＋ｎフレーム２の画像データを複数の第３ブロック１３に分割し、各々の第３ブロック１３を順次抽出する（ステップＳ２０６）。  
次に、第ｍフレーム１の画像データから、ステップＳ２０６で抽出された第３ブロック１３と同サイズかつ同形状の第４ブロック１４を抽出する（ステップＳ２０７）。  
次に、ステップＳ２０６で抽出された第３ブロック１３と、ステップＳ２０７で抽出された第４ブロック１４との相対応する画素毎の差分絶対値（第２差分絶対値和）を求める（ステップＳ２０８）。  
次に、各々の第２差分絶対値を予め定められた共通の第２閾値と比較し、第２差分絶対値が第２閾値以下となる画素の数をカウントして、第２カウント値ｑ（ｑは０以上の整数）を求める（ステップＳ２０９）。
【００４０】
次に、ステップＳ２０６で抽出された第３ブロック１３毎に、ステップＳ２０９で求められる第２カウント値ｑが最大となる第３ブロック１３と第４ブロック１４の対を求め、そのブロック対間を結ぶベクトルを第２動きベクトル候補Ｅとして選択する（ステップＳ２１０）。
【００４１】
次に、カウント値ｐとｑの大小比較を行い（ステップＳ２１１）、この比較結果に応じて、ｐがｑ以上の場合には第１ベクトル候補Ｄを動きベクトルとして選択し（ステップＳ２１２）、ｐがｑより小さい場合には第２ベクトル候補Ｅを動きベクトルとして選択する（ステップＳ２１３）。  
なお、上記第１、第２の閾値は適宜選択される値であり、異なっていてもよいし、同じ値であってもよい。
【００４２】
次に、本実施形態に係る動きベクトル検出方法を実施する動きベクトル検出装置の構成を図９に示す。ここでは説明を簡略化するためにｎ＝１とする。図９では、図５に示した第１の実施形態に係る動きベクトル検出装置に、第３及び第４ブロック抽出部４３，４４が追加されている。また、図５に示したブロック間差分絶対値誤差算出部５１に相当する第１ブロックと第２ブロック間差分絶対値誤差算出部５１Ａに加えて、第３ブロックと第４ブロック間差分絶対値誤差算出部５１Ｂが追加され、さらに図５に示したカウント部５２に相当する画素数ｐのカウント部５２Ａに加えて、画素数ｑのカウント部５２Ｂが追加されている。
【００４３】
第１動きベクトル候補を求める処理は、第１の実施形態における動きベクトルＤを求める処理と同様に行う。第１ブロック抽出部４１において図８中のステップＳ２０１の処理、すなわち第ｍフレームからの第１ブロック抽出を行い、第２ブロック抽出部４２においてステップＳ２０２の処理、すなわち第ｍ＋１フレームからの第２ブロック抽出を行う。
【００４４】
第１ブロックの画像信号と第２ブロックの画像信号をブロック間差分絶対値算出部５１Ａに入力し、ステップＳ２０３の処理、すなわち相対応する画素毎の差分絶対値Ｅ１の計算を式（１）に従って行う。差分絶対値算出部５１Ａにより得られた差分絶対値Ｅ１は、閾値以下となる画素数Ｐのカウント部５２Ａに入力され、ステップＳ２０４の処理、すなわち差分絶対値Ｅ１を閾値と比較し、閾値以下となる画素のカウント値ｐを求める計算が第１及び第２ブロックのブロック対毎に行われる。カウント値ｐは動きベクトル選択部５３へ入力され、ステップＳ２０５の処理、すなわちカウント値ｐが最大となるブロック対の抽出とそれに基づく第１動きベクトル候補Ｄの検出・選択が行われる。
【００４５】
一方、第２動きベクトル候補Ｅを検出する処理は、まず第３ブロック抽出部４３において図８中のステップＳ２０６の処理、すなわち第ｍ＋１フレームからの第３ブロック抽出を行い、第４ブロック抽出部４４においてステップＳ２０７の処理、すなわち第ｍフレームからの第４ブロック抽出を行う。第３ブロックの画像信号と第４ブロックの画像信号をブロック間差分絶対値算出部５１Ｂに入力し、ステップＳ２０８の処理、すなわち相対応する画素毎の差分絶対値Ｅ２の計算を行う。差分絶対値Ｅ２は、以下の式により算出される。ここで、Ｅは第２動きベクトル候補を表す。
【００４６】
【数２】
2006279982.tif 000004
【００４７】
差分絶対値算出部５１Ｂにより得られた差分絶対値Ｅ２は、閾値以下となる画素数のカウント部５２Ｂに入力され、ステップＳ２０９の処理、すなわち差分絶対値Ｅ２を閾値と比較し、閾値以下となる画素のカウント値ｑを求める計算が第３及び第４ブロックのブロック対毎に行われる。カウント値ｑは動きベクトル選択部５３へ入力され、ステップ２１０の処理、すなわちカウント値ｑが最大となるブロック対の抽出とそれに基づく第２動きベクトル候補Ｅの検出・選択が行われる。
【００４８】
次に、ステップ２１１の処理、すなわち第１動きベクトルを検出した場合に求められたカウント値ｐとカウント値ｑの大小関係を比較し、ｐがｑ以上の場合には第１動きベクトル候補Ｄを、ｐがｑより小さい場合には第２動きベクトルＥをそれぞれ動きベクトルとして最終的に選択する処理が行われる。
【００４９】
このように本実施形態では、第ｍフレームから第ｍ＋ｎフレームへの動きベクトル検出と第ｍ＋ｎフレームから第ｍフレームへの動きベクトル検出の両方を行い、これらのうちで信頼性の高い方を選択することによって、より精度の高い動きベクトル検出を行うことができる。
【００５０】
（第３の実施形態）  
図１０に示すように、原画像の第ｍフレーム（ｍは任意の整数）１と第ｍ＋ｎフレーム（ｎはｋ＋１以上の整数，ｋは任意の実数）２間の動きベクトルＦを検出するために、第ｍフレーム１と第ｍ＋ｎフレーム２の間に第ｍ＋ｋ（ｋは任意の実数）フレーム４を仮定し、第ｍ＋ｋフレーム４を中心として第ｍフレーム１及び第ｍ＋ｎフレーム２に対して方向が互いに逆向きのベクトル（第３動きベクトル及び第４動きベクトル）を想定する。
【００５１】
ここで、第ｍ＋ｋフレーム４は上述のように第ｍフレーム１と第ｍ＋ｎフレーム２の間に仮定した、原画像の存在しない仮想フレームであり、原画像を基に新たに構成され得る画像データの集まりである。本発明の第３の実施形態では、図１１に示すような手順を用いる。以下、図１０及び図１１を用いて本実施形態の処理手順を説明する。
【００５２】
まず、第ｍ＋ｋフレーム４の画像データを複数の第５ブロック１５に分割し、それぞれの第５ブロック１５を抽出する（ステップＳ３０１）。  
次に、第ｍフレーム１の画像データから第５ブロック１５と同サイズかつ同形状の第６ブロック１６を抽出する（ステップＳ３０２）。  
次に、第５ブロック１５と第６ブロック１６とを結ぶベクトルを第３動きベクトルとして求める（ステップＳ３０３）。第ｍフレーム１と第ｍ＋ｎフレーム２間の動きベクトルをＦとすれば、これに対応する第３動きベクトルは、Ｆを第ｍ＋ｋフレーム４と第ｍフレーム１間のベクトルにスケーリングした動きベクトルであるので、図１０中に示されるように−Ｆ・ｋ／ｎとなる。  
次に、第３動きベクトルの−（ｎ−ｋ）／ｋ倍である第４動きベクトルを算出する（ステップＳ３０４）。上述したように、第ｍフレーム１と第ｍ＋ｎフレーム２間の動きベクトルＦに対応する第３動きベクトルを−Ｆ・ｋ／ｎとすれば、第４動きベクトルはＦ（ｎ−ｋ）／ｎであり、これはＦを第ｍ＋ｎフレーム１と第ｍ＋ｋフレーム４間のベクトルにスケーリングした動きベクトルとなる。  
次に、第４動きベクトルに従って第ｍ＋ｎフレーム２から第５ブロック１５の移動先となる第７ブロック１７を抽出する（ステップＳ３０５）。  
次に、第６ブロック１６と第７ブロック１７との相対応する画素毎の差分絶対値Ｅ３を求める（ステップＳ３０６）。  
次に、ステップＳ３０６で求められた差分絶対値Ｅ３と予め定められた閾値とを比較し、閾値以下となる画素数をカウントし、カウント値ｒ（ｒは０以上の整数）をを求める（ステップＳ３０７）。  
次に、第６ブロック１６及び第７ブロック１７からカウント値ｒが最大となるブロック対を求め、そのブロック対間を結ぶベクトルを動きベクトルＦとして選択する（ステップＳ３０８）。
【００５３】
本実施形態に係る動きベクトル検出処理を実施する動きベクトル検出装置の構成は基本的に図６と同じであり、時間的に任意の位置に設定された第ｍ＋ｋフレーム４の時間的に前後の画像データをフレームメモリ３２，３３に保存する。ここで、差分絶対値Ｅ３は以下の式により計算される。
【００５４】
【数３】
2006279982.tif 000005
【００５５】
（第４の実施形態）  
次に、本発明の第４の実施形態として、ベクトルの正誤判定機能を付加した例について説明する。本実施形態においては、第ｍ＋ｋフレーム４は第３の実施形態とは異なり、原画像が存在するフレームであることが条件になる。図１２に示すように、原画像の第ｍ＋ｋフレーム４を挟むように、第ｍフレーム（ｍは任意の整数）１と第ｍ＋ｎフレーム（ｎはｋ＋１以上の整数，ｋは１以上の整数）２間の動きベクトルを検出する。
【００５６】
ここで、本実施形態における第ｍ＋ｋフレーム４は上述のように原画像が存在する実フレームであり、第３の実施形態で述べた仮想フレームとしての第ｍ＋ｋフレームとは異なるが、時間軸上で同じ位置であっても構わない。本実施形態では、図１３に示すような手順を用いて動きベクトルの検出を行う。以下、図１２及び図１３を用いて本実施形態の処理手順を説明する。
【００５７】
まず、第ｍフレーム１の画像データを複数の第５ブロック１５に分割し、それぞれの第５ブロック１５を抽出する（ステップＳ４０１）。  
次に、第ｍ＋ｎフレーム２の画像データから第５ブロック１５と同サイズかつ同形状の第６ブロック１６を抽出する（ステップＳ４０２）。  
次に、第５ブロック１５と第６ブロック１６とを結ぶベクトルを第１動きベクトルＦとして求める（ステップＳ４０３）。  
次に、第５ブロックと第６ブロックとの相対応する画素毎の差分絶対値Ｅ４を求める（ステップＳ４０４）。  
次に、ステップＳ４０４で求められた差分絶対値Ｅ４と予め定められた閾値とを比較し、閾値以下となる画素数をカウントしてカウント値ｐ（ｐは０以上の整数）を求める（ステップＳ４０５）。  
次に、第１動きベクトルＦのそれぞれに対応して、第１動きベクトルＦのｋ／ｎ倍である第２動きベクトルＦ・ｋ／ｎを算出する（ステップＳ４０６）。  
次に、第２動きベクトルＦ・ｋ／ｎに従って第ｍ＋ｋフレーム２から第５ブロック１５の移動先となる第７ブロック１７を抽出する（ステップＳ４０７）。  
次に、第５ブロック１５と第７ブロック１７との相対応する画素毎の差分絶対値Ｅ５を求める（ステップＳ４０８）。  
次に、ステップＳ４０７で求められた差分絶対値Ｅ５と予め定められた閾値とを比較し、閾値以下となる画素数をカウントしてカウント値ｑ（ｑは０以上の整数）を求める（ステップＳ４０９）。  
次に、カウント値ｐ及びカウント値ｑから重み付け加算値ｒ（ｒ＝ｘ×ｐ＋（１−ｘ）ｒ；ｘは０以上１以下の実数）を求める（ステップＳ４１０）。  
次に、第５ブロック１５と第６ブロック１６から重み付け加算値ｒが最大となるベクトル対を求め、そのブロック対間を結ぶ第１ベクトルＦを第ｍフレーム１と第ｍ＋ｎフレーム２間の動きベクトルとして選択する（ステップＳ４１１）。
【００５８】
次に、本実施形態に係る動きベクトル検出処理を実施する動きベクトル検出装置の構成を図１４に示す。ここでは説明を簡略化するためにｎ＝２，ｋ＝１とする。入力画像信号３０は第ｍフレームメモリ３１、第ｍ＋１フレームメモリ３２及び第ｍ＋２フレームメモリ３３に順次入力され、これらのメモリ３１，３２，３３から第ｍフレーム、第ｍ＋１フレーム及び第ｍ＋２フレームの画像信号が読み出される。
【００５９】
第５ブロック抽出部４５において、第ｍフレームから第５ブロックの抽出を行い、第６ブロック抽出部４６において、第ｍ＋１フレームから第６ブロックの抽出を行う。第１動きベクトル算出部６１では、第５ブロックと第６ブロックを結ぶ第１動きベクトルＦを算出し、第５ブロックの画像信号と第６ブロック間差分絶対値の算出部５１Ｃでは、相対応する画素毎に第５ブロックの画像信号と第６ブロックの画像信号の差分絶対値Ｅ４を求める。差分絶対値Ｅ４は閾値以下となる画素数のカウント部５２Ａに入力され、ここで閾値と比較されて閾値以下となる画素のカウント値ｐが求められる。カウント値ｐはブロック対毎に求められ、動きベクトル選択部５３へ入力される。
【００６０】
次に、第２動きベクトル生成部６２へ第１動きベクトルＦを入力し、第１動きベクトルＦのｋ／ｎ倍である第２動きベクトルＦ・ｋ／ｎを算出する。第７ブロック抽出部４７では、第２動きベクトルＦ・ｋ／ｎに従って第ｍ＋１フレームから第５ブロックの移動先となる第７ブロックを抽出する。第５ブロックの画像信号と第７ブロック間差分絶対値の算出部５１Ｄでは、相対応する画素毎に第５ブロックの画像信号と第７ブロックの画像信号の差分絶対値Ｅ５を求める。差分絶対値Ｅ５は閾値以下となる画素数のカウント部５２Ｂに入力され、ここで閾値と比較されて閾値以下となる画素のカウント値ｑが求められる。カウント値ｑはブロック対毎に求められ、動きベクトル選択部５３へ入力される。
【００６１】
最後に、動きベクトル選択部５３ではカウント値ｐ及びカウント値ｑから重み付け加算値ｒ（ｒ＝ｘ×ｐ＋（１−ｘ）ｒ；ｘは０以上１以下の実数）を求め、重み付け加算値ｒが最大となる第５ブロックと第６ブロックとを結ぶ第１動きベクトルＦを第ｍフレームと第ｍ＋ｎフレーム間の動きベクトルとして選択する動きベクトルとして選択する。
【００６２】
ここで、第５ブロックと第６ブロックの差分絶対値Ｅ４は、以下の式により計算される。
【００６３】
【数４】
2006279982.tif 000006
【００６４】
また、第５ブロックと第７ブロックの差分絶対値Ｅ５は、以下の式により計算される。
【００６５】
【数５】
2006279982.tif 000007
【００６６】
（第５の実施形態）  
第５の実施形態では、図１５に示すように例えば原画像の第ｍフレーム（ｍは任意の整数）１と第ｍ＋ｎフレーム（ｎは１以上の整数）２間の動きベクトルを検出する際、各フレームにおける各ブロックを更に複数の領域に分割して、各領域毎に動きベクトルを検出する機能が付加される。本実施形態では、図１６に示すような手順を用いる。以下、図１５及び図１６を用いて本実施形態の処理手順を説明する。また、ここでは説明を簡略化するためにｎ＝１とし、ブロック内を２つの領域に分割する。
【００６７】
まず、第ｍフレーム１の画像データを複数の第１ブロック１１に分割し、それぞれの第１ブロック１１を順次抽出する（ステップＳ５０１）。  
次に、第ｍ＋１フレーム２の画像データから第１ブロック１１と同サイズかつ同形状の第２ブロック１２を抽出する（ステップＳ５０２）。  
次に、第１ブロック１１と第２ブロック１２との相対応する画素毎の差分絶対値Ｅ１を求める（ステップＳ５０３）。  
次に、差分絶対値Ｅ１と予め定められた第１閾値とを比較し、差分絶対値Ｅ１が第１閾値以下となる画素数をカウントしてカウント値ｐ（ｐは０以上の整数）を求める（ステップＳ５０４）。  
次に、カウント値ｐが最大となる第１ブロック１１と第２ブロック１２とを結ぶベクトルを、第１領域と第ｍ＋１フレーム間の動きベクトル（第１領域別動きベクトル）Ｅとする（ステップＳ５０５）。  
次に、差分絶対値Ｅ１と定められた第２閾値とを比較し、差分絶対値Ｅ１が第２閾値以下となる第１ブロック１１内の画素を第１領域の画素ブロック２１として抽出し（ステップＳ５０６）、差分絶対値Ｅ１が第２閾値より大きくなる第１ブロック１１内の画素を第２領域の画素ブロック２２として抽出する（ステップＳ５０７）。  
次に、第２領域の画素ブロック２２に対して第ｍ＋１フレーム２の画像データから第２領域の画素ブロック２２と同サイズ及び形状の第３ブロック１３を抽出する（ステップＳ５０８）。
【００６８】
次に、第２領域の画素ブロック２２と第３ブロック１３との相対応する画素毎の差分絶対値Ｅ６を求める（ステップＳ５０９）。
【００６９】
次に、差分絶対値Ｅ６と予め定められた第３閾値とを比較し、第３閾値以下となる画素数をカウントしてカウント値ｓ（ｓは０以上の整数）を求める（ステップＳ５１０）。
【００７０】
最後に、カウント値ｓが最大となる第２領域の画素ブロック２２と第３ブロック１３とを結ぶベクトルを、第２領域と第ｍ＋１フレーム間の動きベクトル（第２の領域別動きベクトル）として選択する（ステップＳ５１１）。  
なお、上記第１〜第３の閾値は適宜選択される値であり、全て異なっていてもよいし、これらの２つ以上が同じ値であってもよい。
【００７１】
図１７には、第ｍフレーム１と、第ｍ＋ｎフレーム２の原画像、及び領域分割をしなかった場合に第１領域の動きベクトルＥから第ｍフレーム１を再生したフレーム５の画像を示している。ここではオブジェクトＯ１が右方向へ移動、オブジェクトＯ２が下方向へ移動、オブジェクトＯ３が静止している。第１領域の動きベクトルＥはオブジェクトＯ１の成分により求められるが、第ｍ＋ｎフレーム２ではオブジェクトＯ３がブロック内に入り込んでいる。そのブロックを第ｍフレーム１の再生フレーム５の画像に取り込むと、再生フレーム５の当該ブロック内に誤り部分が再現されてしまい、いわゆるブロック歪となる。これは特に差分信号を使わない補間画像生成時に問題となる。
【００７２】
これに対し、本実施形態によれば、ブロックをさらに領域分割して領域別の動きベクトルを検出することにより、このようなブロック歪の発生を防止することができる。
【００７３】
次に、本実施形態に係る上述の動きベクトル検出処理を実施する動きベクトル検出装置の構成を図１８に示す。入力画像信号３０は、第ｍ＋１フレームメモリ３２及び第ｍフレームメモリ３３に順次入力され、これらのフレームメモリ３２及び３３から第ｍ＋１フレーム及び第ｍフレームの画像信号がそれぞれ読み出される。
【００７４】
第１ブロック抽出部４１において、第ｍフレームから第１ブロックの抽出を行い、第２ブロック抽出部４２において、第ｍ＋１フレームから第２ブロックの抽出を行う。第１ブロックの画像信号と第２ブロックの画像信号をブロック間差分絶対値の算出部５１Ａに入力し、相対応する画素毎の差分絶対値Ｅ１を求める。ここで、差分絶対値Ｅ１は式（１）により求められる。差分絶対値Ｅ１は閾値以下となる画素数のカウント部５２Ａに入力され、ここで閾値と比較されて閾値以下となる画素のカウント値ｐが求められる。カウント値ｐはブロック対毎に求められ、第１領域の動きベクトル選択部５３Ａへ入力されることにより、カウント値ｐが最大となるブロック対の抽出及び第１領域の動きベクトルの検出・選択が行われる。
【００７５】
次に、第１領域の画素ブロック抽出部５５Ａにおいて、閾値以下となる第１ブロック内の画素を抽出し、さらに第２領域の画素ブロック抽出部５５Ｂにおいて、閾値より大きくなる第１ブロック内の画素を抽出する。第２領域の画素ブロック抽出部５５Ｂからは、第２領域の画素のアドレス信号が第ｍ＋１フレ−ムメモリ３２へ入力され、フレームメモリ３２から第３ブロック抽出部４３において第３ブロックが抽出される。
【００７６】
抽出された第２領域の画素ブロックと第３ブロックは、第２領域の画素ブロックと第３ブロック間差分絶対値の算出部５１Ｅにおいて、相対応する画素毎の差分絶対値Ｅ６が求められる。ここで差分絶対値Ｅ６は、式（１）の差分絶対値Ｅ１を求める計算と同様の計算で求められる。差分絶対値Ｅ３は閾値以下となる画素数のカウント部５２Ｂに入力されて閾値と比較され、閾値以下となる画素数のカウント値ｑが求められる。カウント値ｑはブロック対毎に求められ、第２領域の動きベクトル選択部５３Ｂへ入力されることにより、カウント値ｑが最大となるブロック対の抽出及び第２領域の動きベクトルの検出・選択が行われる。
【００７７】
（第６の実施形態）  
次に、本発明の第６の実施形態として、第５の実施形態における第１領域の画素ブロック及び第２領域の画素ブロックの抽出方法を改良した実施形態について図１９を用いて説明する。
【００７８】
発明者らの実験から、第２領域の画素ブロックを抽出する場合に、画素数が１〜２程度の少数の画素の領域に分割された部分がノイズとなり得ることが分かった。本実施形態では、このようなノイズの発生を抑制するために、第２領域の画素ブロックを抽出する前段階として、第１領域の画素ブロックのサイズをある程度制約するために、空間方向のローパスフィルタリングを行うローパスフィルタ（空間領域のローパスフィルタ）を通す。この様子を図１９に示す。
【００７９】
すなわち、第５の実施形態で説明した図１８中の第１領域の画素ブロック抽出部５５Ａ内に空間領域のローパスフィルタ６を設けるか、あるいは図１７のステップＳ５０６に空間領域のローパスフィルタ処理を追加する。第１領域の画素ブロック１１を空間領域のローパスフィルタ６に通すことにより、小領域の画素ブロックを除去し、第１ブロックの画素ブロックのうち除去されたブロックを最終的な第１領域の画素ブロックとして設定する。
【００８０】
空間領域のローパスフィルタ６としては色々なものが考えられるが、例えばメディアンフィルタ（Median Filter）を用いることができる。メディアンフィルタでは、対象画素の隣接画素が第１領域に属するかどうかを例えば対象画素を含めて隣接８画素について判定し、５画素以上が第１領域に属する場合は対象画素を第１領域とし、４画素以下の場合には対象画素を第２領域と判定する。このような処理を繰り返すことにより、全画素に対して空間領域のローパスフィルタリングを行うことが可能となる。この他にも、第１領域と第２領域を色分けしたモノクロ画像（以下、領域マップと呼ぶ）を作成後、その画像に対してフーリエ変換を行って低域成分を取り出し、逆フーリエ変換により領域マップを再生する方法を用いてもよい。
【００８１】
（第７の実施形態）  
次に、本発明の第７の実施形態として、第６の実施形態と同様に、第５の実施形態における第１領域の画素ブロック及び第２領域の画素ブロックの抽出方法を改良した例について図２０を用いて説明する。
【００８２】
本実施形態では、画素数が１〜２程度の少数の画素の領域に分割された部分に起因するノイズの発生を抑制するために、第２領域の画素ブロックを抽出する前段階として、第１領域の画素ブロックの抽出処理に通常のブロックマッチング方法において使われている輝度成分についての閾値判定処理に加えて、色差成分についての閾値判定処理を追加する。具体的には、例えば図２０のフローチャートに示すように、図１６のステップＳ５０３及びＳ５０４に代えて、以下の処理を行う。
【００８３】
すなわち、第１ブロックの輝度情報を持つ第１輝度ブロックと第２ブロックの輝度情報を有する第２輝度ブロックとの相対応する画素毎の輝度についての差分絶対値（第１差分絶対値）Ｅ１１を求める（ステップＳ５１２）。  
次に、第１差分絶対値Ｅ１１と予め定められた輝度についての第１閾値とを比較し、第１差分絶対値Ｅ１１が第１閾値以下となる画素を求める（ステップＳ５１３）。  
次に、第１ブロック及び第２ブロックの第１差分絶対値Ｅ１１が第１閾値以下となる画素について、第１ブロックの色差情報を有する第１色差ブロックと第２ブロックの色差情報を有する第２色差ブロックをそれぞれ抽出する（ステップＳ５１４）。  
次に、第１差分値Ｅ１１が第１閾値以下となる画素毎に第１色差ブロックと第２色差ブロックとの色差についての差分絶対値（第２差分絶対値）Ｅ１２を求めるステップ（ステップＳ５１５）。  
次に、第２差分絶対値Ｅ１２と予め定められた色差についての第２閾値とを比較し、第２差分絶対値Ｅ１２が第２閾値以下となる画像の数をカウントしてカウント値ｐ（ｐは０以上の整数）を求める（ステップＳ５１６）。  
ステップＳ５１６以降の処理は、第１領域の画素ブロックが色差についても閾値以下としている点を除くと、図１６におけるステップＳ５０５〜Ｓ５１１と同様の処理でよい。すなわち、ステップＳ５０５ではカウント値ｐが最大となる第１ブロック１１と第２ブロック１２とを結ぶベクトルを第１領域と第ｍ＋１フレーム間の動きベクトル（第１領域別動きベクトル）とする。  
次に、ステップＳ５０６では、第２差分絶対値Ｅ１２と定められた第２閾値とを比較し、第２差分絶対値Ｅ１２が第２閾値以下となる第１ブロック１１内の画素を第１領域の画素ブロック２１とする。  
次に、ステップＳ５０７では、第２差分絶対値Ｅ１２と予め定められた第２閾値とを比較し、第２閾値より大きくなる第１ブロック１１内の画素を第２領域の画素ブロック２２とする。  
次に、ステップＳ５０８では、第ｍ＋１フレーム２の画像データから第２領域の画素ブロック２２と同サイズ及び形状の第３ブロック１３を抽出する。  
次に、ステップＳ５０９では、第２領域の画素ブロック２２と第３ブロック１３との相対応する画素毎の輝度についての第３差分絶対値Ｅ１３を求める。  
次に、ステップＳ５１０では、第３差分絶対値Ｅ１３と予め定められた第３閾値とを比較し、第３閾値以下となる画素数をカウントしてカウント値ｓ（ｓは０以上の整数）を求める。  
最後に、ステップＳ５１１では、カウント値ｓが最大となる第２領域の画素ブロック２２と第３ブロック１３とを結ぶベクトルを第２領域と第ｍ＋１フレーム間の動きベクトル（第２領域別動きベクトル）として選択する。  
なお、上記第１〜第３の閾値は適宜選択される値であり、全て異なっていてもよいし、これらの２つ以上が同じ値であってもよい。
【００８４】
（第８の実施形態）  
次に、本発明の第８の実施形態として、第５の実施形態における第２領域の画素ブロックの抽出方法を改良した例について説明する。第５の実施形態と異なる点は、第２領域の画素ブロックを抽出する場合に、隣接する第２領域の画素ブロックを連結させて動きベクトル検索を行う点である。
【００８５】
例えば、図２１に示すように第ｍフレーム１のある第１ブロックの第２領域と隣接する第１ブロックの第２領域を空間的に連結し、第２空間拡張領域２３の画素ブロックとする。次に、第２空間拡張領域の画素ブロック２３に対して、第ｍ＋ｎフレーム２の画像データから第２空間拡張領域の画素ブロック２３と同サイズ及び同形状の第３空間拡張領域の画素ブロック２４を抽出する。  
次に、第２空間拡張領域の画素ブロック２３と第３空間拡張領域の画素ブロック２４との相対応する画素毎の差分絶対値を求める。  
次に、該差分絶対値と予め定められた閾値とを比較し、閾値以下となる画素の数をカウントしてカウント値ｓ（ｓは０以上の整数）を求める。  
次に、カウント値ｓが最大となる第２空間拡張領域の画素ブロック２３と第３空間拡張領域の画素ブロック２４とを結ぶベクトルを第２空間拡張領域の動きベクトルとして選択する。
【００８６】
（第９の実施形態）  
次に、本発明の第９の実施形態として、第５の実施形態における第２領域の画素ブロックの抽出方法を改良した他の例について説明する。第５の実施形態と異なる点は、第２領域の画素ブロックを抽出する場合に、時間方向に探索領域を拡張する点である。
【００８７】
例えば、図２２は第ｍ−２フレーム７から第ｍ＋２フレーム９までの５つのフレーム上に、静止オブジェクトＯ１及びＯ２と画面右下から左上へ移動するオブジェクトＯ３がある例について示している。オブジェクトＯ３は、オブジェクトＯ１の背面にあって第ｍフレーム１で出現し、第ｍ＋１フレーム２以降はオブジェクトＯ２の前面にあるため、オブジェクトＯ２を覆い隠すように移動する。すなわち、オブジェクトＯ２はオブジェクトＯ１により、第ｍ＋１フレーム２及びｍ＋２フレーム９では消滅する。
【００８８】
図２２から分かるように、第ｍフレーム１の第１領域の画素ブロック２１については、第ｍフレーム１と第ｍ−１フレーム８間では動き探索を行うことができるが、第ｍフレーム１と第ｍ＋１フレーム２間では第ｍ＋１フレーム２上のオブジェクトＯ３により第１領域の画素ブロック２１が消滅してしまうため、動き探索を行うことができない。同様に、第ｍフレーム１の第２領域の画素ブロック２２については、第ｍフレーム１と第ｍ−１フレーム８間では第２領域の画素ブロック２２が出現していないため、動き探索を行うことができない。
【００８９】
このようにオブジェクトの陰面関係によって、第１領域の画素ブロック２１及び第２領域の画素ブロック２２の動き探索をできない場合が起こり得る。このような陰面関係を解決する方法として、時間方向に探索領域を拡張することが有効となる。
【００９０】
そこで本実施形態では、第ｍフレーム（ｍは任意の整数）１と第ｍ＋ｎ（ｎは１以上の整数）フレーム２間の動きベクトルを求める際に、時間軸方向に拡張してブロック対を探索する方法を採用する。特に第２領域の画素ブロック２２の探索を時間方向へ拡張することで、画素数が少なくなった第２領域の動き探索を精度良く実施できる。ここで説明を簡単にするために、ｎ＝１，ｋ＝−２，−１，２とする。
【００９１】
まず、第６の実施形態と同様に第ｍフレーム１から第１領域の画素ブロック２１及び第２領域の画素ブロック２２を抽出した後、第ｍ＋１フレーム２の画像データから第２領域の画素ブロック２２と同サイズ及び形状の第３ブロックを抽出する。  
次に、第２領域の画素ブロック２２と第３ブロックとを結ぶベクトルを第３動きベクトルとして求める。第３動きベクトルをＦとすると、Ｆを第ｍ＋２フレーム４と第ｍフレーム１間のベクトルにスケーリングした動きベクトルは２Ｆとなる。  
次に、動きベクトル２Ｆに従って第ｍ＋２フレームから画素ブロック２２の移動先となる第４ブロック１７を抽出する。  
次に、第ｍ−１フレーム２の画像データから第２領域の画素ブロック２２と同サイズ及び形状の第５ブロック１８を抽出する。  
次に、第２領域の画素ブロック２２と第５ブロックとを結ぶベクトルを第４動きベクトルとして求める。前記第４動きベクトルをＧとすると、Ｇを第ｍ−２フレームと第ｍフレーム１間のベクトルにスケーリングした動きベクトルは２Ｇとなる。  
次に、動きベクトル２Ｇに従って第ｍ−２フレームから画素ブロック２２の移動先となる第６ブロック１９を抽出する。  
次に、第２領域の画素ブロック２２と第３、第４、第５及び第６ブロックとの相対応する画素毎の差分絶対値をそれぞれ求める。  
次に、各差分絶対値と予め定められた閾値とを比較し、閾値以下となる画素の数をカウントしてカウント値ｓ（ｓは０以上の整数）を夫々求める。ここで、画素ブロック２２と第３とのカウント値をＳ３、画素ブロック２２と第４とのカウント値をＳ４、画素ブロック２２と第５とのカウント値をＳ５、画素ブロック２２と第６とのカウント値をＳ６とする。  
次に、カウント値Ｓ３とカウント値Ｓ４の和とカウント値Ｓ５とカウント値Ｓ６の和を比較し、大きい方の組み合わせを選択する。つまり、Ｓ３とＳ４の和がＳ５とＳ６の和より大きい場合は、画素ブロック２２と第３ブロックを結ぶ第３動きベクトルを第２領域の画素ブロック２２の動きベクトルとして選択する。
【００９２】
（第１０の実施形態）  
次に、本発明の第１０の実施形態として、ブロック内の領域分割を繰り返し行って分割数を増やし、各領域の画素ブロックについての複数の動きベクトルを求める実施形態について図２３を用いて説明する。本実施形態に動きベクトル検出及び領域分割後の動きベクトル検出は、第１の実施形態から第９の実施形態のいずれの方法を用いることができ、異なる点は領域分割数を増やすために反復して行う点にある。
【００９３】
すなわち、第２領域の画素ブロック以降は、まず第ｉ＋１領域の画素ブロックに対して第ｍ＋１フレームの画像データから第ｉ＋１領域の画素ブロックと同サイズ及び形状の第ｉ＋２ブロックを抽出する（ステップＳ５１７）。  
次に、第ｉ＋１領域の画素ブロックと第ｉ＋２ブロックとの相対応する画素毎の差分絶対値を求める（ステップＳ５１８）。  
次に、ステップＳ５１８で求められた差分絶対値と予め定められた閾値とを比較し、閾値以下となる画素の数をカウントしてカウント値ｓi+1（ｓi+1は０以上の整数；下付のｉ＋１は領域番号）を求める（ステップＳ５１９）。  
次に、カウント値ｓが最大となる第ｉ＋１領域の画素ブロックと第ｉ＋１ブロックとを結ぶベクトルを第ｉ＋１領域の動きベクトルとして選択する（ステップＳ５２０）。  
最後に、反復継続判定処理（ステップＳ５２１）を行い、継続する判断した場合にはステップＳ５１７からＳ５２０までの処理を再度繰り返し、継続終了と判断した場合には終了処理に移る。
【００９４】
反復継続判定処理ステップＳ５２１での処理は、どのような方法であってもよいが、例えば閾値より大きくなる画素数が少なくなった場合（例えば、第１ブロック内の画素数の５％以下）に継続を終了する方法が考えられる。また、領域マップから反復継続判定処理ステップＳ５２１での処理を行ってもよい。例えば、閾値より大きくなる画素数が少なく（例えば第１ブロック内の画素数の１０％以下）、且つ領域マップの空間周波数が高い場合には、領域マップ上に１つまたは２つ程度の画素が散在していると考えられるため、これ以上の動きベクトル検索を行うとかえってエラーが多くなるので、反復を終了する。
【００９５】
（第１１の実施形態）  
次に、本発明の第１１の実施形態として原画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎは１以上の整数）間の第ｍ＋ｋフレーム（ｋは任意の実数）の時間的位置に補間すべき補間画像を作成する補間画像作成方法の実施形態について、図２４を用いて説明する。本実施形態では、図２５に示すような手順を用いる。以下、図２４及び図２５を用いて本実施形態の処理手順を説明する。また、ここでは説明を簡略化するためにｎ＝１，ｋ＝０．５とし、第ｍフレーム１と第ｍ＋１フレーム２の中間、すなわち第ｍ＋０．５フレーム１０の位置に補間画像を作成する。
【００９６】
第１領域の画素ブロックの検出方法は、第５の実施形態と同じ方法でよく、また動きベクトルの検出方法についても、第１〜第４の実施形態のいずれかの方法を用いることができる。すなわち、図１６中のステップＳ５０１〜Ｓ５０６を用いて第１ブロック１１内の第１領域の画素ブロック２１の抽出及び第１領域の動きベクトルＥの検出を行う。
【００９７】
次に、第１領域の動きベクトルＥを第ｍ＋０．５フレ−ム１０の時間的位置に応じてスケール変換する（ステップＳ５２２）。この場合、スケール変換後の動きベクトルはＥ／２となる。  
次に、第ｍ＋１フレーム２から、ステップＳ５２２によるスケール変換後の動きベクトルＥ／２に従って、第ｍフレーム１上の第１ブロック１１と空間的同位置にある第ｍ＋０．５フレーム１０上の第１領域の補間ブロック２５の移動先である第４ブロック１４を抽出する（ステップＳ５２３）。  
次に、第ｍ＋０．５フレーム１０上の第１領域の補間ブロック２５へ、第４ブロック１４を割り当てる（ステップＳ５２４）。  
次に、第５の実施形態と同様の方法、つまり図１６中のステップＳ５０７〜Ｓ５１１を用いて、第１ブロック１１から第２領域の画素ブロック２２の抽出及び第２領域の動きベクトルＦの検出を行う。  
次に、第２領域の動きベクトルＦを第ｍ＋０．５フレ−ム１０の時間的位置に応じてスケール変換する（ステップＳ５２５）。この場合、スケール変換後の動きベクトルはＦ／２となる。  
次に、第ｍ＋１フレーム２から、ステップＳ５２５によるスケール変換後の動きベクトルＦ／２に従って、第ｍフレーム１上の第２領域の画素ブロック２１と空間的同位置にある第ｍ＋０．５フレーム１０上の第２領域の補間ブロック２６の移動先である第５ブロック１５を抽出する（ステップＳ５２６）。  
最後に、第ｍ＋０．５フレーム１０の第２領域の補間ブロック２５へ第５ブロック１５を割り当てる（ステップＳ５２７）。
【００９８】
次に、本実施形態に係る上述の補間画像作成処理を実施する補間画像作成装置の構成を図２６に示す。ただし、ここでは第５の実施形態に従う第１領域及び第２領域の動きベクトルが検出された後に付加される部分のみを記している。第１領域の動きベクトル信号５４Ａを第１領域の動きベクトルスケール変換部６１Ａに入力して動きベクトルをスケール変換し、このスケール変換後の動きベクトルを用いて第ｍ＋１フレームメモリ３２から第１領域の補間ブロック６２Ａを抽出し、補間フレーム生成部６３へ出力する。
【００９９】
同様に、第２領域の動きベクトル信号５４Ｂを第２領域の動きベクトルスケール変換部６１Ｂに入力して動きベクトルをスケール変換し、このスケール変換後の動きベクトルを用いて第ｍ＋１フレームから第２領域の補間ブロックを抽出し、補間フレーム生成部６３へ出力する。補間フレーム生成部６３では、補間ブロックを補間フレームに割り当てていき、補間フレームの画像データを作成する。
【０１００】
（第１２の実施形態）  
最後に、本発明の第１２の実施形態として、これまでの各実施形態で説明した動きベクトル検出方法及びこれに基づく第１１の実施形態に係る補間画像の作成方法を用いた画像表示システムについて説明する。
【０１０１】
図２７は、画像表示システムの概略構成を示しており、入力画像信号１０１は補間フレーム画像作成部１０２及び画像切替部１０４に入力される。補間フレーム画像作成部１０２では、第１１の実施形態で説明した補間画像信号１０３がこれまで述べた手順によって作成され、補間画像信号１０３は画像切替部１０４へ出力される。画像切替部１０４では、入力画像信号１０１をそのまま出力するか、補間画像信号１０４を出力するかの制御が行われる。画像切替部１０４からの出力画像信号１０５は、ホールド型表示装置である高速リフレッシュ表示装置１０６へ出力される。表示装置１０６では、出力画像信号１０５に含まれる同期信号に対応して、リフレッシュレートを変えて画像の表示が行われる。
【図面の簡単な説明】
【０１０２】
【図１】本発明の第１の実施形態に係る動きベクトル検出方法を説明する図
【図２】同の実施形態に係る動きベクトル検出手順を示すフローチャート
【図３】同実施形態の作成画像出力結果とその効果を示す図
【図４】誤った動きベクトルが検出される画像の例を示す図
【図５】同実施形態の方法により検出されるブロックの判定方法を説明する図
【図６】同実施形態に係る動きベクトル検出装置の構成を示すブロック図
【図７】本発明の第２の実施形態に係る動きベクトル検出方法を説明する図
【図８】同実施形態に係る動きベクトル検出手順を示すフローチャート
【図９】同実施形態に係る動きベクトル検出装置の構成を示すブロック図
【図１０】本発明の第３の実施形態に係る動きベクトル検出方法を説明する図
【図１１】同実施形態に係る動きベクトル検出手順を示すフローチャート
【図１２】本発明の第４の実施形態に係る動きベクトル検出方法を説明する図
【図１３】同実施形態に係る動きベクトル検出手順を示すフローチャート
【図１４】同実施形態に係る動きベクトル検出装置の構成を示すブロック図
【図１５】本発明の第５の実施形態に係る領域分割及び動きベクトル検出方法を説明する図
【図１６】同実施形態に係る領域分割及び動きベクトル検出手順を示すフローチャート
【図１７】ブロック歪の発生原因を説明する図
【図１８】同実施形態に係る領域分割及び動きベクトル検出装置の構成を示すブロック図
【図１９】本発明の第６の実施形態に係る領域分割及び動きベクトル検出方法を説明する図
【図２０】本発明の第７の実施形態に係る領域分割及び動きベクトル検出手順を示すフローチャート
【図２１】本発明の第８の実施形態に係る領域分割及び動きベクトル検出方法を説明する図
【図２２】本発明の第９の実施形態に係る領域分割及び動きベクトル検出方法を説明する図
【図２３】本発明の第１０の実施形態に係る領域分割及び動きベクトル検出手順を示すフローチャート
【図２４】本発明の第１１の実施形態に係る領域分割及び動きベクトル検出方法を説明する図
【図２５】同実施形態に係る領域分割及び動きベクトル検出手順を示すフローチャート
【図２６】同実施形態に係る補間画像作成装置の構成を示すブロック図
【図２７】本発明の第１２の実施形態に係る画像表示システムの構成を示すブロック図
【図２８】従来のホールド型表示装置におけるボケ現象について説明する図
【符号の説明】
【０１０３】
１…第ｍフレーム
２…第ｍ＋ｎフレーム
４…第ｍ＋ｋフレーム
１１〜１７…第１〜第７ブロック
２１…第１領域の画素ブロック
２２…第２領域の画素ブロック
２３…第２空間拡張領域の画素ブロック
２４…第３空間拡張領域の画素ブロック
２５…第１領域の補間ブロック
２６…第２領域の補間ブロック
【図１】
2006279982.tif 000008
【図２】
2006279982.tif 000009
【図３】
2006279982.tif 000010
【図４】
2006279982.tif 000011
【図５】
2006279982.tif 000012
【図６】
2006279982.tif 000013
【図７】
2006279982.tif 000014
【図８】
2006279982.tif 000015
【図９】
2006279982.tif 000016
【図１０】
2006279982.tif 000017
【図１１】
2006279982.tif 000018
【図１２】
2006279982.tif 000019
【図１３】
2006279982.tif 000020
【図１４】
2006279982.tif 000021
【図１５】
2006279982.tif 000022
【図１６】
2006279982.tif 000023
【図１７】
2006279982.tif 000024
【図１８】
2006279982.tif 000025
【図１９】
2006279982.tif 000026
【図２０】
2006279982.tif 000027
【図２１】
2006279982.tif 000028
【図２２】
2006279982.tif 000029
【図２３】
2006279982.tif 000030
【図２４】
2006279982.tif 000031
【図２５】
2006279982.tif 000032
【図２６】
2006279982.tif 000033
【図２７】
2006279982.tif 000034
【図２８】
2006279982.tif 000035
【手続補正書】
【提出日】平成18年6月14日(2006.6.14)
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
（ａ）複数の画素からなる画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎはｋ＋１以上の整数，ｋは任意の実数）間の第ｍ＋ｋフレームから、該第ｍ＋ｋフレームを分割した所定サイズかつ所定形状の複数の第１ブロックを抽出するステップと、
（ｂ）前記第ｍフレームから前記第１ブロックと同サイズかつ同形状の複数の第２ブロックを抽出するステップと、
（ｃ）前記第１ブロックと前記第２ブロック間の第１動きベクトルを求めるステップと、
（ｄ）前記第１動きベクトルの−（ｎ−ｋ）／ｋである第２動きベクトルを算出するステップと、
（ｅ）前記第２動きベクトルに従って前記第ｍ＋ｎフレームから前記第１ブロックの移動先となる第３ブロックを抽出するステップと、
（ｆ）前記第２ブロックと前記第３ブロック間の相対応する画素毎の第１差分絶対値を求めるステップと、
（ｇ）前記第１差分絶対値が第１閾値以下となる画素の数をカウントして第１カウント値を求めるステップと、
（ｈ）前記第２ブロック及び第３ブロックから前記第１カウント値が最大となる画素をそれぞれ含む第１ブロック対を抽出し、該第１ブロック対間のベクトルを前記第ｍフレームと第ｍ＋ｎフレーム間の第１領域別動きベクトルとして求めるステップと、
（ｉ）前記第１差分絶対値が第２閾値以下となる前記第２ブロック内の画素を前記第１領域の画素ブロックとして抽出するステップと、
（ｊ）前記第１差分絶対値が前記第２閾値より大きくなる前記第２ブロック内の画素を第２領域の画素ブロックとして抽出するステップと、
（ｋ）前記第２領域の画素ブロックと前記第３ブロック間の相対応する画素毎の第２差分絶対値を求めるステップと、
（ｌ）前記第２差分絶対値が第２閾値以下となる画素数をカウントして第２カウント値を求めるステップと、
（ｍ）前記第２領域の画素ブロックと前記第３ブロック間の第３動きベクトルを求めるステップと、
（ｎ）前記第３動きベクトルのｋ／ｎ（ｋはｎ及び０以外の整数）である第４動きベクトルを算出するステップと、
（ｏ）前記第４動きベクトルに従って前記第ｍ＋ｋフレームから前記第２領域の画素ブロックの移動先となる第４ブロックを抽出するステップと、
（ｐ）前記第２領域の画素ブロックと前記第４ブロック間の相対応する画素毎の第３差分絶対値を求めるステップと、
（ｑ）前記第３差分絶対値が第２閾値以下となる画素数をカウントして第３カウント値を求めるステップと、
（ｒ）前記第２カウント値と前記第３カウント値の和が最大となる画素をそれぞれ含むブロック対を抽出し、該ブロック対間のベクトルを前記第２領域と前記ｍ＋ｎフレーム間の第２領域別動きベクトルとして求めるステップと
を具備する動きベクトル検出方法。
【請求項２】
原画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎは１以上の整数）間の第ｍ＋ｋフレーム（ｋは任意の実数）の時間的位置に補間すべき補間画像を作成するフレーム補間画像作成方法において、
（ａ）請求項１記載の動きベクトル検出方法により求められた前記第１領域別動きベクトルを前記第ｍ＋ｋフレ−ムの時間的位置に応じてスケール変換するステップと、
（ｂ）前記第ｍ＋ｎフレームから前記スケール変換後の第１領域別動きベクトルに従って、前記第ｍフレーム上の前記第１領域の画素ブロックと空間的同位置にある前記第ｍ＋ｋフレーム上の第１領域別補間ブロックの移動先である第５ブロックを抽出するステップと、
（ｃ）前記第ｍ＋ｋフレームの前記領域別補間ブロックへ前記第５ブロックを割り当てるステップと、
（ｄ）請求項１記載の動きベクトル検出方法により求められた前記第２領域別動きベクトルを前記第ｍ＋ｋフレ−ムの時間的位置に応じてスケール変換するステップと、
（ｅ）前記第ｍ＋ｎフレームから前記スケール変換後の第２領域別動きベクトルに従って、前記第ｍフレーム上の前記第２領域の画素ブロックと空間的同位置にある前記第ｍ＋ｋフレーム上の第２領域別補間ブロックの移動先である第６ブロックを抽出するステップと、
（ｆ）前記第ｍ＋ｋフレームの前記領域別補間ブロックへ前記第６ブロックを割り当てるステップと
を具備するフレーム補間画像作成方法。
【請求項３】
原画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎは１以上の整数）間の第ｍ＋ｋフレーム（ｋは任意の実数）の時間的位置に補間すべき補間画像を作成するフレーム補間画像作成装置において、
（ａ）請求項１記載の動きベクトル検出方法により求められた前記第１領域別動きベクトルを前記第ｍ＋ｋフレ−ムの時間的位置に応じてスケール変換する手段と、
（ｂ）前記第ｍ＋ｎフレームから前記スケール変換後の第１領域別動きベクトルに従って、前記第ｍフレーム上の前記第１領域の画素ブロックと空間的同位置にある前記第ｍ＋ｋフレーム上の第１領域別補間ブロックの移動先である第５ブロックを抽出する手段と、
（ｃ）前記第ｍ＋ｋフレームの前記領域別補間ブロックへ前記第５ブロックを割り当てる手段と、
（ｄ）請求項１記載の動きベクトル検出方法により求められた前記第２領域別動きベクトルを前記第ｍ＋ｋフレ−ムの時間的位置に応じてスケール変換する手段と、
（ｅ）前記第ｍ＋ｎフレームから前記スケール変換後の第２領域別動きベクトルに従って、前記第ｍフレーム上の前記第２領域の画素ブロックと空間的同位置にある前記第ｍ＋ｋフレーム上の第２領域別補間ブロックの移動先である第６ブロックを抽出する手段と、
（ｆ）前記第ｍ＋ｋフレームの前記領域別補間ブロックへ前記第６ブロックを割り当てる手段と
を具備するフレーム補間画像作成装置。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、動きベクトル検出方法と動きベクトルを用いた動き補償によるフレーム補間画像作成方法及び装置に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
特開２０００−２２４５９３（特許文献１）には、この問題を解決するフレーム間補間方法が開示されている。特開２０００−２２４５９３では、補間フレームにおける補間ブロックの画素値を定める際に、復号対象小ブロックの２フレーム間の動き補償フレーム間差分絶対値を相対応する画素毎に閾値と比較し、閾値以下の差分絶対値を持つ第１画素領域と閾値以上の差分絶対値を持つ第２画素領域に分割する。第１画素領域については、該領域の画素値と２フレーム間の動きベクトルで指し示される参照ブロック内の対応する画素値との平均値を求めて補間フレームを作成する。第２画素領域については、復号対象フレームにおける陰面関係を判定し、その判定結果に基づき２フレーム間の動きベクトル探索方向を設定し直して第２動きベクトルを検出し、これをスケール変換した動きベクトルで指し示される再探索参照フレーム上の画素値を補間フレームにコピーする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の目的は、補間画像の作成に適した正確な動きベクトル検出を可能とすることにある。  
より具体的には、閾値によるブロック内での領域分割に適し、領域分割後の画素ブロックに対しても領域毎に最適な動きベクトルを検出できるようにすることにある。  
さらに、本発明はホールド型表示装置に起因するボケや、コマ数の少ない動画における不自然な動きを改善するため補間画像を作成する場合に、領域分割後の各画素ブロックに対して隙間や重なりの発生がなく、表示画質をよりリアルにできるフレーム補間画像作成方法及び装置を提供することを目的とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本発明の第８の視点では、領域分割後に各領域の画素数が少なくなることによるデータ不足を補うために、隣接ブロックを連結させて各小領域を空間方向に拡張し、動きベクトル検出精度を高める。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
本発明の第９の視点では、領域分割後に各領域の画素数が少なくなることによるデータ不足を補うために、動きベクトルの探索範囲を隣接フレーム間に拡張することで、小領域における動きベクトル検出精度を高め、且つ陰面関係を持つ物体間の検出精度も高める。