(57)【要約】【課題】  ブロック歪みの発生を低減可能な補間画像生成方法を提供する。【解決手段】  ブロックマッチングで求めたブロック対の差分ブロック１０１を再帰的に縮小して差分ブロック１０２、１０３を求める。差分ブロック１０３を閾値マップ１１３と比較し、閾値以上ならば不一致、閾値未満なら一致と判定する。判定結果に基づいて、閾値マップ１１２の閾値を、一致領域に相当する領域では高くし、不一致領域に相当する領域では低くする。以下、繰り返して、元のブロック階層まで繰り返し、一致領域だけを用いて補間画像を生成する。不一致領域は再度探索を行う。【選択図】  図１
2005286507.tif 000002
【特許請求の範囲】
【請求項１】
動画像の第１参照画像と第２参照画像との間の補間画像面に補間画像を生成する方法であって、
前記補間画像面を複数の補間ブロックに分割し、
前記第１及び前記第２参照画像から、前記補間ブロックを通る直線上にあり、相互の類似度が所定の条件を満たす第１及び第２参照ブロックを含むブロック対を検出し、
前記第１及び第２参照ブロック内の複数画素ごとに１画素で置換した第１及び第２階層ブロックを生成し、
前記第１階層ブロックと前記第２階層ブロックとで対応する画素対の類似度に応じて、前記第１及び前記第２参照ブロックの当該画素対に対応する領域の類似度判定に適用するための第１基準を有する基準マップを生成し、
前記第１参照ブロックと前記第２参照ブロックとで対応する画素対の類似度が、前記基準マップ内において対応する前記第１基準を満たすか否かを判定し、
前記第１及び前記第２参照ブロックにおいて前記第１基準を満たす画素対で形成される領域を用いて、前記補間ブロックの画像を生成する、
補間画像生成方法。
【請求項２】
前記基準マップの生成では、
前記第１及び第２の階層ブロックの対応する画素対の類似度評価のための第２基準を有する階層基準マップを生成し、
前記第１階層ブロックと前記第２階層ブロックとで対応する画素対の類似度が、第２基準を満たすか否かを判定し、
前記第２基準を満たす場合、前記第１及び前記第２参照ブロックで当該画素対に対応する領域の画素対の類似度判定に適用する前記第１基準を前記第２基準より緩く設定し、
前記第２基準を満たさない場合、前記第１及び前記第２参照ブロックで当該画素対に対応する領域の画素対の類似度判定に適用する前記第１基準を前記第２基準より厳しく設定する、
請求項１に記載の補間画像生成方法。
【請求項３】
さらに、
前記第１及び第２階層ブロック内の複数画素ごとに１画素で置換した第３及び第４階層ブロックを生成し、
前記第３階層ブロックと前記第４階層ブロックとで対応する画素対の類似度に応じて、前記第１階層ブロック及び前記第２階層ブロックの当該画素対に対応する領域の類似度判定に適用するための第２基準を有する階層基準マップを生成する、
請求項１または請求項２のいずれかに記載の補間画像生成方法。
【請求項４】
前記階層基準マップの生成では、
前記第３及び第４の階層ブロックの対応する画素対の類似度評価のための第３基準を有する第２階層基準マップを用意し、
前記第３階層ブロックと前記第４階層ブロックとで対応する画素対の類似度が、前記第３基準を満たすか否かを判定し、
前記第３基準を満たす場合、前記第３及び前記第４階層ブロックの当該画素対に対応する領域の画素対の類似度判定に適用する第２基準を第３基準より緩く設定し、
前記第３基準を満たさない場合、前記第３及び前記第４階層ブロックの当該画素対に対応する領域の画素対の類似度判定に適用する第２基準を第３基準より厳しく設定する、
請求項３に記載の補間画像生成方法。
【請求項５】
動画像の第１参照画像と第２参照画像との間の補間画像面に補間画像を生成する装置であって、
前記補間画像面を複数の補間ブロックに分割して、前記第１及び前記第２参照画像から、前記補間ブロックを通る直線上にあり、相互の類似度が所定の条件を満たす第１及び第２参照ブロックを含むブロック対を検出する動き検出部と、
前記第１及び前記第２参照ブロック内の複数画素を１画素で置換した第１及び第２階層ブロックを生成する階層生成部と、
前記第１階層ブロックと前記第２階層ブロックとで対応する画素対の類似度に応じて、前記第１及び前記第２参照ブロックの当該画素対に対応する領域の類似度判定に適用する第１基準を有する基準マップを生成し、前記第１参照ブロックと前記第２参照ブロックとで対応する画素対の類似度が、前記第１基準を満たすか否かを判定する一致判定部と、
前記第１及び前記第２参照ブロックにおいて前記第１基準を満たす画素対で形成される領域を用いて、前記補間ブロックの画像を生成する補間画像生成部と、
を備える補間画像生成装置。
【請求項６】
前記一致判定部は、
前記第１及び第２の階層ブロックの対応する画素対の類似度評価のための第２基準を有する階層基準マップを生成する手段と、
前記第１階層ブロックと前記第２階層ブロックとで対応する画素対の類似度が、第２基準を満たすか否かを判定する判定手段と、
前記第２基準を満たす場合、前記第１及び前記第２参照ブロックで当該画素対に対応する領域に適用する第１基準を第２基準より緩く設定し、前記第２基準を満たさない場合、前記第１及び前記第２参照ブロックで当該画素対に対応する領域に適用する第１基準を第２基準より厳しく設定する設定手段と、
を備える請求項５に記載の補間画像生成装置。
【請求項７】
前記階層生成部は、前記第１及び第２階層ブロックの複数画素を１画素で置換した第３及び第４階層ブロックを生成し、
前記一致判定部は、前記第３階層ブロックと前記第４階層ブロックとで対応する画素対の類似度に応じて、前記第１及び前記第２階層ブロックの当該画素対に対応する領域の類似度判定に適用する第２基準を有する階層基準マップを生成する、
請求項５または請求項６のいずれかに記載の補間画像生成装置。
【請求項８】
前記階層生成部は、前記第１及び第２階層ブロックの複数画素を１画素で置換した第３及び第４階層ブロックを生成し、
前記判定手段は、前記第３階層ブロックと前記第４階層ブロックとで対応する画素対の類似度が、第３基準を満たすか否かを判定し、
前記設定手段は、前記第３基準を満たす場合、前記第３及び前記第４階層ブロックの当該画素対に対応する領域の類似度判定に適用する第２基準を第３基準より緩く設定し、前記第３基準を満たさない場合、前記第３及び前記第４階層ブロックの当該画素対に対応する領域の類似度判定に適用する第２基準を第３基準より厳しく設定する、
請求項６に記載の補間画像生成装置。
【請求項９】
コンピュータに動画像の第１参照画像と第２参照画像との間の補間画像面に補間画像を生成させるためのプログラムであって、
前記補間画像面を複数の補間ブロックに分割するステップと、
前記第１及び前記第２参照画像から、前記補間ブロックを通る直線上にあり、相互の類似度が所定の条件を満たす第１及び第２参照ブロックを含むブロック対を検出するステップと、
前記第１及び前記第２参照ブロック内の複数画素を１画素で置換した第１及び第２階層ブロックを生成するステップと、
前記第１階層ブロックと前記第２階層ブロックとで対応する画素対の類似度に応じて、前記第１及び前記第２参照ブロックの当該画素対に対応する領域の類似度判定に適用する第１基準を有する基準マップを生成するステップと、
前記第１参照ブロックと前記第２参照ブロックとで対応する画素対の類似度が、前記第１基準を満たすか否かを判定するステップと、
前記第１及び前記第２参照ブロックにおいて前記第１基準を満たす画素対で形成される領域を用いて、前記補間ブロックの画像を生成するステップと、
を備える補間画像生成プログラム。
【請求項１０】
前記基準マップの生成ステップは、
前記第１及び第２の階層ブロックの対応する画素対の類似度評価のための第２基準を有する階層基準マップを生成するステップと、
前記第１階層ブロックと前記第２階層ブロックとで対応する画素対の類似度が、第２基準を満たすか否かを判定するステップと、
前記第２基準を満たす場合、前記第１及び前記第２参照ブロックで当該画素対に対応する領域の類似度判定に適用する第１基準を第２基準より緩く設定するステップと、
前記第２基準を満たさない場合、前記第１及び前記第２参照ブロックで当該画素対に対応する領域の類似度判定に適用する第１基準を第２基準より厳しく設定するステップと、
を備える請求項９に記載の補間画像生成プログラム。
【請求項１１】
さらに、
前記第１及び第２参照ブロック内の複数画素を１画素で置換した第３及び第４階層ブロックを生成するステップと、
前記第３階層ブロックと前記第４階層ブロックとで対応する画素対の類似度に応じて、前記第１階層ブロック及び前記第２階層ブロックの当該画素対に対応する領域の類似度判定に適用する第２基準を有する階層基準マップを生成するステップと、
を備える請求項９または請求項１０のいずれかに記載の補間画像生成プログラム。
【請求項１２】
前記階層基準マップの生成ステップは、
前記第３及び第４の階層ブロックの対応する画素対の類似度評価のための第３基準を有する第２階層基準マップを生成するステップと、
前記第３階層ブロックと前記第４階層ブロックとで対応する画素対の類似度が、第３基準を満たすか否かを判定するステップと、
前記第３基準を満たす場合、前記第３及び前記第４階層ブロックの当該画素対に対応する領域の類似度判定に適用する第２基準を第３基準より緩くするステップと、
前記第３基準を満たさない場合、前記第３及び前記第４階層ブロックの当該画素対に対応する領域の類似度判定に適用する第２基準を第３基準より厳しくするステップと、
を備える請求項１１に記載の補間画像生成プログラム。
【請求項１３】
動画像の第１参照画像と第２参照画像との間の補間画像面に補間画像を生成する方法であって、
前記補間画像面を複数の補間ブロックに分割し、
前記第１及び前記第２参照画像から、前記補間ブロックを通る直線上にあり、相互の類似度が所定の条件を満たす第１及び第２参照ブロックを含むブロック対を検出し、
前記第１参照ブロックと前記第２参照ブロックとで対応する画素対の類似度に応じて、前記第１及び前記第２参照ブロックの当該画素対に対応する領域の類似度判定に適用するための第１基準を有する基準マップを生成し、
前記第１参照ブロックと前記第２参照ブロックとで対応する画素対の類似度が、前記基準マップ内において対応する前記第１基準を満たすか否かを判定し、
前記第１及び前記第２参照ブロックにおいて前記第１基準を満たす画素対で形成される領域を用いて、前記補間ブロックの画像を生成する、
補間画像生成方法。
【請求項１４】
前記基準マップの生成では、
前記第１及び第２参照ブロック内の複数画素ごとに１画素で置換した第１及び第２階層ブロックを生成し、
前記第１及び第２の階層ブロックの対応する画素対の類似度評価のための第２基準を有する階層基準マップを生成し、
前記階層基準マップの各画素に対応する前記第１及び第２参照ブロック内の複数の画素で形成される領域において、前記第１参照ブロックと前記第２参照ブロックとで対応する画素対のうち、前記第２基準を満たす類似度を有する画素対の数を求め、
この画素対の数が第１閾値以上である場合、前記第１及び前記第２参照ブロックで当該画素対に対応する領域の画素対の類似度判定に適用する前記第１基準を前記第２基準より緩く設定し、
この画素対の数が前記第１閾値より小さい第２閾値より大きく、第１閾値より小さい場合、前記第１及び前記第２参照ブロックで当該画素対に対応する領域の画素対の類似度判定に適用する前記第１基準を前記第２基準と同等に設定し、
この第２閾値以下である場合、前記第１及び前記第２参照ブロックで当該画素対に対応する領域の画素対の類似度判定に適用する前記第１基準を前記第２基準より厳しく設定する、
請求項１３に記載の補間画像生成方法。
【請求項１５】
前記階層基準マップの生成では、
前記第１及び第２階層ブロック内の複数画素ごとに１画素で置換した第３及び第４階層ブロックを生成し、
前記第３及び第４の階層ブロックの対応する画素対の類似度評価のための第３基準を有する第２階層基準マップを生成し、
前記第２階層基準マップの各画素に対応する前記第１及び第２階層ブロック内の複数の画素で形成される領域において、前記第１階層ブロックと前記第２階層ブロックとで対応する画素対のうち、前記第３基準を満たす類似度を有する画素対の数を求め、
この画素対の数が第１閾値以上である場合、前記第３及び前記第４階層ブロックの当該画素対に対応する領域の画素対の類似度判定に適用する第２基準を第３基準より緩く設定し、
この画素対の数が前記第１閾値より小さい第２閾値より大きく、第１閾値より小さい場合、前記第３及び前記第４階層ブロックの当該画素対に対応する領域の画素対の類似度判定に適用する第２基準を第３基準と同等に設定し、
この画素対の数が前記第２閾値以下である場合、前記第３及び前記第４階層ブロックの当該画素対に対応する領域の画素対の類似度判定に適用する第２基準を第３基準より厳しく設定する、
請求項１４に記載の補間画像生成方法。
【請求項１６】
動画像の第１参照画像と第２参照画像との間の補間画像面に補間画像を生成する装置であって、
前記補間画像面を複数の補間ブロックに分割して、前記第１及び前記第２参照画像から、前記補間ブロックを通る直線上にあり、相互の類似度が所定の条件を満たす第１及び第２参照ブロックを含むブロック対を検出する動き検出部と、
前記第１参照ブロックと前記第２参照ブロックとで対応する画素対の類似度に応じて、前記第１及び前記第２参照ブロックの当該画素対に対応する領域の類似度判定に適用する第１基準を有する基準マップを生成し、前記第１参照ブロックと前記第２参照ブロックとで対応する画素対の類似度が、前記第１基準を満たすか否かを判定する一致判定部と、
前記第１及び前記第２参照ブロックにおいて前記第１基準を満たす画素対で形成される領域を用いて、前記補間ブロックの画像を生成する補間画像生成部と、
を備える補間画像生成装置。
【請求項１７】
さらに、前記第１及び前記第２参照ブロック内の複数画素を１画素で置換した第１及び第２階層ブロックを生成する階層生成部を備え、
前記一致判定部は、
前記第１及び第２の階層ブロックの対応する画素対の類似度評価のための第２基準を有する階層基準マップを生成する階層基準マップ生成手段と、
前記階層基準マップの各画素に対応する前記第１及び第２参照ブロック内の複数の画素で形成される領域において、前記第１参照ブロックと前記第２参照ブロックとで対応する画素対のうち、前記第２基準を満たす類似度を有する画素対の数を求める計数手段と、
この画素対の数が第１閾値以上である場合、前記第１及び前記第２参照ブロックで当該画素対に対応する領域の画素対の類似度判定に適用する前記第１基準を前記第２基準より緩く設定し、この画素対の数が前記第１閾値より小さい第２閾値より大きく、第１閾値より小さい場合、前記第１及び前記第２参照ブロックで当該画素対に対応する領域の画素対の類似度判定に適用する前記第１基準を前記第２基準と同等に設定し、前記第２閾値以下である場合、前記第１及び前記第２参照ブロックで当該画素対に対応する領域の画素対の類似度判定に適用する前記第１基準を前記第２基準より厳しく設定する、設定手段と、
を備える請求項１６に記載の補間画像生成装置。
【請求項１８】
前記階層生成部は、前記第１及び第２階層ブロックの複数画素を１画素で置換した第３及び第４階層ブロックを生成し、
前記階層基準マップ生成手段は、前記第３及び第４の階層ブロックの対応する画素対の類似度評価のための第３基準を有する第２階層基準マップを生成し、
前記計数手段は、前記第２階層基準マップの各画素に対応する前記第１及び第２階層ブロック内の複数の画素で形成される領域において、前記第１階層ブロックと前記第２階層ブロックとで対応する画素対のうち、前記第３基準を満たす類似度を有する画素対の数を求め、
前記設定手段は、この画素対の数が前記第１閾値以上である場合に前記第３及び前記第４階層ブロックの当該画素対に対応する領域の類似度判定に適用する第２基準を第３基準より緩く設定し、前記第２閾値より大きく前記第１閾値より小さい場合に前記第３及び前記第４階層ブロックの当該画素対に対応する領域の類似度判定に適用する第２基準を第３基準と同等に設定し、前記第２閾値以下である場合に前記第３及び前記第４階層ブロックの当該画素対に対応する領域の類似度判定に適用する第２基準を第３基準より厳しく設定する、
請求項１７に記載の補間画像生成装置。
【請求項１９】
コンピュータに動画像の第１参照画像と第２参照画像との間の補間画像面に補間画像を生成させるためのプログラムであって、
前記補間画像面を複数の補間ブロックに分割するステップと、
前記第１及び前記第２参照画像から、前記補間ブロックを通る直線上にあり、相互の類似度が所定の条件を満たす第１及び第２参照ブロックを含むブロック対を検出するステップと、
前記第１参照ブロックと前記第２参照ブロックとで対応する画素対の類似度に応じて、前記第１及び前記第２参照ブロックの当該画素対に対応する領域の類似度判定に適用する第１基準を有する基準マップを生成するステップと、
前記第１参照ブロックと前記第２参照ブロックとで対応する画素対の類似度が、前記第１基準を満たすか否かを判定するステップと、
前記第１及び前記第２参照ブロックにおいて前記第１基準を満たす画素対で形成される領域を用いて、前記補間ブロックの画像を生成するステップと、
を備える補間画像生成プログラム。
【請求項２０】
前記基準マップの生成ステップは、
前記第１及び前記第２参照ブロック内の複数画素を１画素で置換した第１及び第２階層ブロックを生成するステップと、
前記第１及び第２の階層ブロックの対応する画素対の類似度評価のための第２基準を有する階層基準マップを生成するステップと、
前記階層基準マップの各画素に対応する前記第１及び第２参照ブロック内の複数の画素で形成される領域において、前記第１参照ブロックと前記第２参照ブロックとで対応する画素対のうち、前記第２基準を満たす類似度を有する画素対の数を求めるステップと、
この画素対の数が第１閾値以上である場合に、前記第１及び前記第２参照ブロックで当該画素対に対応する領域の類似度判定に適用する第１基準を第２基準より緩く設定するステップと
この画素対の数が前記第１閾値より小さい第２閾値より大きく、第１閾値より小さい場合に、前記第１及び前記第２参照ブロックで当該画素対に対応する領域の類似度判定に適用する第１基準を第２基準と同等に設定するステップと、
この画素対の数が前記第２閾値以下である場合に、前記第１及び前記第２参照ブロックで当該画素対に対応する領域の類似度判定に適用する第１基準を第２基準より厳しく設定するステップと、
を備える請求項１９に記載の補間画像生成プログラム。
【請求項２１】
前記階層基準マップの生成ステップは、
前記第３及び第４の階層ブロックの対応する画素対の類似度評価のための第３基準を有する第２階層基準マップを生成するステップと、
前記第２階層基準マップの各画素に対応する前記第１及び第２階層ブロック内の複数の画素で形成される領域において、前記第１階層ブロックと前記第２階層ブロックとで対応する画素対のうち、前記第３基準を満たす類似度を有する画素対の数を求めるステップと、
この画素対の数が第１閾値以上である場合に、前記第３及び前記第４階層ブロックの当該画素対に対応する領域の類似度判定に適用する第２基準を第３基準より緩く設定するステップと、
この画素対の数が前記第１閾値より小さい第２閾値より大きく、第１閾値より小さい場合に、前記第３及び前記第４階層ブロックの当該画素対に対応する領域の類似度判定に適用する第２基準を第３基準と同等に設定するステップと、
この画素対の数が前記第２閾値以下である場合に、前記第３及び前記第４階層ブロックの当該画素対に対応する領域の類似度判定に適用する第２基準を第３基準より厳しく設定するステップと、
を備える請求項２０に記載の補間画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を滑らかに表示するための補間画像生成装置及び方法に関する。
【背景技術】
【０００２】
動画像のフレーム間に画像を内挿補間することにより、動画像を滑らかに表示することができる。従来、補間フレームを一様格子の補間対象ブロックに分割し、この補間対象ブロックを中心として幾何対称的に前後のフレーム間の相関を求めることにより、補間フレームの画像を生成する手法が提案されている（特許文献１）。この手法には、補間フレームに重なりや隙間が生じないという利点がある。
【特許文献１】特許第２５８８１０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記の手法はブロック単位で動きベクトルを求めて補間フレームを生成している。そのため、一つのブロック内に複数の動きが存在する場合に、背景や物体が正しく補間されないことがある。その結果、特にブロック境界において、ブロック歪みが発生するという問題がある。
【０００４】
本発明の目的は、ブロック歪みの発生を低減させ、動画像を滑らかに表示することができる補間画像生成装置及び方法を提供することである。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明の補間画像生成方法は、動画像の第１参照画像と第２参照画像との間の補間画像面に補間画像を生成する方法であって、前記補間画像面を複数の補間ブロックに分割し、前記第１及び前記第２参照画像から、前記補間ブロックを通る直線上にあり、相互の類似度が所定の条件を満たす第１及び第２参照ブロックを含むブロック対を検出し、前記第１及び第２参照ブロック内の複数画素ごとに１画素で置換した第１及び第２階層ブロックを生成し、前記第１階層ブロックと前記第２階層ブロックとで対応する画素対の類似度に応じて、前記第１及び前記第２参照ブロックの当該画素対に対応する領域の類似度判定に適用するための第１基準を有する基準マップを生成し、前記第１参照ブロックと前記第２参照ブロックとで対応する画素対の類似度が、前記基準マップ内において対応する前記第１基準を満たすか否かを判定し、前記第１及び前記第２参照ブロックにおいて前記第１基準を満たす画素対で形成される領域を用いて、前記補間ブロックの画像を生成する。
【０００６】
また、本発明の補間画像生成装置は、動画像の第１参照画像と第２参照画像との間の補間画像面に補間画像を生成する装置であって、前記補間画像面を複数の補間ブロックに分割して、前記第１及び前記第２参照画像から、前記補間ブロックを通る直線上にあり、相互の類似度が所定の条件を満たす第１及び第２参照ブロックを含むブロック対を検出する動き検出部と、前記第１及び前記第２参照ブロック内の複数画素を１画素で置換した第１及び第２階層ブロックを生成する階層生成部と、前記第１階層ブロックと前記第２階層ブロックとで対応する画素対の類似度に応じて、前記第１及び前記第２参照ブロックの当該画素対に対応する領域の類似度判定に適用する第１基準を有する基準マップを生成し、前記第１参照ブロックと前記第２参照ブロックとで対応する画素対の類似度が、前記第１基準を満たすか否かを判定する一致判定部と、前記第１及び前記第２参照ブロックにおいて前記第１基準を満たす画素対で形成される領域を用いて、前記補間ブロックの画像を生成する補間画像生成部とを備える。
【０００７】
また、本発明の補間画像生成プログラムは、コンピュータに動画像の第１参照画像と第２参照画像との間の補間画像面に補間画像を生成させるためのプログラムであって、前記補間画像面を複数の補間ブロックに分割するステップと、前記第１及び前記第２参照画像から、前記補間ブロックを通る直線上にあり、相互の類似度が所定の条件を満たす第１及び第２参照ブロックを含むブロック対を検出するステップと、前記第１及び前記第２参照ブロック内の複数画素を１画素で置換した第１及び第２階層ブロックを生成するステップと、前記第１階層ブロックと前記第２階層ブロックとで対応する画素対の類似度に応じて、前記第１及び前記第２参照ブロックの当該画素対に対応する領域の類似度判定に適用する第１基準を有する基準マップを生成するステップと、前記第１参照ブロックと前記第２参照ブロックとで対応する画素対の類似度が、前記第１基準を満たすか否かを判定するステップと、前記第１及び前記第２参照ブロックにおいて前記第１基準を満たす画素対で形成される領域を用いて、前記補間ブロックの画像を生成するステップとを備える。
【発明の効果】
【０００８】
本発明によれば、一つのブロック内に複数の動きが存在する場合であっても、ブロック歪みの発生を低減させて動画像を滑らかに表示することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照しながら本発明の一実施形態について説明する。
【００１０】
（概要）従来のフレーム補間で問題となっていたブロック歪みを防ぐために、ブロック内画素の差分によってブロック内を一致領域と不一致領域とに分割し、一致領域の画素に対して検出された動きベクトルを割り当て、不一致領域の画素に関しては再帰的に動きベクトルを探索するという手法を考えることができる。
【００１１】
しかし、この手法ではブロック内を一致領域と不一致領域とに分割する際に、画素毎の差分値を用いてブロック内で一律な閾値を用いて画素毎に一致・不一致の判定を行っている。すなわち、画面全体に対して非常にミクロなレベルでの一致判定のみを行っている。
【００１２】
動画はマクロなレベルで見るとフレーム間で非常に良く似ているように見える部分でも、画素レベルでは異なるということがある。画素レベルでの一致判定結果とマクロレベルな一致判定結果とは必ずしも一致しない。そのため、画素レベルでの一致判定は、画面全体で見たときに我々が期待する結果とは異なる結果を生じる可能性がある。例えば、あるフレームのある画素がノイズの影響で変な値になった場合、そのノイズの影響により補間画像にごま塩ノイズ（salt-and-pepper noise）が発生する可能性がある。
【００１３】
そこで、本実施形態の補間フレーム生成装置は、ブロック対の対応する画素の差分を画素値とする差分ブロックを求める。そして、差分ブロックを空間的にサンプリングして、複数の階層を持つブロック層を求める。本装置は、最上位階層から順に一致判定を行う。最上位階層での一致判定は、最もマクロな状態における一致判定に対応する。全くサンプリングされていない元のブロック層（＝最下位層）は、最もミクロな状態における一致判定に対応する。
【００１４】
本装置は、各層における一致判定の結果に応じて各ピクセルの一致・不一致を判定する閾値を変える。そして、本装置は、最下位層まで到達した時点で、各画素の閾値を用いて画素毎に一致・不一致の判定を行う。よって、本装置ならばブロック歪みの発生を低減可能であるとともに、本装置ではマクロな視点での一致判定をも考慮しているので、細かいノイズを減少させた高画質な補間フレームを生成することが可能となる。
【００１５】
図１は本実施形態の補間フレーム生成装置における一致判定処理の概要を示している。差分ブロック１０１は動き探索で求まったブロック対の差分画像であって、最下位層のブロック層である。まず、差分ブロック１０１をサブサンプリングして差分ブロック１０２を求める。さらに差分ブロック１０２をサブサンプリングして差分ブロック１０３を求める。本実施形態のサブサンプリングでは４画素の平均値から新しい画素値を求めている。差分ブロック１０１は最下位のブロック層である。差分ブロック１０３は最上位のブロック層である。
【００１６】
各層における一致判定を行うため、まず最上位のブロック層については閾値マップ１１３を用いて差分ブロック１０３の一致判定を行う。閾値マップ１１３は差分ブロック１０３と同じ形状・画素数の画像である。閾値マップ１１３の各画素は一致判定に用いる固定の初期閾値を持つ（ここでは初期閾値を３として説明する）。差分ブロック１０３と閾値マップ１１３とで同じ位置にある画素の画素値を比較する。そして差分ブロック１０３の画素値が閾値マップ１１３の画素値より大きい場合は不一致と判定する。
【００１７】
判定結果に基づいて、閾値マップ１１３から閾値マップ１１２を生成する。閾値マップ１１３の画素のうち一致と判定されたものは閾値を初期閾値よりも高くした上で４分割する。閾値マップ１１３の画素のうち不一致と判定された画素は閾値を初期閾値よりも低くした上で４分割する。
【００１８】
同様にして、次に上位のブロック層については、この閾値マップ１１２を用いて差分ブロック１０２の一致判定を行う。そして、閾値マップ１１２から閾値マップ１１１を生成する。すなわち、閾値マップ１１２の画素のうち一致と判定されたものは閾値をより高く（＋１）した上で４分割する。閾値マップ１１２の画素のうち不一致と判定された画素は閾値をより低く（−１）した上で４分割する。
【００１９】
さらに、閾値マップ１１１を用いて差分ブロック１０１の一致判定を行う。差分ブロック１０１は最下位のブロック層なので、新たな閾値マップの替わりに判定結果に基づいて不一致フィルタ１２１を生成する。不一致フィルタ１２１は、図９に示すように、一致判定で一致と判定された画素を０で表し、不一致と判定された画素を１で表した画像である。
【００２０】
尚、図１では最初にブロック対の差分から差分ブロックを生成したが、ブロック対そのものをサブサンプリングして、サブサンプリングされたブロック対の差分と閾値マップの閾値とを比較しても構わない。また、図１ではブロック層は３階層の例であったが階層数はこれに限らない。最下位の差分ブロックの画素数に応じて適宜増減することができる。      
【００２１】
また、本装置に入力される画像信号（動画像信号）は６０Ｈｚのノンインターレース信号（プログレッシブ信号）である。本装置は、隣接する二つの参照フレームp1、p2の時間的中央位置（補間フレーム面）に補間フレームcpを生成する。尚、参照フレームp1は参照フレームp2より時間的に前にあるものとする。そして、生成された補間フレームを補間フレーム面に内挿して、１２０Ｈｚのノンインターレース信号として出力する。尚、これらの条件は一例に過ぎず、これらの条件と異なる画像信号の種類やフレームレートであっても構わない。
【００２２】
図２は本装置のブロック図である。本装置は、入力された画像を１フレーム期間記憶するフレームメモリ２０１と、画像中の各ブロック内の１又は複数の動きベクトルを探索する動き推定部２００と、画像と探索された動きベクトルとを用いて補間フレームを生成する補間画像生成部２０２とを備える。
【００２３】
動き推定部２００は、さらに動きベクトルの探索を行う動き探索部２１０と、ブロック内での一致判定を行う一致判定部２１１と、ブロックをサブサンプリングして階層化する階層生成部２１２とを備える。
【００２４】
図８は本実施形態の動き探索部２１０の動き探索処理の概要を示している。動き探索部２１０は補間フレームを基準に対称的に前後のフレームを探索して類似するブロック対を求める。図８では、補間フレームｑのブロックBL0を基準として、補間フレームｑの前後にある参照フレームｐ１、ｐ２から、類似するブロックBL1及びBL2を求めている。
【００２５】
本装置は、コンピュータで動作するプログラムとして実現しても良い。すなわち、プロセッサ及びメモリ等を備えるコンピュータに上記各部の機能を実現させるプログラムとして本装置を実現してもよい。また、上記各部の一部ないし全部を専用の処理を行う半導体集積回路として実現しても構わない。
【００２６】
図３は本装置による補間フレーム生成処理のフローチャートである。
【００２７】
（ステップ１１０１）動き探索部２１０は、補間フレームを一様格子のブロックBL0に分割する。
【００２８】
（ステップ１１０２）動き探索部２１０は、ブロックの走査を開始する。
【００２９】
（ステップ１１０３）動き探索部２１０は、動き探索処理（図８）を行って動きベクトルグループmv gと不一致フィルタグループafgとを求める。
【００３０】
（ステップ１１０４）補間画像生成部２０２は、動きベクトルグループmvgと不一致フィルタグループafgと参照フレームp1と参照フレームp2とを用いて補間フレームに対して動き補償を行い、補間フレームを生成する。
【００３１】
（ステップ１１０５）全てのブロックBL0についての処理が終わっていなければステップ１１０３に戻る。
【００３２】
図４は上記のステップ１１０３における動き探索処理を説明するフローチャートである。
【００３３】
（ステップ１２０１）動き探索部２１０はループ処理の初期化を行う。反復回数のカウンタである変数iteに１を代入するとともに、図１０に示すように不一致フィルタaf[0]の全画素値を１にする。尚、不一致フィルタaf[x]はブロックBL0と同サイズの画像であり、[x]はite=x+1の時に扱う不一致フィルタであることを示す。この不一致フィルタaf[x]は一致画素を０で表し、不一致画素を１で表した画像である。
【００３４】
（ステップ１２０２）動き探索部２１０は不一致フィルタaf[ite-1]の値が１の画素のみを用いて、ブロックBL0を中心として対称的に参照フレームp1のブロックBL1と参照フレームp2のブロックBL2とで相関が高いブロック対を探索する。求まったブロック対を用いて動きベクトルmv[ite]を求める。ブロックBL1とブロックBL2との相関を求める際は、不一致フィルタaf[ite-1]の画素値が１である画素のみを用いて演算を行う。相関は例えば、平均絶対値誤差や平均二乗誤差などを用いることができる。また、一般的な相互相関などの手法を用いて相関を計算しても良い。
【００３５】
図１１は変数iteが１、すなわち１回目の本ステップの処理を模式的に示している。不一致フィルタaf[0]は全画素値が１であるので、ＭＰＥＧ−１，２，４の動き探索で用いられるブロックマッチングと同様に全画素が相関演算の対象となる。図１２は変数iteが２以上、すなわち２回目以降の本ステップの処理を模式的に示している。不一致フィルタaf[ite-1]の一部の画素の画素値だけが１であるので、当該一部の画素が相関演算の対象となる。
【００３６】
（ステップ１２０３）動きベクトルmv[ite]によって定まるブロックBL1とブロックBL2とに着目する。
【００３７】
（ステップ１２０４）一致判定部２１１はブロックBL1とブロックBL2とで一致判定を行い、不一致フィルタa f[ite]を求める。本ステップの処理は後述する。
【００３８】
（ステップ１２０５）動き探索部２１０は不一致フィルタaf[ite-1]と不一致フィルタaf[ite]との論理積を取り、それを新たな不一致フィルタaf[ite]とする。
【００３９】
（ステップ１２０６）動き探索部２１０は変数iteを一つ増加させる。
【００４０】
（ステップ１２０７）動き探索部２１０は変数iteとループの上限回数nとを比較する。変数iteがn以下の場合はステップ１２０２に戻る。変数iteがnより大きい場合はループ処理を終了する。
【００４１】
以上でループ処理は終了する。ループ処理が終了した時点で、動き探索部２１０は、動きベクトルmv[i](i=1...n)を含んだ動きベクトルグループmgvと、不一致フィルタaf[i](i=1...n)を含んだ不一致フィルタグループafgとを得る。
【００４２】
図６は上記ステップ１２０４における一致判定処理を説明するフローチャートである。
【００４３】
（ステップ１４０１）一致判定部２１１は、階層生成部２１２にブロックBL1を出力して、階層生成部２１２がブロックBL1を用いて生成したブロック層BL_Lay1を受け取る。このブロック層BL_Lay1はブロックBL1をM段階にサブサンプリングしたブロックの集合である。各ブロックをブロックBL_Lay1[k](k=0...M-1)と表す。最下位層のブロックBL_Lay1[M-1]はBL1に相当する。
【００４４】
本実施形態では、４画素の平均値を画素値とする画像を生成することでサブサンプリングを行う。従って、サブサンプリング後の画像はサンプリング前の縦横半分のサイズになる。尚、平均値に限らず、中央値、最頻値、或いは、何らかの基準により決めた代表値を用いても良い。
【００４５】
（ステップ１４０２）一致判定部２１１は、階層生成部２１２にブロックBL2を出力して、階層生成部２１２がブロックBL2を用いて生成したブロック層BL_Lay2を受け取る。このブロック層BL_Lay2はブロックBL2をM段階にサブサンプリングしたブロックの集合である。各ブロックをブロックBL_Lay2[k](k=0...M-1)と表す。最下位層のブロックBL_Lay2[M-1]はブロックBL2に相当する。
【００４６】
（ステップ１４０３）一致判定部２１１は、ブロックBL_Lay1[0]（またはブロックBL_Lay2[0]）と同サイズの閾値マップTmapを生成する。閾値マップTmapの各画素の画素値は、ブロックBL_Lay1[0]の各画素とブロックBL_Lay2[0]の対応する画素との一致判定に用いる画素毎の閾値である。
【００４７】
（ステップ１４０４）一致判定部２１１は、ループ変数iに0を代入して初期化する。以下、ブロック層BL_Lay1及びブロック層BL_Lay2の階層を順次下がっていくループを開始する。
【００４８】
（ステップ１４０５）一致判定部２１１は、ブロックBL_Lay1[i]と同サイズの不一致フィルタafを用意し、不一致フィルタafの全画素に１を代入する。
【００４９】
（ステップ１４０６）一致判定部２１１は、ブロック内の各画素の走査を開始する。
【００５０】
（ステップ１４０７）一致判定部２１１は、ブロックBL_Lay1[i]の対象画素とブロックBL_Lay2[i]でこの対象画素に対応する画素との絶対値差分ADを求める。
【００５１】
（ステップ１４０８）一致判定部２１１は、閾値マップでこの対象画素に対応する画素の値を閾値Tとして抽出する。
【００５２】
（ステップ１４０９）一致判定部２１１は、絶対値差分ADと閾値Tとを比較する。一致判定部２１１は、絶対値差分ADが閾値Tよりも小さい場合はステップ１４１０の処理を実行する。一致判定部２１１は、絶対値差分ADが閾値T以上である場合はステップ１４１１の処理を実行する。
【００５３】
（ステップ１４１０）＜一致の場合＞一致判定部２１１は不一致フィルタafの対象画素に対応する画素に０を代入する。そして、閾値マップTmapの対象画素に対応する画素値を△UP増加させる。ただし、増加後にTmaxを超える場合は閾値マップTmapの当該画素値をそのままにする。本ステップの処理が終わったら、ステップ１４１２の処理を実行する。
【００５４】
（ステップ１４１１）＜不一致の場合＞一致判定部２１１は不一致フィルタafの対象画素に対応する画素に１を代入する。そして、閾値マップTmapの対象画素に対応する画素値を△DOWN減少させる。ただし、減少後にTminを下回る場合は閾値マップTmapの当該画素値をそのままにする。
【００５５】
（ステップ１４１２）一致判定部２１１はブロック内の全画素を走査したかどうかを調べる。全画素を走査した場合はステップ１４１３の処理を実行する。そうでなければ、ステップ１４０６の処理を実行する。
【００５６】
（ステップ１４１３）一致判定部２１１は閾値マップTmapをブロック層BL_Lay1[i+1]と同サイズになるようにスケール変換する。本実施形態では、１画素を同じ画素値を持つ４画素（２画素×２画素）に水増しすることでスケール変換を行う。
【００５７】
（ステップ１４１４）一致判定部２１１はループ変数iに１を加算する。
【００５８】
（ステップ１４１５）一致判定部２１１はループ変数iが階層数nを超えているかどうかを調べる。超えている場合は処理を終了する。超えていない場合はステップ１４０４の処理を実行する。
【００５９】
以上でループ処理は完了する。ループ処理が完了した時点で、ブロックと同サイズ（同画素数）の不一致フィルタafが得られる。
【００６０】
図７は上記ステップ１４０１、１４０２における階層生成部２１２の処理内容を説明するフローチャートである。階層生成部２１２は入力されたブロックLBLから、空間方向にサンプリングされた階層状のブロック層LBL_Layを生成して出力する。ブロック層LBL_Layは図１のブロック層BL_Lay1、BL_Lay2に対応するものである。つまり、階層生成部２１２にブロックBL1を入力した場合はブロック層BL_Lay1が得られ、階層生成部２１２にブロックBL2を入力した場合はブロック層BL_Lay2が得られる。
【００６１】
（ステップ１５０１）階層生成部２１２はブロックLBLの縦と横のサイズから、空間方向へのサンプリング可能回数nを算出する。例えば、縦１６画素、横１６画素のブロックの場合、縦横の画素数を１／２倍にするサンプリングを４回繰り返すと、縦１画素、横１画素の最小ブロックとなる。また、縦３２画素、横１６画素のブロックの場合、縦横の画素数を１／２倍にするサンプリングを４回繰り返すと、縦２画素、横１画素の最小ブロックとなる。
【００６２】
本実施形態では縦横の画素数を１／２倍にするサンプリングを行う。ブロックLBLの縦の画素数と横の画素数とのうち小さい方より小さい２の累乗の数のうち、最大のものを求めれば良い。
【００６３】
（ステップ１５０２）階層生成部２１２は図示しないメモリに、n階ブロック層LBL_Layのn+1次元の配列を格納するための記憶領域を確保する。これは、各層のブロックLBL_Lay[k](k=1...n)を格納するための記憶領域である。
【００６４】
（ステップ１５０３）階層生成部２１２はブロック層LBL_Lay[n]に小ブロックLBLを格納する。
【００６５】
（ステップ１５０４）階層生成部２１２はループ変数iにnを代入して初期化し、ループ処理を開始する。
【００６６】
（ステップ１５０５）階層生成部２１２はブロック層L BL_Lay[i]を空間方向に１回サンプリングし、LBL_Lay[i-1]に格納する。本実施形態の階層生成部２１２は、サンプリング点の周囲４点の平均画素値を新たな画素値とする空間方向のサンプリングを行う。
【００６７】
（ステップ１５０６）階層生成部２１２はループ変数iから１を減算する。
【００６８】
（ステップ１５０７）階層生成部２１２はループ変数iが０よりも小さい場合はブロック層LBL_Layを出力し、それ以外の場合はステップ１５０５の処理を行う。
【００６９】
以上でループ処理が完了する。ループ処理が完了した時点で、ブロック層LBL_Layが得られる。
【００７０】
図５は上記ステップ１１０４における補間画像生成部２０２の処理内容を説明するフローチャートである。補間画像生成部２０２は、動きベクトルグループmvgと不一致フィルタグループafgと参照フレームp1と参照フレームp2とを用いて補間フレームに対して動き補償を行い、補間フレームを生成する。
【００７１】
（ステップ１３０１）補間画像生成部２０２は、ループ変数ite_mcに１を代入して初期する。
【００７２】
（ステップ１３０２、ステップ１３０３）補間画像生成部２０２は、補間フレーム上のブロックBL0を基準として動きベクトルmv[ite_mc]によって定まる参照フレームp2上のブロックpb2と、補間フレーム上のブロックBL0を基準にブロックpb2と点対称な位置にある参照フレームp1上のブロックpb1とを求める。ブロックp2は、補間フレーム上のブロックBL0から動きベクトルmv[ite_mc]で示される位置にある、参照フレームp2上のブロックである。また、ブロックp1は、補間フレーム上のブロックBL0から動きベクトルmv[ite_mc]を-1倍（若しくは-n倍：n＜0）したベクトルで示される位置にある、参照フレームp1上のブロックである。
【００７３】
（ステップ１３０４）補間画像生成部２０２は、ブロックBL0内の各画素の走査を開始する。
【００７４】
（ステップ１３０５）補間画像生成部２０２は、ブロックpb1及びブロックpb2上で走査中の画素に対応する画素との平均値を求める。
【００７５】
（ステップ１３０６）補間画像生成部２０２は、不一致フィルタaf[ite_mc]上の走査中の画素に対応する画素の値が０か否かを調べる。補間画像生成部２０２は、不一致フィルタの画素値が０である場合はステップ１３０７の処理を行い、０でない場合はステップ１３０８の処理を行う。
【００７６】
（ステップ１３０７）補間画像生成部２０２は、走査中の画素の画素値にステップ１３０５で求めた平均値を採用する。
【００７７】
（ステップ１３０８）補間画像生成部２０２は、ブロックBL0内の全画素の走査を完了したか否かを調べる。全画素の走査を完了した場合は、補間画像生成部２０２はステップ１３０９の処理を行う。まだ完了していない場合は、補間画像生成部２０２はステップ１３０６の処理を行う。
【００７８】
（ステップ１３０９）補間画像生成部２０２は、ループ変数ite_mcに１を加算する。
【００７９】
（ステップ１３１０）補間画像生成部２０２は、ループ変数ite_mcがｎより大きい場合は処理を終了する。ループ変数ite_mcがｎより小さい場合、補間画像生成部２０２はステップ１３０２の処理を行う。
【００８０】
以上でループ処理が完了する。ループ処理が完了した時点で、ブロックBL0に関する補間画像が得られる。上述した、ステップ１１０３からステップ１１０５までのループ処理によって、上記補間画像生成処理が補間フレーム内の全ブロックBL0に対して行われる。その結果、補間フレーム全体の画像が生成される。
【００８１】
本実施形態では、空間方向にサンプリングされたブロック層を導入したことにより、最もサンプリングされた最上位層というマクロなレベルから、サンプリングされていない元のブロックというミクロなレベルまで再帰的に一致判定を行っている。これにより、１〜数画素単位で生じるノイズによって補間フレームの画像にごま塩ノイズが生じることを防ぐことが可能となった。
【００８２】
（変形例）本実施形態では、一致判定部２１１は、あるブロック層におけるブロック間で対応する画素として一致・不一致の二つの状態を取り扱っていた。そして、一致判定部２１１は、ブロック間で対応する画素が一致の場合はステップ１４１０で閾値を増加させ、不一致の場合は閾値を減少させていた。
【００８３】
本変形例では、一致判定部２１１は"According"、"Boundary"そして"Not According"の３つの状態を取り扱う。ブロック間で対応する画素が"According"状態の場合、一致判定部２１１は閾値を増加させる。ブロック間で対応する画素が"Boundary"状態の場合、一致判定部２１１は閾値を変化させない。ブロック間で対応する画素が"Not According"状態の場合、一致判定部２１１は閾値を減少させる。
【００８４】
図１３、図１４は本変形例での一致判定部２１１の処理を説明するフローチャートである。図１４は、図１３のステップ２００５をより詳細に説明するフローチャートである。まず、図１３を用いて説明する。図１３は図６に示す処理と同じ部分があるので、異なる部分を中心に説明する。
【００８５】
（ステップ２００１〜ステップ２００３）上記ステップ１４０１〜ステップ１４０４と同じ処理を行う。尚、ここでもループ変数を"i"とする。
【００８６】
（ステップ２００４）一致判定部２１１は、閾値マップTmapをブロック層BL_Lay1[i+1]と同サイズにスケール変換して、閾値マップTm ap_tmpを生成する。
【００８７】
（ステップ２００５）一致判定部２１１は、ブロックBL_Lay1[i+1]、ブロックBL_Lay2[i+1]及び閾値マップTmap_tmpを用いて一致判定を行い、不一致フィルタafを生成する。尚、本ステップの詳細は後述する。
【００８８】
（ステップ２００６）一致判定部２１１は、閾値マップTmap内の各画素(x,y)の走査を開始する。
【００８９】
（ステップ２００７）一致判定部２１１は、不一致フィルタafの画素(2x,2y)、(2x+1,2y)、(2x,2y+1)、(2x+1,2y+1)のうち画素値が１であるものの個数Numを求める。
【００９０】
（ステップ２００８〜ステップ２００９）一致判定部２１１は、個数Numが0である場合はステップ２０１０の処理を行い、個数Numが4である場合はステップ２０１１の処理を行い、それ以外の場合はステップ２０１２の処理を行う。
【００９１】
（ステップ２０１０）一致判定部２１１は、閾値マップTmapの画素(x,y)の値を△UP増加させる。そして、ステップ２０１３の処理を行う。
【００９２】
（ステップ２０１１）一致判定部２１１は、閾値マップTmapの画素(x,y)の値をそのままにする。そして、ステップ２０１３の処理を行う。
【００９３】
（ステップ２０１２）一致判定部２１１は、閾値マップTmapの画素(x,y)の値を△DOWN減少させる。そして、ステップ２０１３の処理を行う。
【００９４】
（ステップ２０１３）一致判定部２１１は、閾値マップTmap内の全画素の走査が完了した場合はステップ２０１４の処理を行う。完了していない場合は、一致判定部２１１はステップ２００７の処理を行う。
【００９５】
（ステップ２０１４）一致判定部２１１は、閾値マップTmapをブロック層BL_Lay[i+1]と同サイズにスケール変換する。
【００９６】
（ステップ２０１５〜ステップ２０１６）一致判定部２１１はループ変数iに１を加算する。一致判定部２１１は、ループ変数iがn以上であれば、ブロック層BL_Lay1[n]、ブロック層BL_Lay2[n]及び閾値マップTmapを用いて一致判定を行うことで求めた不一致フィルタafを出力して処理を終了する。ループ変数iがn未満の場合はステップ２００４の処理を実行する。
【００９７】
以上で本変形例での一致判定部２１１の処理が終了する。
【００９８】
図１４は上記ステップ２００５における一致判定部２１１の処理の詳細を示す。上記ステップ２００５では、ブロックLBL1、ブロックLBL2及び閾値マップLTmapを入力として受け取り、不一致フィルタLafを出力する処理が行われる。尚、上記ステップ２００１〜ステップ２０１６とは変数名を変えてあるが、ステップ２００５のBL_Lay1[i+1]がブロックLBL1に対応し、ブロックBL_Lay2[i+1]がブロックLBL2に対応し、閾値マップTmap_tmpが閾値マップLTmapに対応し、不一致フィルタafが不一致フィルタLafに対応する。
【００９９】
（ステップ２６０１）一致判定部２１１は、メモリにブロックLBL1と同じサイズの不一致フィルタLa fを用意し、不一致フィルタLafの全画素に１を代入する。
【０１００】
（ステップ２６０２）一致判定部２１１は、ブロックLBL1上の各画素の走査を開始する。走査対象となっている画素を注目画素と呼ぶ。
【０１０１】
（ステップ２６０３）一致判定部２１１は、ブロックLBL1上の注目画素と、この画素に対応するブロックLBL2上の画素との絶対値差分Ladを求める。
【０１０２】
（ステップ２６０４）一致判定部２１１は、閾値マップLTmap上の注目画素に対応する画素から閾値LTを抽出する。
【０１０３】
（ステップ２６０５）一致判定部２１１は、絶対値差分Ladと閾値LTとを比較する。
【０１０４】
（ステップ２６０６）＜一致＞絶対値差分Ladが閾値LTより小さい場合、すなわち、一致の場合、一致判定部２１１は不一致フィルタLaf上の注目画素に対応する画素の画素値を０に設定する。
【０１０５】
（ステップ２６０７）＜不一致＞絶対値差分Ladが閾値LT以上の場合、すなわち、不一致の場合、一致判定部２１１は不一致フィルタLaf上の注目画素に対応する画素の画素値を１に設定する。
【０１０６】
（ステップ２６０８）一致判定部２１１は、ブロックLBL1内の全画素の走査を完了した場合は、不一致フィルタLafを出力してこの処理（ステップ２００５の処理）を終了する。未完了の場合は、次の注目画素に関してステップ２６０３の処理を行う。
【０１０７】
以上で、本変形例での一致判定部２１１におけるステップ２００５の処理が終了する。
【０１０８】
以上、本変形例の一致判定部２１１は"According"、"Boundary"そして"Not According"の３つの状態を取り扱うので、上述した一実施形態よりもより細かい状態遷移が可能となり、その結果ノイズの発生を低減させることが可能となる。
【図面の簡単な説明】
【０１０９】
【図１】本発明の一実施形態の補間画像生成処理における一致判定処理の概要を示す図。
【図２】本発明の一実施形態の補間画像生成装置のブロック図。
【図３】本発明の一実施形態の補間画像生成処理の全体のフローチャート。
【図４】動き探索部２１０の処理のフローチャート。
【図５】補間画像生成部２０２の処理のフローチャート。
【図６】一致判定部２１１の処理のフローチャート。
【図７】階層生成部２１２の処理のフローチャート。
【図８】動き探索部２１０の処理の概要を示す図。
【図９】不一致フィルタの図。
【図１０】初期状態での不一致フィルタの図。
【図１１】動き探索部２１０での、繰り返し１回目での動き探索処理の概要を示す図。
【図１２】動き探索部２１０での、繰り返し２回目以降の動き探索処理の概要を示す図。
【図１３】変形例の一致判定部２１１による処理のフローチャート。
【図１４】変形例の一致判定部２１１による不一致フィルタ生成処理のフローチャート。
【符号の説明】
【０１１０】
２００  動き推定部
２０１  フレームメモリ
２０２  補間画像生成部
２１０  動き探索部
２１１  一致判定部
２１２  階層生成部
【図１】
2005286507.tif 000003
【図２】
2005286507.tif 000004
【図３】
2005286507.tif 000005
【図４】
2005286507.tif 000006
【図５】
2005286507.tif 000007
【図６】
2005286507.tif 000008
【図７】
2005286507.tif 000009
【図８】
2005286507.tif 000010
【図９】
2005286507.tif 000011
【図１０】
2005286507.tif 000012
【図１１】
2005286507.tif 000013
【図１２】
2005286507.tif 000014
【図１３】
2005286507.tif 000015
【図１４】
2005286507.tif 000016