(57)【要約】【課題】フレーム補間において、高画質の補間フレームを生成する。【解決手段】候補ベクトル算出部１２は、入力画像をブロック分割した小ブロックごとに、背景の動きを表す背景ベクトルv1と、背景以外の物体の動きを表す物体ベクトルv2とを求める。画素単位動き推定部１３は、背景について、背景ベクトルv1に従った動き、及び画像の相関が連続している回数を表す背景カウント値をカウントし、背景カウント値のカウントとは別個に、物体について、物体ベクトルv2に従った動き、及び画像の相関が連続している回数を表す物体カウント値をカウントする。そして、画素単位動き推定部１３は、背景カウント値と物体カウント値との大小関係に基づいて、補間フレームの画素の動きを表す順方向ベクトルと逆方向ベクトルを求める。本発明は、例えば、画像のフレーム補間を行う場合に適用できる。【選択図】図５
2010219715.tif 000002
【特許請求の範囲】
【請求項１】
補間の対象の入力画像のフレームどうしの間に補間する補間フレームの過去側の前記入力画像のフレームである過去側フレームと、前記補間フレームの未来側の前記入力画像のフレームである未来側フレームとを、前記入力画像から選択し、前記過去側フレーム、及び前記未来側フレームを用いたブロックマッチングによって、前記補間フレームをブロック分割して得られる小ブロックごとに、複数種類の動きベクトルを検出する動きベクトル検出手段と、
前記複数種類の動きベクトルそれぞれの統計量を求める統計処理によって、前記入力画像に写る背景の動きを表す背景ベクトルと、前記入力画像に写る、前記背景以外の物体の動きを表す物体ベクトルとを、前記小ブロックの動きを表す動きベクトルの候補として、前記小ブロックごとに求める候補ベクトル算出手段と、
前記小ブロックごとの前記背景ベクトル、及び前記物体ベクトルを用い、前記過去側フレームから前記未来側フレームの方向に見た、前記補間フレームの画素の動きを表す順方向ベクトルと、前記未来側フレームから前記過去側フレームの方向に見た、前記補間フレームの画素の動きを表す逆方向ベクトルとを、前記補間フレームの画素ごとに求める画素単位動き推定手段と、
前記補間フレームの画素である補間画素について、
前記補間画素を含む前記小ブロックの前記背景ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、
前記補間画素を含む前記小ブロックの前記物体ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、
前記補間画素の位置の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと
の中の少なくとも１つ以上と、前記背景ベクトル、前記物体ベクトル、又は０ベクトルとが類似しているかどうかによって、前記背景ベクトル、前記物体ベクトル、又は前記０ベクトルを、前記補間画素の動きベクトルに判定する動き判定を行う補間画素動き判定手段と、
前記補間画素の動きベクトルに従い、前記過去側フレーム、及び前記未来側フレームのうちの少なくとも一方の動き補償を行い、前記動き補償によって得られる動き補償画像を用いて、前記補間フレームを生成する補間画像生成手段と
を含み、
前記画素単位動き推定手段は、
前記補間フレームの中の、注目する注目フレームを構成する画素のうちの、注目する注目画素について、
前記注目画素を含む前記小ブロックの前記背景ベクトルが、前記注目画素の位置から前記背景ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの画素である前フレーム画素の前記背景ベクトル又は前記物体ベクトルに類似し、かつ、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がある場合、
及び、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がある場合、
前記背景ベクトルに従った動き、及び画像の相関が連続している回数を表す背景カウント値をインクリメントし、
前記注目画素を含む前記小ブロックの前記背景ベクトルが、前記注目画素の位置から前記背景ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記背景ベクトル及び前記物体ベクトルのいずれにも類似しないか、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がないか、
又は、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がない場合、
前記背景カウント値をリセットし、
前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル又は前記背景ベクトルに類似し、かつ、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がある場合、
及び、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がある場合、
前記物体ベクトルに従った動き、及び画像の相関が連続している回数を表す物体カウント値をインクリメントし、
前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル及び前記背景ベクトルのいずれにも類似しないか、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がないか、
又は、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がない場合、
前記物体カウント値をリセットし、
前記背景カウント値と前記物体カウント値との大小関係に基づいて、前記背景ベクトル、又は前記物体ベクトルを、前記順方向ベクトルとして求めるとともに、前記逆方向ベクトルとして求める
画像処理装置。
【請求項２】
前記動きベクトル検出手段は、
前記補間フレームの小ブロックについて、前記過去側フレーム、又は前記未来側フレームの一方のフレームの小ブロックを、他方のフレームに設定されるサーチエリア内を移動させ、前記小ブロックと、前記サーチエリアの各位置における、前記小ブロックと同一のサイズの領域との画像の一致の度合いを表す評価値を求め、前記評価値のテーブルである評価値テーブルを生成する、前記小ブロックのブロックマッチングを行う小ブロック評価値テーブル生成手段と、
前記補間フレームの小ブロックについて、前記小ブロックの評価値テーブルの評価値の加算と減算とを行うことにより、複数の前記小ブロックから構成される中ブロックのブロックマッチングの結果得られる、前記中ブロックの評価値テーブルを生成する中ブロックの評価値テーブル生成手段と、
前記中ブロックの評価値テーブルにおいて、前記画像の一致の度合いが最も良いことを表す評価値が得られるときの、前記サーチエリア内の前記中ブロックの位置を表すベクトルを、前記複数種類の動きベクトルのうちの１種類の動きベクトルとして検出する中ブロックのベクトル検出手段と、
前記補間フレームの小ブロックについて、前記小ブロックの評価値テーブルの評価値の加算と減算とを行うことにより、前記中ブロックを構成する小ブロックの数よりも多い数の小ブロックから構成される大ブロックのブロックマッチングの結果得られる、前記大ブロックの評価値テーブルを生成する大ブロックの評価値テーブル生成手段と、
前記大ブロックの評価値テーブルにおいて、前記画像の一致の度合いが最も良いことを表す評価値が得られるときの、前記サーチエリア内の前記大ブロックの位置を表すベクトルを、前記複数種類の動きベクトルのうちの他の１種類の動きベクトルとして検出する大ブロックのベクトル検出手段と
を有する
請求項１に記載の画像処理装置。
【請求項３】
前記中ブロックのベクトル検出手段は、
前記中ブロックの評価値テーブルの評価値の分布に基づいて、前記中ブロックの評価値テーブルから検出される動きベクトルが信頼できるかどうかを判定し、
前記中ブロックの評価値テーブルから検出される動きベクトルが信頼できない場合、前記大ブロックのベクトル検出手段において検出される前記他の１種類の動きベクトルを、前記１種類の動きベクトルとして採用する
請求項２に記載の画像処理装置。
【請求項４】
前記候補ベクトル算出手段は、
前記動きベクトル検出手段において検出される、前記補間フレームの前記小ブロックすべての動きベクトルのヒストグラムである全画面ヒストグラムを生成する全画面ヒストグラム生成手段と、
前記全画面ヒストグラムに基づいて、前記補間フレームを構成する前記小ブロックのうちの、前記背景の動きをしている背景ブロックと、前記物体の動きをしている物体ブロックとを検出する背景物体ブロック検出手段と、
前記補間フレームを構成する前記小ブロックのうちの前記背景ブロックの前記動きベクトルのヒストグラムに基づいて、前記補間フレームの前記小ブロック単位の列ごとに、前記背景ベクトルの候補のx成分を求めるとともに、前記補間フレームの前記小ブロック単位の行ごとに、前記背景ベクトルの候補のy成分を求める背景ベクトルの候補算出手段と、
前記背景ベクトルの候補から、前記背景ベクトルを選択する背景ベクトル選択手段と
を有し、
前記背景物体ブロック検出手段は、
前記全画面ヒストグラムにおいて、度数が１位と２位の階級を検出し、
前記全画面ヒストグラムにおいて、１位と２位の階級それぞれを、背景の動きの候補の階級のエリアである背景階級エリアとして、前記背景階級エリアに隣接する階級のうちの、度数が０でない階級を、前記背景階級エリアに含めることを繰り返すことで、前記背景階級エリアを拡張し、
１位と２位の階級に対して得られる前記背景階級エリアそれぞれについて、前記背景階級エリアに含まれる階級の動きベクトルが検出された小ブロックの中で、画枠に接する小ブロックの数をカウントし、
１位と２位の階級に対して得られる前記背景階級エリアのうちの、前記画枠に接する小ブロックの数が多い方の前記背景階級エリアに含まれる階級の動きベクトルが検出された小ブロックを、背景の動きをしている背景ブロックとして検出するとともに、前記補間フレームの他の小ブロックを、前記物体の動きをしている物体ブロックとして検出する
請求項１に記載の画像処理装置。
【請求項５】
前記候補ベクトル算出手段は、
前記補間フレームの前記小ブロック単位の列ごとの前記背景ブロックの前記動きベクトルのx成分のヒストグラムである水平射影ヒストグラムと、
前記補間フレームの前記小ブロック単位の行ごとの前記背景ブロックの前記動きベクトルのy成分のヒストグラムである垂直射影ヒストグラムと
を、前記統計量として生成する射影ヒストグラム生成手段
をさらに有し、
前記背景ベクトルの候補算出手段は、第j行第i列の小ブロックの背景ベクトルの候補として、前記水平射影ヒストグラムにおいて度数が最大の階級と、前記垂直射影ヒストグラムにおいて度数が最大の階級とを、それぞれx成分とy成分とするベクトルを求める
請求項４に記載の画像処理装置。
【請求項６】
前記画素単位動き推定手段は、
前記注目画素について、さらに、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置の画素との間に相関がある場合、前記０ベクトルに従った動き、及び画像の相関が連続している回数を表す静止カウント値をインクリメントし、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置の画素との間に相関がない場合、前記静止カウント値をリセットし、
前記背景カウント値、前記物体カウント値、及び、前記静止カウント値の大小関係に基づいて、前記背景ベクトル、前記物体ベクトル、又は、前記０ベクトルを、前記順方向ベクトルとして求めるとともに、前記逆方向ベクトルとして求める
請求項１に記載の画像処理装置。
【請求項７】
前記画素単位動き推定手段は、
前記未来側フレーム、又は前記過去側フレームのうちの一方のフレームの画素を含むブロックを、他方のフレームに設定されるサーチエリア内を移動させ、前記ブロックと、前記サーチエリアの各位置における、前記ブロックと同一のサイズの領域との画像の一致の度合いを表す評価値を求め、前記評価値のテーブルである評価値テーブルを生成する、前記ブロックのブロックマッチングを行い、
前記評価値テーブルの評価値の分布に基づいて、前記未来側フレームの画素と、前記過去側フレームの画素との間の相関の有無を判定する
請求項６に記載の画像処理装置。
【請求項８】
前記動きベクトル検出手段は、
前記補間フレームの小ブロックについて、前記過去側フレーム、又は前記未来側フレームの一方のフレームの小ブロックを、他方のフレームに設定されるサーチエリア内を移動させ、前記小ブロックと、前記サーチエリアの各位置における、前記小ブロックと同一のサイズの領域との画像の一致の度合いを表す評価値を求め、前記評価値のテーブルである評価値テーブルを生成する、前記小ブロックのブロックマッチングを行う小ブロック評価値テーブル生成手段と、
前記補間フレームの小ブロックについて、前記小ブロックの評価値テーブルの評価値の加算と減算とを行うことにより、複数の前記小ブロックから構成される、前記過去側フレームの中ブロックのブロックマッチングの結果得られる評価値テーブルと、前記未来側フレームの中ブロックのブロックマッチングの結果得られる評価値テーブルとを合成した中ブロック双方向評価値テーブルを生成する中ブロック双方向評価値テーブル生成手段と、
前記中ブロック双方向評価値テーブルにおいて、前記画像の一致の度合いが最も良いことを表す評価値が得られるときの、前記サーチエリア内の前記中ブロックの位置を表すベクトルを、前記複数種類の動きベクトルのうちの１種類である中ブロック双方向ベクトルとして検出する中ブロック双方向ベクトル検出手段と、
前記補間フレームの小ブロックについて、前記小ブロックの評価値テーブルの評価値の加算と減算とを行うことにより、前記過去側フレームの中ブロックのブロックマッチングの結果得られる評価値テーブルである中ブロック順方向評価値テーブルを生成する中ブロック順方向評価値テーブル生成手段と、
前記中ブロック順方向評価値テーブルにおいて、前記画像の一致の度合いが最も良いことを表す評価値が得られるときの、前記サーチエリア内の前記中ブロックの位置を表すベクトルを、前記複数種類の動きベクトルのうちの１種類である中ブロック順方向ベクトルとして検出する中ブロック順方向ベクトル検出手段と、
前記補間フレームの小ブロックについて、前記小ブロックの評価値テーブルの評価値の加算と減算とを行うことにより、前記未来側フレームの中ブロックのブロックマッチングの結果得られる評価値テーブルである中ブロック逆方向評価値テーブルを生成する中ブロック逆方向評価値テーブル生成手段と、
前記中ブロック逆方向評価値テーブルにおいて、前記画像の一致の度合いが最も良いことを表す評価値が得られるときの、前記サーチエリア内の前記中ブロックの位置を表すベクトルを、前記複数種類の動きベクトルのうちの１種類である中ブロック逆方向ベクトルとして検出する中ブロック逆方向ベクトル検出手段と、
前記補間フレームの小ブロックについて、前記小ブロックの評価値テーブルの評価値の加算と減算とを行うことにより、前記中ブロックを構成する小ブロックの数よりも多い数の小ブロックから構成される、前記過去側フレームの大ブロックのブロックマッチングの結果得られる評価値テーブルと、前記未来側フレームの大ブロックのブロックマッチングの結果得られる評価値テーブルとを合成した大ブロック双方向評価値テーブルを生成する大ブロック双方向評価値テーブル生成手段と、
前記大ブロック双方向評価値テーブルにおいて、前記画像の一致の度合いが最も良いことを表す評価値が得られるときの、前記サーチエリア内の前記大ブロックの位置を表すベクトルを、前記複数種類の動きベクトルのうちの１種類である大ブロック双方向ベクトルとして検出する大ブロック双方向ベクトル検出手段と
を有し、
前記候補ベクトル算出手段は、
前記大ブロック双方向ベクトルの前記統計処理を行うことによって、前記小ブロックごとの前記背景ベクトルを求め、
前記中ブロック双方向ベクトルの前記統計処理を行うことによって、前記小ブロックごとの前記物体ベクトルを求め、
前記中ブロック順方向ベクトルの前記統計処理を行うことによって得られる前記統計量としてのベクトルと、前記背景ベクトル、及び前記物体ベクトルのそれぞれとを比較することにより、前記背景ベクトルと前記物体ベクトルとのうちの、前記統計量としてのベクトルに類似する方のベクトルを表す順方向動き判定情報を、前記小ブロックごとに生成し、
前記中ブロック逆方向ベクトルの前記統計処理を行うことによって得られる前記統計量としてのベクトルと、前記背景ベクトル、及び前記物体ベクトルのそれぞれとを比較することにより、前記背景ベクトルと前記物体ベクトルとのうちの、前記統計量としてのベクトルに類似する方のベクトルを表す逆方向動き判定情報を、前記小ブロックごとに生成し、
前記画素単位動き推定手段は、前記背景カウント値、前記物体カウント値、及び、前記静止カウント値のうちの２以上が最大値である場合、前記背景ベクトル、及び、前記物体ベクトルのうちの、前記順方向動き判定情報が表すベクトルを、前記順方向ベクトルとして求めるとともに、前記背景ベクトル、及び、前記物体ベクトルのうちの、前記逆方向動き判定情報が表すベクトルを、前記逆方向ベクトルとして求める
請求項６に記載の画像処理装置。
【請求項９】
前記画素単位動き推定手段は、前記注目フレームの前の補間フレームの前記前フレーム画素の前記背景ベクトル、及び前記物体ベクトルを記憶するベクトル記憶手段を有する
請求項６に記載の画像処理装置。
【請求項１０】
前記候補ベクトル算出手段は、
前記動きベクトル検出手段において検出される、前記補間フレームの前記小ブロックすべての動きベクトルのヒストグラムである全画面ヒストグラムを生成する全画面ヒストグラム生成手段と、
前記全画面ヒストグラムに基づいて、前記過去側フレームから、前記未来側フレームにかけて、シーンチェンジが生じているかどうかを判定するシーンチェンジ判定手段と
を有し、
前記画素単位動き推定手段は、
前記注目画素の位置から前記背景ベクトルに従って移動した位置が、画枠外の位置である場合、前記背景カウント値に、シーンチェンジからのフレーム数を表す回数カウント値をセットし、
前記注目画素の位置から前記物体ベクトルに従って移動した位置が、画枠外の位置である場合、前記物体カウント値に、シーンチェンジからのフレーム数を表す回数カウント値をセットする
請求項７に記載の画像処理装置。
【請求項１１】
前記画素単位動き推定手段は、
前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル又は前記背景ベクトルに類似している場合、前記物体ベクトルに従った動きが連続している回数を表す物体回数カウント値をインクリメントし、
前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル及び前記背景ベクトルのいずれにも類似しない場合、前記物体回数カウント値をリセットし、
前記背景カウント値、前記物体カウント値、及び、前記静止カウント値の中の最大値が、前記背景カウント値である場合において、前記背景カウント値が、前記回数カウント値よりも小であるとき、又は、前記最大値が、前記物体カウント値である場合において、前記物体カウント値が、前記物体回数カウンタよりも小であるとき、
前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間の相関の有無の判定に用いられた、前記背景ベクトルに対応する前記評価値テーブルと、
前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間の相関の有無の判定に用いられた、前記物体ベクトルに対応する前記評価値テーブルと
のうちの、前記画像の一致の度合いが最も良いことを表す評価値を有する前記評価値テーブルに対応する前記背景ベクトル、又は前記物体ベクトルを、前記順方向ベクトルとして求めるとともに、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間の相関の有無の判定に用いられた、前記背景ベクトルに対応する前記評価値テーブルと、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間の相関の有無の判定に用いられた、前記物体ベクトルに対応する前記評価値テーブルと
のうちの、前記画像の一致の度合いが最も良いことを表す評価値を有する前記評価値テーブルに対応する前記背景ベクトル、又は前記物体ベクトルを、前記逆方向ベクトルとして求める
請求項１０に記載の画像処理装置。
【請求項１２】
前記補間画素動き判定手段は、前記補間画素について、
前記補間画素を含む前記小ブロックの前記背景ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、
前記補間画素を含む前記小ブロックの前記物体ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、
前記補間画素の位置の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと
の中の少なくとも１つ以上と、前記背景ベクトル、前記物体ベクトル、又は０ベクトルとが類似しているかどうかによって、前記動き判定を行うとともに、前記補間画素が、カバードバックグラウンド領域の画素、アンカバードバックグラウンド領域の画素、又は、カバードバックグラウンド領域、及び、アンカバードバックグラウンド領域のいずれの領域でもない領域の画素のうちのいずれであるかを判定するC/UC判定を行い、
前記補間画像生成手段は、前記C/UC判定の判定結果を表すC/UC情報に基づいて、前記動き補償画像の画素から、前記補間フレームの前記補間画素の生成に用いる画素を選択して、前記補間画素を生成する
請求項１に記載の画像処理装置。
【請求項１３】
前記補間画像生成手段は、
前記補間フレームの補間画素のうちの注目している注目画素の画素値を求める予測演算に用いられる予測タップとなる画素として、前記動き補償画像の、前記注目画素の位置に近い画素を選択する予測タップ選択手段と、
前記注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類に用いられるクラスタップとなる画素として、前記動き補償画像の、前記注目画素の位置に近い画素を選択するクラスタップ選択手段と、
前記クラスタップである画素のレベル分布によって、前記注目画素のクラス分類を行うクラス分類手段と、
前記入力画像に相当する生徒画像から得られる前記動き補償画像を用いた前記予測演算の結果と、前記補間フレームに相当する教師画像との誤差を最小にする学習により求められた、前記複数のクラスそれぞれごとの、前記予測演算に用いられるタップ係数のうちの、前記注目画素のクラスのタップ係数を出力するタップ係数出力手段と、
前記注目画素のクラスのタップ係数と、前記注目画素の前記予測タップとを用いた前記予測演算を行うことにより、前記注目画素の画素値を求める演算手段と
を有する
請求項１に記載の画像処理装置。
【請求項１４】
補間の対象の入力画像のフレームどうしの間に補間する補間フレームの過去側の前記入力画像のフレームである過去側フレームと、前記補間フレームの未来側の前記入力画像のフレームである未来側フレームとを、前記入力画像から選択し、前記過去側フレーム、及び前記未来側フレームを用いたブロックマッチングによって、前記補間フレームをブロック分割して得られる小ブロックごとに、複数種類の動きベクトルを検出する動きベクトル検出ステップと、
前記複数種類の動きベクトルそれぞれの統計量を求める統計処理によって、前記入力画像に写る背景の動きを表す背景ベクトルと、前記入力画像に写る、前記背景以外の物体の動きを表す物体ベクトルとを、前記小ブロックの動きを表す動きベクトルの候補として、前記小ブロックごとに求める候補ベクトル算出ステップと、
前記小ブロックごとの前記背景ベクトル、及び前記物体ベクトルを用い、前記過去側フレームから前記未来側フレームの方向に見た、前記補間フレームの画素の動きを表す順方向ベクトルと、前記未来側フレームから前記過去側フレームの方向に見た、前記補間フレームの画素の動きを表す逆方向ベクトルとを、前記補間フレームの画素ごとに求める画素単位動き推定ステップと、
前記補間フレームの画素である補間画素について、
前記補間画素を含む前記小ブロックの前記背景ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、
前記補間画素を含む前記小ブロックの前記物体ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、
前記補間画素の位置の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと
の中の少なくとも１つ以上と、前記背景ベクトル、前記物体ベクトル、又は０ベクトルとが類似しているかどうかによって、前記背景ベクトル、前記物体ベクトル、又は前記０ベクトルを、前記補間画素の動きベクトルに判定する動き判定を行う補間画素動き判定ステップと、
前記補間画素の動きベクトルに従い、前記過去側フレーム、及び前記未来側フレームのうちの少なくとも一方の動き補償を行い、前記動き補償によって得られる動き補償画像を用いて、前記補間フレームを生成する補間画像生成ステップと
を含み、
前記画素単位動き推定ステップでは、
前記補間フレームの中の、注目する注目フレームを構成する画素のうちの、注目する注目画素について、
前記注目画素を含む前記小ブロックの前記背景ベクトルが、前記注目画素の位置から前記背景ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの画素である前フレーム画素の前記背景ベクトル又は前記物体ベクトルに類似し、かつ、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がある場合、
及び、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がある場合、
前記背景ベクトルに従った動き、及び画像の相関が連続している回数を表す背景カウント値をインクリメントし、
前記注目画素を含む前記小ブロックの前記背景ベクトルが、前記注目画素の位置から前記背景ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記背景ベクトル及び前記物体ベクトルのいずれにも類似しないか、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がないか、
又は、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がない場合、
前記背景カウント値をリセットし、
前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル又は前記背景ベクトルに類似し、かつ、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がある場合、
及び、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がある場合、
前記物体ベクトルに従った動き、及び画像の相関が連続している回数を表す物体カウント値をインクリメントし、
前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル及び前記背景ベクトルのいずれにも類似しないか、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がないか、
又は、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がない場合、
前記物体カウント値をリセットし、
前記背景カウント値と前記物体カウント値との大小関係に基づいて、前記背景ベクトル、又は前記物体ベクトルを、前記順方向ベクトルとして求めるとともに、前記逆方向ベクトルとして求める
画像処理方法。
【請求項１５】
補間の対象の入力画像のフレームどうしの間に補間する補間フレームの過去側の前記入力画像のフレームである過去側フレームと、前記補間フレームの未来側の前記入力画像のフレームである未来側フレームとを、前記入力画像から選択し、前記過去側フレーム、及び前記未来側フレームを用いたブロックマッチングによって、前記補間フレームをブロック分割して得られる小ブロックごとに、複数種類の動きベクトルを検出する動きベクトル検出手段と、
前記複数種類の動きベクトルそれぞれの統計量を求める統計処理によって、前記入力画像に写る背景の動きを表す背景ベクトルと、前記入力画像に写る、前記背景以外の物体の動きを表す物体ベクトルとを、前記小ブロックの動きを表す動きベクトルの候補として、前記小ブロックごとに求める候補ベクトル算出手段と、
前記小ブロックごとの前記背景ベクトル、及び前記物体ベクトルを用い、前記過去側フレームから前記未来側フレームの方向に見た、前記補間フレームの画素の動きを表す順方向ベクトルと、前記未来側フレームから前記過去側フレームの方向に見た、前記補間フレームの画素の動きを表す逆方向ベクトルとを、前記補間フレームの画素ごとに求める画素単位動き推定手段と、
前記補間フレームの画素である補間画素について、
前記補間画素を含む前記小ブロックの前記背景ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、
前記補間画素を含む前記小ブロックの前記物体ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、
前記補間画素の位置の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと
の中の少なくとも１つ以上と、前記背景ベクトル、前記物体ベクトル、又は０ベクトルとが類似しているかどうかによって、前記背景ベクトル、前記物体ベクトル、又は前記０ベクトルを、前記補間画素の動きベクトルに判定する動き判定を行う補間画素動き判定手段と、
前記補間画素の動きベクトルに従い、前記過去側フレーム、及び前記未来側フレームのうちの少なくとも一方の動き補償を行い、前記動き補償によって得られる動き補償画像を用いて、前記補間フレームを生成する補間画像生成手段と
して、コンピュータを機能させるためのプログラムであり、
前記画素単位動き推定手段は、
前記補間フレームの中の、注目する注目フレームを構成する画素のうちの、注目する注目画素について、
前記注目画素を含む前記小ブロックの前記背景ベクトルが、前記注目画素の位置から前記背景ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの画素である前フレーム画素の前記背景ベクトル又は前記物体ベクトルに類似し、かつ、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がある場合、
及び、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がある場合、
前記背景ベクトルに従った動き、及び画像の相関が連続している回数を表す背景カウント値をインクリメントし、
前記注目画素を含む前記小ブロックの前記背景ベクトルが、前記注目画素の位置から前記背景ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記背景ベクトル及び前記物体ベクトルのいずれにも類似しないか、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がないか、
又は、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がない場合、
前記背景カウント値をリセットし、
前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル又は前記背景ベクトルに類似し、かつ、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がある場合、
及び、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がある場合、
前記物体ベクトルに従った動き、及び画像の相関が連続している回数を表す物体カウント値をインクリメントし、
前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル及び前記背景ベクトルのいずれにも類似しないか、
前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がないか、
又は、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がない場合、
前記物体カウント値をリセットし、
前記背景カウント値と前記物体カウント値との大小関係に基づいて、前記背景ベクトル、又は前記物体ベクトルを、前記順方向ベクトルとして求めるとともに、前記逆方向ベクトルとして求める
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、例えば、フレーム補間において、高画質の補間フレームを生成することができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、液晶ディスプレイや液晶プロジェクタ等のように、新たな画像の書き込みが行われるまで、いま表示されているフレームを表示し続けるディスプレイは、ホールド型ディスプレイと呼ばれる。
【０００３】
ホールド型ディスプレイでは、画像（動画）の表示に際して、動く物体である動体の動きに、視聴者の眼（視覚）が追従することにより発生するボケ現象や、コマ数の少ない画像を表示する場合に不自然な動きが生じるという動きジャーキネス等の問題がある。
【０００４】
上述のようなぼけ現象や動きジャーキネスを解消するには、ホールド型ディスプレイの表示レートを高速にするとともに、ホールド型ディスプレイで表示の対象とする画像のフレームレートを高速にする（フレームどうしの間隔を短くする）必要がある。
【０００５】
画像のフレームレートを高速にする方法としては、隣接するフレームどうしの間に、新たなフレーム（補間フレーム）を補間（内挿補間）する方法がある。
【０００６】
補間フレームを生成する方法としては、補間の対象の画像である入力画像のフレームのブロックマッチングを行うことにより、動きベクトルを検出し、入力画像のフレームを、動きベクトルに従って動き補償をすることにより、補間フレームを生成する方法がある。
【０００７】
しかしながら、ブロックマッチングだけでは、特に、入力画像のフレームに繰り返しパターンが存在する場合に、誤った動きベクトルが検出され、そのような誤った動きベクトルを用いて生成される補間フレームの画質が劣化することがある。
【０００８】
図１及び図２を参照して、入力画像のフレームに繰り返しパターンが存在する場合に、誤った動きベクトルが検出されることを説明する。
【０００９】
図１は、繰り返しパターンのテクスチャを有する物体が移動している様子が写った入力画像を示している。
【００１０】
なお、図１において、横軸は、時間（フレーム数）を表し、縦軸は、画像の垂直方向を表す。
【００１１】
図１の入力画像では、背景が、ベクトルVBで表す動き（背景動き）をしており、背景以外の物体（前景）が、ベクトルVFで表す動き（物体動き）をしている。
【００１２】
すなわち、図１の入力画像では、背景は、静止しており、物体は、下方向に一定の速さで移動している。
【００１３】
また、図１の入力画像において、物体は、繰り返しパターンのテクスチャを有している。
【００１４】
ブロックマッチングでは、入力画像の第nフレームが、所定のサイズのブロックにブロック分割される。さらに、第nフレームのブロックのうちの所定のブロックＡに注目すると、その注目するブロック（注目ブロック）Ａについて、注目ブロックＡを、第n-1フレームに設定されるサーチエリア内を移動させ、注目ブロックＡと、サーチエリアの各位置における、注目ブロックＡと同一のサイズの領域（以下、対応領域ともいう）との画像の一致の度合いを表す評価値が求められる。
【００１５】
ここで、評価値としては、例えば、注目ブロックＡの各画素と、その画素と同一の位置の、対応領域の画素との画素値の絶対値差分の総和や自乗和等が用いられる。この場合、評価値は、値が小さいほど、画像の一致の度合いが良いことを表す。
【００１６】
図１では、注目ブロックＡを、背景動きを表すベクトルVB（正確には、-VB）だけ移動した第n-1フレームの位置ABも、前景動きを表すベクトルVF（正確には、-VF）だけ移動した第n-1フレームの位置AFも、物体上の位置になっている。
【００１７】
上述したように、物体は、繰り返しパターンのテクスチャを有しているため、位置ABを含む対応領域に対しても、位置AFを含む対応領域に対しても、評価値として、同様の小さい値が得られる。
【００１８】
図１において、正確な動きベクトルを検出するためには、位置AFを含む対応領域に対して、最小の評価値（画像の一致の度合いが最も良いことを表す評価値）が得られる必要がある。
【００１９】
しかしながら、最悪の場合、位置AFを含む対応領域ではなく、位置ABを含む対応領域に対して、最小の評価値が得られることがあり、この場合、背景動きを表すベクトルVBが、物体の動きベクトルとして、誤検出される。
【００２０】
すなわち、図２は、第nフレームのブロックＡに写る画像の波形（画素値）、第n-1フレームの位置ABを含む対応領域に写る画像の波形、及び、第n-1フレームの位置AFを含む対応領域に写る画像の波形を示している。
【００２１】
一般に、画像を撮影するカメラでの画素のサンプリング周期（間隔）と、画像に、繰り返しパターンのテクスチャを有する物体が写っている場合の、その繰り返しパターンの周期とは、一致しない。
【００２２】
このため、第n-1フレームの位置AFを含む対応領域に写っている物体の部分は、第nフレームの注目ブロックＡに写っている物体の部分と同一の部分であるが、注目ブロックＡの各画素と、その画素と同一の位置の、位置AFを含む対応領域の画素との画素値の絶対値差分が０になるとは限らず、そのため、評価値も０になるとは限らない。
【００２３】
一方、第n-1フレームの位置ABを含む対応領域に写っている物体の部分は、第nフレームの注目ブロックＡに写っている物体の部分とは異なる部分であるが、物体のテクスチャが繰り返しパターンであるため、偶然、注目ブロックＡの各画素と、その画素と同一の位置の、位置ABを含む対応領域の画素との画素値どうしがほぼ一致し、その結果、位置ABを含む対応領域に対して得られる評価値が、位置AFを含む対応領域に対して得られる評価値よりも小さくなることがある。
【００２４】
そして、この場合、注目ブロックＡの動きベクトルとしては、物体動きを表すベクトルVF以外のベクトルが、誤検出されることになる。
【００２５】
ここで、特許文献１には、連続する所定数のフレームで、同じ動き量が求められたラインを、テロップが写っているラインに判定する方法が記載されている。
【先行技術文献】
【特許文献】
【００２６】
【特許文献１】特開2003-189264号公報
【発明の概要】
【発明が解決しようとする課題】
【００２７】
繰り返しパターンのテクスチャを有する物体が写った入力画像については、特許文献１に記載の方法を、動きベクトルの検出に適用することにより、動きベクトルの誤検出を防止することが可能となる。
【００２８】
すなわち、図３は、特許文献１に記載の方法を適用した動きベクトルの検出の方法を示している。
【００２９】
なお、図３において、横軸は、時間（フレーム数）を表し、縦軸は、画像の垂直方向を表す。
【００３０】
また、図３でも、図１の場合と同様に、入力画像では、背景が、ベクトルVBで表す動き背景動きをしており、物体（前景）が、ベクトルVFで表す物体動きをしている。
【００３１】
図３においては、第nフレームの物体が写っている画素a0を含むブロックについて、ブロックマッチングにより、評価値が小さいベクトルの１つとして、物体動きを表すベクトルVF（正確には、-VF）が求められている。
【００３２】
さらに、図３では、第nフレームの画素a0から、ベクトルVFだけ移動した第n-1フレームの位置の画素a1を含むブロックについて、ブロックマッチングにより、評価値が小さいベクトルの１つとして、物体動きを表すベクトルVFが求められている。
【００３３】
また、第n-1フレームの画素a1から、ベクトルVFだけ移動した第n-2フレームの位置の画素a2を含むブロックについて、ブロックマッチングにより、評価値が小さいベクトルの１つとして、物体動きを表すベクトルVFが求められている。
【００３４】
このように、連続する複数のフレーム（図３では、第nフレームから第n-2フレームの連続する３フレーム）にわたり、第nフレームの画素a0を含むブロックを始点として、同一のベクトルVFが、評価値が小さいベクトルの１つとして求められる場合、第nフレームの画素a0を含むブロックの動きベクトルとして、ベクトルVFが検出される。
【００３５】
特許文献１に記載の方法を適用した動きベクトルの検出の方法によれば、入力画像において、繰り返しパターンのテクスチャを有する領域が、図３に示したように、小さい領域である場合には、動きベクトルの誤検出を防止することができる。
【００３６】
しかしながら、入力画像において、繰り返しパターンのテクスチャを有する領域が大きい領域である場合、すなわち、例えば、背景として、すだれ等の画像のような、細かい繰り返しパターンの画像が広い範囲に写っている場合、動きベクトルを誤検出することがある。
【００３７】
図４は、特許文献１に記載の方法を適用した動きベクトルの検出の方法によって、動きベクトルを誤検出する場合を示している。
【００３８】
なお、図４において、横軸は、時間を表し、縦軸は、画像の垂直方向を表す。
【００３９】
また、図４でも、図１の場合と同様に、入力画像では、背景が、ベクトルVBで表す動き背景動きをしており、物体が、ベクトルVFで表す物体動きをしている。
【００４０】
図４の入力画像では、背景として、細かい繰り返しパターンの画像が広い範囲に写っている。
【００４１】
このため、図４の入力画像については、第nフレームから第n-2フレームの連続する３フレーム）にわたり、第nフレームの、背景が写っているある画素を含むブロックを始点として、複数のベクトルが、評価値が小さいベクトルとして求められる。その結果、第nフレームの、背景が写っているある画素を含むブロックの動きベクトルとして、背景動きを表すベクトルVBではなく、物体動きを表すVFが誤検出されることがある。
【００４２】
以上のように、動きベクトルが誤検出されると、そのような動きベクトルを用いて生成される補間フレームの画質が劣化することがある。
【００４３】
本発明は、このような状況に鑑みてなされたものであり、フレーム補間において、高画質の補間フレームを生成することができるようにするものである。
【課題を解決するための手段】
【００４４】
本発明の一側面の画像処理装置、又は、プログラムは、補間の対象の入力画像のフレームどうしの間に補間する補間フレームの過去側の前記入力画像のフレームである過去側フレームと、前記補間フレームの未来側の前記入力画像のフレームである未来側フレームとを、前記入力画像から選択し、前記過去側フレーム、及び前記未来側フレームを用いたブロックマッチングによって、前記補間フレームをブロック分割して得られる小ブロックごとに、複数種類の動きベクトルを検出する動きベクトル検出手段と、前記複数種類の動きベクトルそれぞれの統計量を求める統計処理によって、前記入力画像に写る背景の動きを表す背景ベクトルと、前記入力画像に写る、前記背景以外の物体の動きを表す物体ベクトルとを、前記小ブロックの動きを表す動きベクトルの候補として、前記小ブロックごとに求める候補ベクトル算出手段と、前記小ブロックごとの前記背景ベクトル、及び前記物体ベクトルを用い、前記過去側フレームから前記未来側フレームの方向に見た、前記補間フレームの画素の動きを表す順方向ベクトルと、前記未来側フレームから前記過去側フレームの方向に見た、前記補間フレームの画素の動きを表す逆方向ベクトルとを、前記補間フレームの画素ごとに求める画素単位動き推定手段と、前記補間フレームの画素である補間画素について、前記補間画素を含む前記小ブロックの前記背景ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、前記補間画素を含む前記小ブロックの前記物体ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、前記補間画素の位置の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルとの中の少なくとも１つ以上と、前記背景ベクトル、前記物体ベクトル、又は０ベクトルとが類似しているかどうかによって、前記背景ベクトル、前記物体ベクトル、又は前記０ベクトルを、前記補間画素の動きベクトルに判定する動き判定を行う補間画素動き判定手段と、前記補間画素の動きベクトルに従い、前記過去側フレーム、及び前記未来側フレームのうちの少なくとも一方の動き補償を行い、前記動き補償によって得られる動き補償画像を用いて、前記補間フレームを生成する補間画像生成手段とを含み、前記画素単位動き推定手段は、前記補間フレームの中の、注目する注目フレームを構成する画素のうちの、注目する注目画素について、前記注目画素を含む前記小ブロックの前記背景ベクトルが、前記注目画素の位置から前記背景ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの画素である前フレーム画素の前記背景ベクトル又は前記物体ベクトルに類似し、かつ、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がある場合、及び、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がある場合、前記背景ベクトルに従った動き、及び画像の相関が連続している回数を表す背景カウント値をインクリメントし、前記注目画素を含む前記小ブロックの前記背景ベクトルが、前記注目画素の位置から前記背景ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記背景ベクトル及び前記物体ベクトルのいずれにも類似しないか、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がないか、又は、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がない場合、前記背景カウント値をリセットし、前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル又は前記背景ベクトルに類似し、かつ、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がある場合、及び、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がある場合、前記物体ベクトルに従った動き、及び画像の相関が連続している回数を表す物体カウント値をインクリメントし、前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル及び前記背景ベクトルのいずれにも類似しないか、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がないか、又は、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がない場合、前記物体カウント値をリセットし、前記背景カウント値と前記物体カウント値との大小関係に基づいて、前記背景ベクトル、又は前記物体ベクトルを、前記順方向ベクトルとして求めるとともに、前記逆方向ベクトルとして求める画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。
【００４５】
本発明の一側面の画像処理方法は、補間の対象の入力画像のフレームどうしの間に補間する補間フレームの過去側の前記入力画像のフレームである過去側フレームと、前記補間フレームの未来側の前記入力画像のフレームである未来側フレームとを、前記入力画像から選択し、前記過去側フレーム、及び前記未来側フレームを用いたブロックマッチングによって、前記補間フレームをブロック分割して得られる小ブロックごとに、複数種類の動きベクトルを検出する動きベクトル検出ステップと、前記複数種類の動きベクトルそれぞれの統計量を求める統計処理によって、前記入力画像に写る背景の動きを表す背景ベクトルと、前記入力画像に写る、前記背景以外の物体の動きを表す物体ベクトルとを、前記小ブロックの動きを表す動きベクトルの候補として、前記小ブロックごとに求める候補ベクトル算出ステップと、前記小ブロックごとの前記背景ベクトル、及び前記物体ベクトルを用い、前記過去側フレームから前記未来側フレームの方向に見た、前記補間フレームの画素の動きを表す順方向ベクトルと、前記未来側フレームから前記過去側フレームの方向に見た、前記補間フレームの画素の動きを表す逆方向ベクトルとを、前記補間フレームの画素ごとに求める画素単位動き推定ステップと、前記補間フレームの画素である補間画素について、前記補間画素を含む前記小ブロックの前記背景ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、前記補間画素を含む前記小ブロックの前記物体ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、前記補間画素の位置の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルとの中の少なくとも１つ以上と、前記背景ベクトル、前記物体ベクトル、又は０ベクトルとが類似しているかどうかによって、前記背景ベクトル、前記物体ベクトル、又は前記０ベクトルを、前記補間画素の動きベクトルに判定する動き判定を行う補間画素動き判定ステップと、前記補間画素の動きベクトルに従い、前記過去側フレーム、及び前記未来側フレームのうちの少なくとも一方の動き補償を行い、前記動き補償によって得られる動き補償画像を用いて、前記補間フレームを生成する補間画像生成ステップとを含み、前記画素単位動き推定ステップでは、前記補間フレームの中の、注目する注目フレームを構成する画素のうちの、注目する注目画素について、前記注目画素を含む前記小ブロックの前記背景ベクトルが、前記注目画素の位置から前記背景ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの画素である前フレーム画素の前記背景ベクトル又は前記物体ベクトルに類似し、かつ、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がある場合、及び、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がある場合、前記背景ベクトルに従った動き、及び画像の相関が連続している回数を表す背景カウント値をインクリメントし、前記注目画素を含む前記小ブロックの前記背景ベクトルが、前記注目画素の位置から前記背景ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記背景ベクトル及び前記物体ベクトルのいずれにも類似しないか、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がないか、又は、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がない場合、前記背景カウント値をリセットし、前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル又は前記背景ベクトルに類似し、かつ、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がある場合、及び、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がある場合、前記物体ベクトルに従った動き、及び画像の相関が連続している回数を表す物体カウント値をインクリメントし、前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル及び前記背景ベクトルのいずれにも類似しないか、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がないか、又は、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がない場合、前記物体カウント値をリセットし、前記背景カウント値と前記物体カウント値との大小関係に基づいて、前記背景ベクトル、又は前記物体ベクトルを、前記順方向ベクトルとして求めるとともに、前記逆方向ベクトルとして求める画像処理方法である。
【００４６】
本発明の一側面においては、補間の対象の入力画像のフレームどうしの間に補間する補間フレームの過去側の前記入力画像のフレームである過去側フレームと、前記補間フレームの未来側の前記入力画像のフレームである未来側フレームとが、前記入力画像から選択され、前記過去側フレーム、及び前記未来側フレームを用いたブロックマッチングによって、前記補間フレームをブロック分割して得られる小ブロックごとに、複数種類の動きベクトルが検出される。さらに、前記複数種類の動きベクトルそれぞれの統計量を求める統計処理によって、前記入力画像に写る背景の動きを表す背景ベクトルと、前記入力画像に写る、前記背景以外の物体の動きを表す物体ベクトルとが、前記小ブロックの動きを表す動きベクトルの候補として、前記小ブロックごとに求められる。また、前記小ブロックごとの前記背景ベクトル、及び前記物体ベクトルを用い、前記過去側フレームから前記未来側フレームの方向に見た、前記補間フレームの画素の動きを表す順方向ベクトルと、前記未来側フレームから前記過去側フレームの方向に見た、前記補間フレームの画素の動きを表す逆方向ベクトルとが、前記補間フレームの画素ごとに求められる。さらに、前記補間フレームの画素である補間画素について、前記補間画素を含む前記小ブロックの前記背景ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、前記補間画素を含む前記小ブロックの前記物体ベクトルに平行で、前記補間画素を通る直線上の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルと、前記補間画素の位置の、前記過去側フレームの画素についての前記順方向ベクトル、及び、前記未来側フレームの画素についての前記逆方向ベクトルとの中の少なくとも１つ以上と、前記背景ベクトル、前記物体ベクトル、又は０ベクトルとが類似しているかどうかによって、前記背景ベクトル、前記物体ベクトル、又は前記０ベクトルが、前記補間画素の動きベクトルに判定される。また、前記補間画素の動きベクトルに従い、前記過去側フレーム、及び前記未来側フレームのうちの少なくとも一方の動き補償が行われ、前記動き補償によって得られる動き補償画像を用いて、前記補間フレームが生成される。
【００４７】
この場合において、前記補間フレームの中の、注目する注目フレームを構成する画素のうちの、注目する注目画素について、前記注目画素を含む前記小ブロックの前記背景ベクトルが、前記注目画素の位置から前記背景ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの画素である前フレーム画素の前記背景ベクトル又は前記物体ベクトルに類似し、かつ、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がある場合、及び、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がある場合には、前記背景ベクトルに従った動き、及び画像の相関が連続している回数を表す背景カウント値がインクリメントされる。
【００４８】
また、前記注目画素を含む前記小ブロックの前記背景ベクトルが、前記注目画素の位置から前記背景ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記背景ベクトル及び前記物体ベクトルのいずれにも類似しないか、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がないか、又は、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記背景ベクトルに従って移動した位置の画素との間に相関がない場合、前記背景カウント値がリセットされる。
【００４９】
さらに、前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル又は前記背景ベクトルに類似し、かつ、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がある場合、及び、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がある場合には、前記物体ベクトルに従った動き、及び画像の相関が連続している回数を表す物体カウント値がインクリメントされる。
【００５０】
また、前記注目画素を含む前記小ブロックの前記物体ベクトルが、前記注目画素の位置から前記物体ベクトルに従って移動した位置の、前記注目フレームの前の補間フレームの前記前フレーム画素の前記物体ベクトル及び前記背景ベクトルのいずれにも類似しないか、前記未来側フレームの、前記注目画素の位置の画素と、前記過去側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がないか、又は、前記過去側フレームの、前記注目画素の位置の画素と、前記未来側フレームの、前記注目画素の位置から前記物体ベクトルに従って移動した位置の画素との間に相関がない場合には、前記物体カウント値がリセットされる。
【００５１】
そして、前記背景カウント値と前記物体カウント値との大小関係に基づいて、前記背景ベクトル、又は前記物体ベクトルが、前記順方向ベクトルとして求められるとともに、前記逆方向ベクトルとして求められる。
【００５２】
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００５３】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００５４】
本発明の一側面によれば、フレーム補間において、高画質の補間フレームを生成することができる。
【図面の簡単な説明】
【００５５】
【図１】入力画像のフレームに繰り返しパターンが存在する場合に、誤った動きベクトルが検出されることを説明する図である。
【図２】入力画像のフレームに繰り返しパターンが存在する場合に、誤った動きベクトルが検出されることを説明する図である。
【図３】連続する所定数のフレームで、同じ動き量が求められたラインを、テロップが写っているラインに判定する方法を適用した動きベクトルの検出の方法を説明する図である。
【図４】動きベクトルを誤検出する場合を説明する図である。
【図５】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図６】入力画像と出力画像とを示す図である。
【図７】画像処理装置が行う画像処理を説明するフローチャートである。
【図８】動きベクトル検出部１１の構成例を示すブロック図である。
【図９】小ブロック評価値テーブル生成部２２の処理を説明する図である。
【図１０】大ブロックの例を示す図である。
【図１１】過去側フレームの大ブロックのずらし量を表すベクトルvと、未来側フレームの大ブロックのずらし量を表すベクトル-vとを示す図である。
【図１２】小ブロック順方向評価値テーブルを示す図である。
【図１３】大ブロック双方向評価値テーブルの例を示す図である。
【図１４】大ブロック双方向評価値テーブルの例を示す図である。
【図１５】中ブロック双方向評価値テーブルの例を示す図である。
【図１６】中ブロック双方向評価値テーブルの例を示す図である。
【図１７】動きベクトル検出部１１が行う動きベクトル検出処理を説明するフローチャートである。
【図１８】候補ベクトル算出部１２の構成例を示すブロック図である。
【図１９】全画面ヒストグラムの例を示す図である。
【図２０】全画面ヒストグラムの例を示す図である。
【図２１】水平射影ヒストグラムの例を示す図である。
【図２２】水平射影ヒストグラムの例を示す図である。
【図２３】垂直射影ヒストグラムの例を示す図である。
【図２４】垂直射影ヒストグラムの例を示す図である。
【図２５】背景ベクトル第２候補算出部５５が背景ベクトル第２候補を求める処理を説明する図である。
【図２６】候補ベクトル算出部１２が行う候補ベクトル算出処理を説明するフローチャートである。
【図２７】候補ベクトル算出部１２が行う候補ベクトル算出処理を説明するフローチャートである。
【図２８】候補ベクトル算出部１２が行う候補ベクトル算出処理を説明するフローチャートである。
【図２９】画素単位動き推定部１３の構成例を示すブロック図である。
【図３０】画素どうしの相関の有無の判定に用いる評価値テーブルを生成するブロックマッチングを説明する図である。
【図３１】画素単位動き推定部１３が行う画素単位動き推定処理を説明する図である。
【図３２】画素単位動き推定部１３が行う画素単位動き推定処理を説明する図である。
【図３３】画素単位動き推定部１３が行う画素単位動き推定処理を説明する図である。
【図３４】画素単位動き推定部１３が行う画素単位動き推定処理を説明する図である。
【図３５】画素単位動き推定部１３が行う画素単位動き推定処理を説明する図である。
【図３６】画素単位動き推定部１３が行う画素単位動き推定処理を説明する図である。
【図３７】画素単位動き推定部１３が行う画素単位動き推定処理を説明する図である。
【図３８】画素単位動き推定部１３が行う画素単位動き推定処理を説明する図である。
【図３９】回数カウント値、及び、背景カウント値の変化の例を示す図である。
【図４０】物体カウント値、及び、物体回数カウント値の変化の例を示す図である。
【図４１】背景カウント値、回数カウント値、物体カウント値、及び、物体回数カウント値がリセットされる場合を説明する図である。
【図４２】繰り返しパターンのテクスチャを有する物体が移動している様子が写った入力画像の例を示す図である。
【図４３】繰り返しパターンのテクスチャを有する領域が大きい領域になっている入力画像の例を示す図である。
【図４４】入力画像の他の例を示す図である。
【図４５】入力画像の、さらに他の例を示す図である。
【図４６】補間画素動き判定部１４が行う補間画素動き判定処理を説明する図である。
【図４７】補間画素動き判定処理を説明するフローチャートである。
【図４８】動き判定とC/UC判定の判定処理を説明するフローチャートである。
【図４９】判定処理を説明するフローチャートである。
【図５０】判定処理を説明するフローチャートである。
【図５１】注目画素Pが、ベクトルv2に対するv1のアンカバード画素となる場合を説明する図である。
【図５２】注目画素Pが、ベクトルv2に対するv1のカバード画素となる場合を説明する図である。
【図５３】補間画像生成部１５の構成例を示すブロック図である。
【図５４】補間画像生成部１５の補間画像生成処理の概要を説明する図である。
【図５５】補間画像生成処理を説明するフローチャートである。
【図５６】バイキュービック補間を説明する図である。
【図５７】補間画像生成部１５の他の構成例を示すブロック図である。
【図５８】予測タップ、及び、クラスタップのタップ構造を説明する図である。
【図５９】クラス分類適応処理を利用した補間画像生成処理を説明するフローチャートである。
【図６０】タップ係数を学習する学習装置の構成例を示すブロック図である。
【図６１】教師データと生徒データの例を示す図である。
【図６２】学習部２３６の構成例を示すブロック図である。
【図６３】学習装置の学習処理を説明するフローチャートである。
【図６４】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００５６】
［本発明を適用した画像処理装置の一実施の形態の全体構成例］
【００５７】
図５は、本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００５８】
図５において、画像処理装置には、補間の対象の入力画像（動画像）が供給される。画像処理装置は、入力画像のフレームどうしの間に補間する補間フレームを生成し、その補間フレームを、入力画像のフレームどうしの間に補間することで、フレームレートが入力画像のフレームレートよりも高い高フレームレートの画像である出力画像を得て出力する。
【００５９】
すなわち、図５において、画像処理装置は、動きベクトル検出部１１、候補ベクトル算出部１２、画素単位動き推定部１３、補間画素動き判定部１４、補間画像生成部１５、及び、出力画像出力部１６から構成される。
【００６０】
動きベクトル検出部１１には、補間の対象の入力画像が、外部から供給される。
【００６１】
動きベクトル検出部１１は、外部からの入力画像のフレームどうしの間に補間する補間フレームの過去側の入力画像のフレームである過去側フレームと、補間フレームの未来側の入力画像のフレームである未来側フレームとを、入力画像から選択する。
【００６２】
さらに、動きベクトル検出部１１は、過去側フレーム、及び未来側フレームを用いたブロックマッチングによって、補間フレームをブロック分割して得られる小ブロックごとに、複数種類の動きベクトルを検出し、候補ベクトル算出部１２に供給する。
【００６３】
ここで、図５では、動きベクトル検出部１１は、複数種類の動きベクトルとして、大ブロック双方向ベクトルmvL、中ブロック双方向ベクトルmvM、中ブロック順方向ベクトルmvF、及び、中ブロック逆方向ベクトルmvBの４種類のベクトルを検出する。
【００６４】
大ブロック双方向ベクトルmvL、中ブロック双方向ベクトルmvM、中ブロック順方向ベクトルmvF、及び、中ブロック逆方向ベクトルmvBについては、後述する。
【００６５】
候補ベクトル算出部１２は、動きベクトル検出部１１からの複数種類の動きベクトルそれぞれの統計量を求める統計処理を行う。そして、候補ベクトル算出部１２は、この統計処理によって、入力画像に写る背景の動きを表す背景ベクトルv1と、入力画像に写る、背景以外の物体の動きを表す物体ベクトルv2とを、小ブロックの動きを表す動きベクトルの候補として、小ブロックごとに求める。
【００６６】
ここで、候補ベクトル算出部１２は、小ブロックに、背景だけが写っている場合、及び、物体だけ写っている場合の他、背景と物体の両方が写っている場合を考慮して、補間フレームの各小ブロックについて、背景ベクトルv1と物体ベクトルv2との両方を求める。
【００６７】
また、候補ベクトル算出部１２では、小ブロックごとの背景ベクトルv1、及び物体ベクトルv2の他、（１フレームの）補間フレームごとに、シーンチェンジ判定信号を求めるとともに、小ブロックごとに、順方向動き判定情報、及び、逆方向動き判定情報を求める。
【００６８】
シーンチェンジ判定信号、並びに、順方向動き判定情報、及び、逆方向動き判定情報については、後述する。
【００６９】
候補ベクトル算出部１２で求められる小ブロックごとの背景ベクトルv1、及び物体ベクトルv2は、画素単位動き推定部１３、補間画素動き判定部１４、及び、補間画像生成部１５に供給される。
【００７０】
また、候補ベクトル算出部１２で求められる補間フレームごとのシーンチェンジ判定信号と、小ブロックごとの順方向動き判定情報、及び、逆方向動き判定情報とは、画素単位動き推定部１３に供給される。
【００７１】
画素単位動き推定部１３には、候補ベクトル算出部１２から、小ブロックごとの背景ベクトルv1、及び物体ベクトルv2、補間フレームごとのシーンチェンジ判定信号、並びに、小ブロックごとの順方向動き判定情報、及び、逆方向動き判定情報が供給される他、外部からの入力画像が供給される。
【００７２】
画素単位動き推定部１３は、候補ベクトル算出部１２からの小ブロックごとの背景ベクトルv1、及び物体ベクトルv2等を用い、過去側フレームから未来側フレームの方向に見た、補間フレームの画素の動きを表す順方向ベクトルを、補間フレームの画素ごとに求める。
【００７３】
さらに、画素単位動き推定部１３は、小ブロックごとの背景ベクトルv1、及び物体ベクトルv2等を用い、未来側フレームから過去側フレームの方向に見た、補間フレームの画素の動きを表す逆方向ベクトルを、補間フレームの画素ごとに求める。
【００７４】
そして、画素単位動き推定部１３は、補間フレームの画素（以下、補間画素ともいう）ごとの順方向ベクトルと逆方向ベクトルを、補間画素動き判定部１４に供給する。
【００７５】
補間画素動き判定部１４は、画素単位動き推定部１３からの順方向ベクトルや逆方向ベクトルと、候補ベクトル算出部１２からの背景ベクトルv1や物体ベクトルv2、あるいは０ベクトルとが類似しているかどうかによって、背景ベクトルv1、物体ベクトルv2、又は０ベクトルを、補間画素の動きベクトルに判定する動き判定を行う。
【００７６】
さらに、補間画素動き判定部１４は、画素単位動き推定部１３からの順方向ベクトルや逆方向ベクトルと、候補ベクトル算出部１２からの背景ベクトルv1や物体ベクトルv2、あるいは０ベクトルとが類似しているかどうかによって、補間画素が、カバードバックグラウンド領域の画素、アンカバードバックグラウンド領域の画素、又は、カバードバックグラウンド領域、及び、アンカバードバックグラウンド領域のいずれの領域でもない領域の画素のうちのいずれであるかを判定するC/UC判定を行う。
【００７７】
そして、補間画素動き判定部１４は、動き判定の判定結果を表す動き情報と、C/UC判定の判定結果を表すC/UC情報とを、補間画像生成部１５に供給する。
【００７８】
ここで、０ベクトルとは、x成分とy成分とが、いずれも０のベクトルであり、動きがない（静止している）ことを表す。
【００７９】
補間画像生成部１５には、候補ベクトル算出部１２からの背景ベクトルv1、及び物体ベクトルv2、並びに、補間画素動き判定部１４からの動き情報、及びC/UC情報が供給される他、外部からの入力画像が供給される。
【００８０】
補間画像生成部１５は、候補ベクトル算出部１２からの背景ベクトルv1、若しくは物体ベクトルv2、又は０ベクトルのうちの、補間画素動き判定部１４からの動き情報が表す、補間画素の動きベクトルに従い、外部からの入力画像における過去側フレーム、及び未来側フレームのうちの少なくとも一方の動き補償を行う。
【００８１】
さらに、補間画像生成部１５は、動き補償によって得られる動き補償画像を用い、補間画素動き判定部１４からのC/UC情報を考慮して、補間画素（の画素値）、ひいては、その補間画素で構成される補間フレームを生成し、出力画像出力部１６に供給する。
【００８２】
出力画像出力部１６には、補間画像生成部１５からの補間フレームが供給される他、外部からの入力画像が供給される。
【００８３】
出力画像出力部１６は、外部からの入力画像のフレームどうしの間（過去側フレームと未来側フレームとの間）に、補間画像生成部１５からの補間フレームを補間することで、高フレームレートの出力画像を生成して出力する。
【００８４】
図６は、入力画像と出力画像の例を示している。
【００８５】
図６において、実線は、入力画像のフレームを表しており、点線は、補間フレームを表している。
【００８６】
入力画像は、例えば、フレームレートが60Hzのプログレッシブ（ノンインターレース）の画像であり、図５の画像処理装置では、その入力画像の隣接するフレームどうしの間を３等分に区切る境界の時間的な位置に補間する２つの補間フレームを生成する。
【００８７】
そして、図５の画像処理装置は、入力画像の隣接するフレームどうしの間に、２つの補間フレームを補間（内挿）することで、フレームレートが180Hzのプログレッシブの画像を、出力画像として生成する。
【００８８】
なお、入力画像は、フレームレートが60Hzのプログレッシブの画像に限定されるものではない。
【００８９】
また、入力画像の隣接するフレームどうしの間に補間する補間フレームの数は、２つに限定されるものではない。すなわち、図５の画像処理装置では、入力画像の隣接するフレームどうしの間を２等分に区切る境界の時間的な位置に補間する１つの補間フレームを生成することができる。その他、図５の画像処理装置では、入力画像の隣接するフレームどうしの間に補間する３以上の補間フレームを生成することができる。
【００９０】
なお、本明細書等において、フレームとは、フィールドを含むこととする。
【００９１】
ここで、入力画像のフレームの第n-1フレームと第nフレームとの間に補間する２つの補間フレームのうちのいずれか一方に注目すると、その注目する補間フレーム（以下、注目フレームともいう）については、第n-1フレームが過去側フレームとなり、第nフレームが未来側フレームとなる。
【００９２】
［画像処理装置の処理の説明］
【００９３】
図７は、図５の画像処理装置が行う処理（画像処理）を説明するフローチャートである。
【００９４】
図５の画像処理装置においては、外部からの入力画像が、動きベクトル検出部１１、画素単位動き推定部１３、補間画像生成部１５、及び、出力画像出力部１６に供給される。
【００９５】
画像処理装置は、ステップＳ１１において、まだ生成していない補間画像のフレーム（補間フレーム）のうちの、時間的に最も先行する補間フレームを、注目フレームに選択し（これから生成する補間フレームを想定し）、処理は、ステップＳ１２に進む。
【００９６】
ステップＳ１２では、動きベクトル検出部１１は、外部からの入力画像のフレームから、注目フレームの過去側の、例えば、第n-1フレームを、過去側フレームとして選択する。さらに、動きベクトル検出部１１は、外部からの入力画像のフレームから、注目フレームの未来側の、例えば、第nフレームを、未来側フレームとして選択する。
【００９７】
そして、ステップＳ１２では、動きベクトル検出部１１は、過去側フレーム、及び未来側フレームを用いたブロックマッチングによって、補間フレームをブロック分割して得られる小ブロックごとに、複数種類の動きベクトルを検出する。動きベクトル検出部１１は、注目フレームの小ブロックごとにの複数種類の動きベクトルを、候補ベクトル算出部１２に供給し、処理は、ステップＳ１２からステップＳ１３に進む。
【００９８】
ステップＳ１３では、候補ベクトル算出部１２は、動きベクトル検出部１１からの複数種類の動きベクトルそれぞれの統計量を求める統計処理を行う。候補ベクトル算出部１２は、統計処理によって、入力画像に写る背景の動きを表す背景ベクトルv1と、入力画像に写る、背景以外の物体の動きを表す物体ベクトルv2とを、小ブロックごとに求め、画素単位動き推定部１３、補間画素動き判定部１４、及び、補間画像生成部１５に供給する。
【００９９】
さらに、ステップＳ１３では、候補ベクトル算出部１２は、統計処理によって、注目フレームについて、過去側フレームと未来側フレームとの間で、シーンチェンジが生じているかどうかを判定し、その判定結果を表すシーンチェンジ判定信号を、画素単位動き推定部１３に供給する。
【０１００】
また、ステップＳ１３では、候補ベクトル算出部１２は、統計処理によって、小ブロックごとに、後述する順方向動き判定情報、及び、逆方向動き判定情報を求め、画素単位動き推定部１３に供給して、処理は、ステップＳ１４に進む。
【０１０１】
ステップＳ１４では、画素単位動き推定部１３は、候補ベクトル算出部１２からの小ブロックごとの背景ベクトルv1、及び物体ベクトルv2、小ブロックごとの順方向動き判定情報、及び、逆方向動き判定情報、並びに、注目フレームについてのシーンチェンジ判定信号を用い、過去側フレームから未来側フレームの方向に見た、補間フレームの画素の動きを表す順方向ベクトルと、未来側フレームから過去側フレームの方向に見た、補間フレームの画素の動きを表す逆方向ベクトルとを、注目フレームの画素（補間画素）ごとに求める。
【０１０２】
そして、画素単位動き推定部１３は、注目フレームの補間画素ごとの順方向ベクトルと逆方向ベクトルを、補間画素動き判定部１４に供給して、処理は、ステップＳ１４からステップＳ１５に進む。
【０１０３】
ステップＳ１５では、補間画素動き判定部１４は、画素単位動き推定部１３からの順方向ベクトルや逆方向ベクトルと、候補ベクトル算出部１２からの背景ベクトルv1や物体ベクトルv2、あるいは０ベクトルとが類似しているかどうかによって、動き判定と、C/UC判定とを行う。
【０１０４】
そして、補間画素動き判定部１４は、動き判定の判定結果を表す動き情報と、C/UC判定の判定結果を表すC/UC情報とを、補間画像生成部１５に供給して、処理は、ステップＳ１６に進む。
【０１０５】
ステップＳ１６では、補間画像生成部１５は、候補ベクトル算出部１２からの背景ベクトルv1、及び物体ベクトルv2、並びに、補間画素動き判定部１４からの動き情報、及びC/UC情報に基づき、外部からの入力画像を用いて、注目フレームの各補間画素（の画素値）を生成することで、注目フレームを生成する。
【０１０６】
ここで、補間画像生成部１５で生成された注目フレームは、出力画像出力部１６に供給される。出力画像出力部１６では、補間画像生成部１５からの注目フレームが、外部からの入力画像の過去側フレームと未来側フレームとの間の適切な、時間的な位置（時間的位置）に補間され、出力画像（の一部）として出力される。
【０１０７】
その後、処理は、ステップＳ１６からステップＳ１７に進み、図５の画像処理装置は、まだ、生成すべき補間フレームがあるかどうかを判定する。
【０１０８】
ステップＳ１７において、まだ、生成すべき補間フレームがあると判定された場合、すなわち、図５の画像処理装置に供給される入力画像の隣接するフレームどうしの間のすべてに、まだ、補間フレームが生成されていない場合、処理は、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
【０１０９】
また、ステップＳ１７において、生成すべき補間フレームがないと判定された場合、処理は終了する。
【０１１０】
［動きベクトル検出部１１の構成例］
【０１１１】
図８は、図５の動きベクトル検出部１１の構成例を示している。
【０１１２】
図８において、動きベクトル検出部１１は、過去側フレーム、及び未来側フレームを用いたブロックマッチングによって、注目フレームの小ブロックごとに、複数種類の動きベクトルとしての大ブロック双方向ベクトルmvL、中ブロック双方向ベクトルmvM、中ブロック順方向ベクトルmvF、及び、中ブロック逆方向ベクトルmvBの４種類のベクトルを検出する。
【０１１３】
すなわち、図８において、動きベクトル検出部１１は、メモリ２１、小ブロック評価値テーブル生成部２２、小ブロック評価値テーブル記憶部２３、大ブロック双方向評価値テーブル生成部２４、大ブロック双方向ベクトル検出部２５、中ブロック双方向評価値テーブル生成部２６、中ブロック双方向ベクトル検出部２７、中ブロック順方向評価値テーブル生成部２８、中ブロック順方向ベクトル検出部２９、中ブロック逆方向評価値テーブル生成部３０、及び、中ブロック逆方向ベクトル検出部３１から構成される。
【０１１４】
メモリ２１には、外部からの入力画像が供給される。メモリ２１は、外部からの入力画像の過去側フレームと未来側フレームとを一時記憶する。
【０１１５】
小ブロック評価値テーブル生成部２２は、注目フレームの小ブロックについて、メモリ２１に記憶された過去側フレーム、又は未来側フレームの一方のフレームの小ブロックを、他方のフレームに設定されるサーチエリア内を移動させ、小ブロックと、サーチエリアの各位置における、小ブロックと同一のサイズの領域との画像の一致の度合いを表す評価値（例えば、前述した画素値の絶対値差分の総和等）を求め、評価値のテーブルである評価値テーブルを生成する、小ブロックのブロックマッチングを行う。
【０１１６】
すなわち、小ブロックが、注目フレームを、例えば、横×縦が8×8画素にブロック分割することで得られるブロックであるとする。
【０１１７】
小ブロック評価値テーブル生成部２２は、メモリ２１に記憶された過去側フレーム、及び、未来側フレームのうちの、例えば、過去側フレームを、一方のフレームとして、過去側フレームを、注目フレームと同様に、小ブロックにブロック分割する。
【０１１８】
さらに、小ブロック評価値テーブル生成部２２は、過去側フレームの小ブロックについて、他方のフレームとしての未来側フレームにサーチエリアを設定する。
【０１１９】
すなわち、小ブロック評価値テーブル生成部２２は、過去側フレームの小ブロックについて、小ブロックの位置から、小ブロックよりも、x方向（横方向）（水平方向）に、例えば、±31画素だけ大きく、かつ、y方向（縦方向）（垂直方向）に、例えば、±16画素だけ大きい、未来側フレームの領域を、サーチエリアに設定する。
【０１２０】
そして、小ブロック評価値テーブル生成部２２は、過去側フレームの小ブロックを、未来側フレームのサーチエリア内を移動させ、小ブロックと、サーチエリアの各位置(x,y)（x=-31,-30,・・・+30,+31)（y=-16,-15,・・・+15,+16)における、小ブロックと同一のサイズの領域（サーチエリア内の領域）との画像の一致の度合いを表す評価値（例えば、前述した画素値の絶対値差分の総和等）を求めて、評価値のテーブルである評価値テーブルを生成する、
【０１２１】
同様に、小ブロック評価値テーブル生成部２２は、メモリ２１に記憶された過去側フレーム、及び、未来側フレームのうちの、例えば、未来側フレームを、一方のフレームとして、評価値テーブルを求める。
【０１２２】
すなわち、小ブロック評価値テーブル生成部２２は、メモリ２１に記憶された未来側フレームを、注目フレームと同様に、小ブロックにブロック分割し、また、メモリ２１に記憶された過去側フレームにサーチエリアを設定する。
【０１２３】
そして、小ブロック評価値テーブル生成部２２は、未来側フレームの小ブロックを、過去側フレームのサーチエリア内を移動させ、小ブロックと、サーチエリアの各位置(x,y)における、小ブロックと同一のサイズの領域との画像の一致の度合いを表す評価値を求めて、評価値テーブルを生成する、
【０１２４】
ここで、過去側フレームの小ブロックに対して得られる評価値テーブルを、小ブロック順方向評価値テーブルともいい、未来側フレームの小ブロックに対して得られる評価値テーブルを、小ブロック逆方向評価値テーブルともいう。また、小ブロック順方向評価値テーブルと小ブロック逆方向評価値テーブルの一方、及び両方を、単に、小ブロック評価値テーブルともいう。
【０１２５】
なお、小ブロック評価値テーブル生成部２２では、注目フレームの小ブロックに、順次注目し、注目する小ブロック（以下、注目ブロックともいう）について、注目ブロックと同一の位置の、過去側フレームの小ブロックのブロックマッチングと、未来側フレームの小ブロックのブロックマッチングとを行うことにより、それぞれ、小ブロック順方向評価値テーブルと小ブロック逆方向評価値テーブルとを求める。
【０１２６】
小ブロック評価値テーブル生成部２２は、過去側フレームのすべての小ブロックに対して、小ブロック順方向評価値テーブルを求めるとともに、未来側フレームのすべての小ブロックに対して、小ブロック逆方向評価値テーブルを求めると、その小ブロック順方向評価値テーブルと小ブロック逆方向評価値テーブルを、小ブロック評価値テーブル記憶部２３に供給する。
【０１２７】
小ブロック評価値テーブル記憶部２３は、小ブロック評価値テーブル生成部２２からの小ブロック評価値（小ブロック順方向評価値テーブルと小ブロック逆方向評価値テーブル）を一時記憶する。
【０１２８】
大ブロック双方向評価値テーブル生成部２４は、注目フレームの注目ブロックである小ブロックについて、小ブロック評価値テーブル記憶部２３に記憶された小ブロック評価値テーブルの評価値の加算と減算とを行うことにより、後述する中ブロックを構成する小ブロックの数よりも多い数の小ブロックから構成される、過去側フレームの大ブロックのブロックマッチングの結果得られる評価値テーブルと、未来側フレームの大ブロックのブロックマッチングの結果得られる評価値テーブルとを合成した大ブロック双方向評価値テーブルを生成する。
【０１２９】
そして、大ブロック双方向評価値テーブル生成部２４は、注目ブロックについての大ブロック双方向評価値テーブルを、大ブロック双方向ベクトル検出部２５に供給する。
【０１３０】
ここで、大ブロックは、例えば、横×縦が17×17個の小ブロックで構成される。
【０１３１】
また、評価値の加算と減算とを行うことによる、評価値テーブルどうしを合成した大ブロック双方向評価値テーブルの生成については、後述する。
【０１３２】
大ブロック双方向ベクトル検出部２５は、大ブロック双方向評価値テーブル生成部２４からの大ブロック双方向評価値テーブルにおいて、画像の一致の度合いが最も良いことを表す評価値、すなわち、ここでは、最小の評価値が得られるときの、サーチエリア内の大ブロックの位置を表すベクトルを、複数種類（ここでは、上述したように、４種類）の動きベクトルのうちの第１の種類の大ブロック双方向ベクトルmvLとして検出する。
【０１３３】
そして、大ブロック双方向ベクトル検出部２５は、大ブロック双方向ベクトルmvLを、中ブロック双方向ベクトル検出部２７、中ブロック順方向ベクトル検出部２９、及び、中ブロック逆方向ベクトル検出部３１に供給するとともに、候補ベクトル算出部１２（図５）に供給する。
【０１３４】
中ブロック双方向評価値テーブル生成部２６は、注目フレームの注目ブロックについて、小ブロック評価値テーブル記憶部２３に記憶された小ブロック評価値テーブルの評価値の加算と減算とを行うことにより、複数の小ブロックから構成される、過去側フレームの中ブロックのブロックマッチングの結果得られる評価値テーブルと、未来側フレームの中ブロックのブロックマッチングの結果得られる評価値テーブルとを合成した中ブロック双方向評価値テーブルを生成する。
【０１３５】
そして、中ブロック双方向評価値テーブル生成部２６は、注目ブロックについての中ブロック双方向評価値テーブルを、中ブロック双方向ベクトル検出部２７に供給する。
【０１３６】
ここで、中ブロックは、例えば、横×縦が5×5個の小ブロックで構成される。
【０１３７】
中ブロック双方向ベクトル検出部２７は、中ブロック双方向評価値テーブル生成部２６からの中ブロック双方向評価値テーブルにおいて、最小の評価値が得られるときの、サーチエリア内の中ブロックの位置を表すベクトルを、中ブロックの動きベクトルとして検出する。
【０１３８】
また、中ブロック双方向ベクトル検出部２７は、中ブロック双方向評価値テーブル生成部２６からの中ブロック双方向評価値テーブルの評価値の分布に基づいて、中ブロックの中ブロック双方向評価値テーブルから検出される動きベクトルが信頼できるかどうかを判定する。
【０１３９】
そして、中ブロック双方向ベクトル検出部２７は、中ブロック双方向評価値テーブルから検出される動きベクトルが信頼できると判定した場合、その動きベクトルを、複数種類の動きベクトルのうちの第２の種類の中ブロック双方向ベクトルmvMとして採用し、候補ベクトル算出部１２（図５）に供給する。
【０１４０】
一方、中ブロック双方向ベクトル検出部２７は、中ブロック双方向評価値テーブルから検出される動きベクトルが信頼できないと判定した場合、大ブロック双方向ベクトル検出部２５からの大ブロック双方向ベクトルmvLを、中ブロック双方向ベクトルmvMとして採用し、候補ベクトル算出部１２（図５）に供給する。
【０１４１】
中ブロック順方向評価値テーブル生成部２８は、注目フレームの注目ブロックについて、小ブロック評価値テーブル記憶部２３に記憶された小ブロック評価値テーブルの評価値の加算と減算とを行うことにより、過去側フレームの中ブロックのブロックマッチングの結果得られる評価値テーブルである中ブロック順方向評価値テーブルを生成する。
【０１４２】
そして、中ブロック順方向評価値テーブル生成部２８は、注目ブロックについての中ブロック順方向評価値テーブルを、中ブロック順方向ベクトル検出部２９に供給する。
【０１４３】
中ブロック順方向ベクトル検出部２９は、中ブロック順方向評価値テーブル生成部２８からの中ブロック順方向評価値テーブルにおいて、最小の評価値が得られるときの、サーチエリア内の中ブロックの位置を表すベクトルを、中ブロックの動きベクトルとして検出する。
【０１４４】
また、中ブロック順方向ベクトル検出部２９は、中ブロック順方向評価値テーブル生成部２８からの中ブロック順方向評価値テーブルの評価値の分布に基づいて、中ブロックの中ブロック順方向評価値テーブルから検出される動きベクトルが信頼できるかどうかを判定する。
【０１４５】
そして、中ブロック順方向ベクトル検出部２９は、中ブロック順方向評価値テーブルから検出される動きベクトルが信頼できると判定した場合、その動きベクトルを、複数種類の動きベクトルのうちの第３の種類の中ブロック順方向ベクトルmvFとして採用し、候補ベクトル算出部１２（図５）に供給する。
【０１４６】
一方、中ブロック順方向ベクトル検出部２９は、中ブロック順方向評価値テーブルから検出される動きベクトルが信頼できないと判定した場合、大ブロック双方向ベクトル検出部２５からの大ブロック双方向ベクトルmvLを、中ブロック順方向ベクトルmvFとして採用し、候補ベクトル算出部１２（図５）に供給する。
【０１４７】
中ブロック逆方向評価値テーブル生成部３０は、注目フレームの注目ブロックについて、小ブロック評価値テーブル記憶部２３に記憶された小ブロック評価値テーブルの評価値の加算と減算とを行うことにより、未来側フレームの中ブロックのブロックマッチングの結果得られる評価値テーブルである中ブロック逆方向評価値テーブルを生成する。
【０１４８】
そして、中ブロック逆方向評価値テーブル生成部３０は、注目ブロックについての中ブロック逆方向評価値テーブルを、中ブロック逆方向ベクトル検出部３１に供給する。
【０１４９】
中ブロック逆方向ベクトル検出部３１は、中ブロック逆方向評価値テーブル生成部３０からの中ブロック逆方向評価値テーブルにおいて、最小の評価値が得られるときの、サーチエリア内の中ブロックの位置を表すベクトルを、中ブロックの動きベクトルとして検出する。
【０１５０】
また、中ブロック逆方向ベクトル検出部３１は、中ブロック逆方向評価値テーブル生成部３０からの中ブロック逆方向評価値テーブルの評価値の分布に基づいて、中ブロックの中ブロック逆方向評価値テーブルから検出される動きベクトルが信頼できるかどうかを判定する。
【０１５１】
そして、中ブロック逆方向ベクトル検出部３１は、中ブロック逆方向評価値テーブルから検出される動きベクトルが信頼できると判定した場合、その動きベクトルを、複数種類の動きベクトルのうちの第４の種類の中ブロック逆方向ベクトルmvBとして採用し、候補ベクトル算出部１２（図５）に供給する。
【０１５２】
一方、中ブロック逆方向ベクトル検出部３１は、中ブロック逆方向評価値テーブルから検出される動きベクトルが信頼できないと判定した場合、大ブロック双方向ベクトル検出部２５からの大ブロック双方向ベクトルmvLを、中ブロック逆方向ベクトルmvBとして採用し、候補ベクトル算出部１２（図５）に供給する。
【０１５３】
次に、図９を参照して、図８の小ブロック評価値テーブル生成部２２の処理を説明する。
【０１５４】
小ブロック評価値テーブル生成部２２（図８）は、注目フレームの小ブロックを、順次、注目ブロックとし、注目ブロックについて、注目ブロックと同一の位置の、過去側フレーム（第n-1フレーム）の小ブロックのブロックマッチングと、未来側フレーム（第nフレーム）の小ブロックのブロックマッチングとを行うことにより、それぞれ、小ブロック順方向評価値テーブルと小ブロック逆方向評価値テーブルとを求める。
【０１５５】
すなわち、いま、注目フレームの、ラスタスキャン順で、k番目の小ブロック#kが注目ブロックであるとする。
【０１５６】
小ブロック評価値テーブル生成部２２は、図９Ａに示すように、注目ブロックと同一の位置の、過去側フレームの小ブロック#kに対し、未来側フレームにサーチエリアを設定する。
【０１５７】
そして、小ブロック評価値テーブル生成部２２は、過去側フレームの小ブロック#kを、未来側フレームのサーチエリア内でずらし、過去側フレームの小ブロック#kと、サーチエリアの各位置(x,y)、つまり、小ブロック#kの各ずらし量(x,y)に対する、小ブロック#kと同一のサイズの領域との画像の一致の度合いを表す評価値を求めて、その評価値のテーブルである小ブロック順方向評価値テーブルを生成する。
【０１５８】
さらに、小ブロック評価値テーブル生成部２２は、図９Ｂに示すように、注目ブロックと同一の位置の、未来側フレームの小ブロック#kに対し、過去側フレームにサーチエリアを設定する。
【０１５９】
そして、小ブロック評価値テーブル生成部２２は、未来側フレームの小ブロック#kを、過去側フレームのサーチエリア内でずらし、各ずらし量(x,y)に対する評価値を求めて、その評価値のテーブルである小ブロック逆方向評価値テーブルを生成する。
【０１６０】
次に、図１０ないし図１２を参照して、図８の大ブロック双方向評価値テーブル生成部２４の処理を説明する。
【０１６１】
図１０は、大ブロックの例を示している。
【０１６２】
図８の大ブロック双方向評価値テーブル生成部２４は、注目ブロックと同一の位置の、過去側フレームの小ブロック#kを中心とする17×17の小ブロックを、大ブロックとして、過去側フレームの大ブロックのブロックマッチングの結果得られる評価値テーブル（以下、大ブロック順方向評価値テーブルという）を、小ブロック評価値テーブル記憶部２３に記憶された小ブロック評価値テーブルの評価値の加算と減算とによって、後述するように生成する。
【０１６３】
さらに、大ブロック双方向評価値テーブル生成部２４は、注目ブロックと同一の位置の、未来側フレームの小ブロック#kを中心とする17×17の小ブロックを、大ブロックとして、未来側フレームの大ブロックのブロックマッチングの結果得られる評価値テーブル（以下、大ブロック逆方向評価値テーブルという）を、小ブロック評価値テーブル記憶部２３に記憶された小ブロック評価値テーブルの評価値の加算と減算とによって生成する。
【０１６４】
そして、大ブロック双方向評価値テーブル生成部２４は、注目ブロックについて得られる大ブロック順方向評価値テーブルの各評価値と、大ブロック逆方向評価値テーブルの、対応する評価値とを加算することで、大ブロック双方向評価値テーブルを生成する。
【０１６５】
すなわち、補間フレームに平行なxy平面と、補間フレームに垂直な方向（時間方向）とで定義される３次元空間において、入力画像のフレーム周期をT［秒］として、注目ブロックについて得られる小ブロック順方向評価値テーブルの、あるずらし量(x,y)を表すベクトルvを、(x,y,T)と表すこととする。
【０１６６】
この場合、大ブロック双方向評価値テーブル生成部２４は、注目ブロックについて得られる大ブロック順方向評価値テーブルの、ずらし量(x,y)を表すベクトルv=(x,y,T)に対する評価値と、注目ブロックについて得られる大ブロック逆方向評価値テーブルの、ベクトル-v=(-x,-y,-T)で表されるずらし量に対する評価値とを加算することで、大ブロック双方向評価値テーブルを生成する。
【０１６７】
ここで、図１１は、ベクトルvと-vとを示している。
【０１６８】
すなわち、図１１は、大ブロック双方向評価値テーブルを生成するための加算の対象となる、大ブロック順方向評価値テーブルの評価値と、大ブロック逆方向評価値テーブルの評価値とのそれぞれに対する、過去側フレーム（第n-1フレーム）の大ブロックのずらし量を表すベクトルvと、未来側フレーム（第nフレーム）の大ブロックのずらし量を表すベクトル-vとを示している。
【０１６９】
図８の中ブロック双方向評価値テーブル生成部２６も、大ブロック双方向評価値テーブル生成部２４と同様に、過去側フレームの小ブロック#kのブロックマッチングにより得られる中ブロック順方向評価値テーブルの各評価値と、未来側フレームの小ブロック#kのブロックマッチングにより得られる中ブロック逆方向評価値テーブルの、対応する評価値とを加算することで、中ブロック双方向評価値テーブルを生成する。
【０１７０】
ここで、本明細書において、「順方向」とは、過去側フレームから未来側フレームに向かう方向を表し、「逆方向」とは、未来側フレームから過去側フレームに向かう方向を表す。
【０１７１】
そして、本明細書において、２つのベクトルどうしが等しい（同一）とは、２つのベクトルの大きさ及び方向の両方が一致する場合の他、「順方向」のベクトルと、「逆方向」のベクトルとについては、大きさが一致し、方向が反対方向になっている場合を含む。
【０１７２】
さらに、本明細書において、２つのベクトルどうしが類似するとは、２つのベクトルの大きさ及び方向の両方がほぼ一致する場合（例えば、差分絶対値が所定の閾値以内である場合）の他、「順方向」のベクトルと、「逆方向」のベクトルとについては、大きさがほぼ一致し、一方のベクトルの方向が他方のベクトルのほぼ反対方向になっている場合を含む。
【０１７３】
次に、図１２を参照して、図８の大ブロック双方向評価値テーブル生成部２４が、小ブロック評価値テーブルの評価値の加算と減算とによって、大ブロック順方向評価値テーブルを生成する方法について説明する。
【０１７４】
図１２は、小ブロック評価値テーブル生成部２２が生成する、過去側フレーム（第n-1フレーム）の小ブロック#kのブロックマッチングによって得られる小ブロック順方向評価値テーブルを示している。
【０１７５】
図１２の小ブロック順方向評価値テーブルでは、サーチエリアは、過去側フレームの小ブロック#kの位置から、その小ブロック#kよりも、x方向に±31画素だけ大きく、かつ、y方向に±16画素だけ大きい、未来側フレームの領域に設定されており、x=-31,-30,・・・+30,+31のx成分と、y=-16,-15,・・・+15,+16のy成分との組み合わせで表される63×33通りのずらし量(x,y)に対して、小ブロック#kの評価値VF(k)(x,y)が求められている。
【０１７６】
いま、説明を簡単にするため、小ブロック#kについての過去側フレームの大ブロックが、過去側フレームの小ブロック#kと、その左右に隣接する小ブロック#k-1及び#k+1との３個の小ブロック#k-1,#k,#k+1で構成されることとする。
【０１７７】
この場合、小ブロック#kについての大ブロックの、ずらし量(x,y)に対する評価値VF'(k)(x,y)は、式VF'(k)(x,y)＝VF(k-1)(x,y)＋VF(k)(x,y)＋VF(k+1)(x,y)に従い、小ブロック#k-1の評価値VF(k-1)(x,y)、小ブロック#kの評価値VF(k)(x,y)、及び、小ブロック#k+1の評価値VF(k+1)(x,y)の加算によって求めることができる。
【０１７８】
同様にして、小ブロック#kの右隣の小ブロック#k+1についての大ブロック、つまり、小ブロック#k,#k+1,#k+2で構成される大ブロックの、ずらし量(x,y)に対する評価値VF'(k+1)(x,y)は、式VF'(k+1)(x,y)＝VF(k)(x,y)＋VF(k+1)(x,y)＋VF(k+2)(x,y)に従い、小ブロック#kの評価値VF(k)(x,y)、小ブロック#k+1の評価値VF(k+1)(x,y)、及び、小ブロック#k+2の評価値VF(k+2)(x,y)の加算によって求めることができる。
【０１７９】
ここで、式VF'(k+1)(x,y)＝VF(k)(x,y)＋VF(k+1)(x,y)＋VF(k+2)(x,y)は、小ブロック#kについての大ブロックの、ずらし量(x,y)に対する評価値VF'(k)(x,y)を用いて、次式で表される。
【０１８０】
VF'(k+1)(x,y)＝VF(k)(x,y)＋VF(k+1)(x,y)＋VF(k+2)(x,y)
＝VF(k-1)(x,y)＋VF(k)(x,y)＋VF(k+1)(x,y)＋VF(k+2)(x,y)-VF(k-1)(x,y)
＝VF'(k)(x,y)＋VF(k+2)(x,y)-VF(k-1)(x,y)
【０１８１】
したがって、小ブロック#k+1についての大ブロックの、ずらし量(x,y)に対する評価値VF'(k+1)(x,y)は、小ブロック#kについての大ブロックの、ずらし量(x,y)に対する評価値VF'(k)(x,y)に対する、小ブロック#k+2の評価値VF(k+2)(x,y)の加算と、小ブロック#k-1の評価値VF(k-1)(x,y)の減算とによって求めることができる。
【０１８２】
以上のようにして、大ブロック順方向評価値テーブルは、小ブロック評価値テーブルの評価値の加算と減算とを行うことによって生成することができる。
【０１８３】
図８の大ブロック双方向評価値テーブル生成部２４は、大ブロック順方向評価値テーブルと同様にして、大ブロック逆方向評価値テーブルも生成する。
【０１８４】
そして、大ブロック双方向評価値テーブル生成部２４は、図１０及び図１１で説明したように、大ブロック順方向評価値テーブルの各評価値と、大ブロック逆方向評価値テーブルの、対応する評価値とを加算することで、大ブロック双方向評価値テーブルを生成する。
【０１８５】
図８の中ブロック双方向評価値テーブル生成部２６も、大ブロック双方向評価値テーブル生成部２４と同様にして、中ブロック順方向評価値テーブルと、中ブロック逆方向評価値テーブルとを生成し、その中ブロック順方向評価値テーブルと、中ブロック逆方向評価値テーブルとを用いて、中ブロック双方向評価値テーブルを生成する。
【０１８６】
また、図８の中ブロック順方向評価値テーブル生成部２８は、大ブロック双方向評価値テーブル生成部２４が大ブロック順方向評価値テーブルを生成するのと同様にして、中ブロック順方向評価値テーブルを生成する。
【０１８７】
さらに、図８の中ブロック逆方向評価値テーブル生成部３０は、大ブロック双方向評価値テーブル生成部２４が大ブロック逆方向評価値テーブルを生成するのと同様にして、中ブロック逆方向評価値テーブルを生成する。
【０１８８】
以上のように、大ブロック双方向評価値テーブル、中ブロック双方向評価値テーブル、中ブロック順方向評価値テーブル、及び、中ブロック逆方向評価値テーブルが、小ブロック評価値テーブルの評価値の加算と減算とを行うことによって生成されるので、大ブロックや、中ブロックのブロックマッチングを実際に行って評価値を求める場合よりも、効率的に、少ない演算量で、大ブロック双方向評価値テーブル、中ブロック双方向評価値テーブル、中ブロック順方向評価値テーブル、及び、中ブロック逆方向評価値テーブルを生成することができる。
【０１８９】
図１３及び図１４は、図８の大ブロック双方向評価値テーブル生成部２４で得られる大ブロック双方向評価値テーブルの例を示している。
【０１９０】
すなわち、図１３Ａは、過去側フレーム及び未来側フレームとなる入力画像の例を示しており、図１３Ｂ、及び図１４は、図１３Ａの入力画像から求められる大ブロック双方向評価値テーブルの例を示している。
【０１９１】
なお、図１３Ｂでは、２次元平面の２つの軸のうちの一方の軸を、ずらし量(x,y)のx成分を表す軸とするとともに、他方の軸を、ずらし量(x,y)のy成分を表す軸とし、かつ、その２次元平面に直交する軸を、評価値を表す軸として、グラフで、大ブロック双方向評価値テーブル（以下、グラフの大ブロック双方向評価値テーブルともいう）を示してある。
【０１９２】
また、図１４では、評価値を数値で表した大ブロック双方向評価値テーブル（以下、数値の大ブロック双方向評価値テーブルともいう）を示してある。
【０１９３】
大ブロック双方向評価値テーブルは、上述したように、17×17個の小ブロックから構成される大ブロックに対して得られる。このような大きなサイズの大ブロックには、背景の広い範囲の様々なテクスチャが含まれる可能性が高く、そのため、グラフの大ブロック双方向評価値テーブルの評価値は、図１３Ｂに示すように、背景動きを表すずらし量(x,y)付近だけで、値が窪んだような分布となる傾向が極めて強い。
【０１９４】
したがって、大ブロック双方向評価値テーブルの評価値が最小となるずらし量(x,y)は、背景動きを表す。
【０１９５】
図１５及び図１６は、図８の中ブロック双方向評価値テーブル生成部２６で得られる中ブロック双方向評価値テーブルの例を示している。
【０１９６】
なお、図１５は、フラグの中ブロック双方向評価値テーブルを示しており、図１６は、数値の中ブロック双方向評価値テーブルを示している。
【０１９７】
中ブロック双方向評価値テーブルは、上述したように、5×5個の小ブロックから構成される中ブロックに対して得られる。このような中程度のサイズの中ブロックには、様々なテクスチャが含まれる可能性もあるが、繰り返しパターンのテクスチャだけが含まれる可能性が、大ブロックの場合よりも高い。
【０１９８】
そして、中ブロックが、繰り返しパターンのテクスチャだけを含む場合や、中ブロックのほとんどの領域が、繰り返しパターンのテクスチャである場合には、グラフの中ブロック双方向評価値テーブルの評価値は、図１５に示すように、複数のずらし量(x,y)において、値が窪んだような分布となる。
【０１９９】
すなわち、中ブロックが、繰り返しパターンのテクスチャだけを含む場合や、中ブロックのほとんどの領域が、繰り返しパターンのテクスチャである場合には、中ブロック双方向評価値テーブルでは、複数のずらし量(x,y)において、最小の評価値とほぼ同様の評価値が得られ、その結果、グラフの中ブロック双方向評価値テーブルの評価値は、複数の窪み（くさび）が存在するような分布となる。
【０２００】
このように、中ブロック双方向評価値テーブルの複数のずらし量(x,y)において、最小の評価値とほぼ同様の評価値が得られる場合（最小の評価値との差分絶対値が、所定の閾値以内の評価値が存在する場合）には、最小の評価値に対するずらし量が表すベクトルが、中ブロック（に写っているテクスチャ）の動きを表している可能性は、高くはない。
【０２０１】
すなわち、中ブロック双方向評価値テーブルの複数のずらし量(x,y)において、最小の評価値とほぼ同様の評価値が得られる場合に、その中ブロック双方向評価値テーブルから検出される動きベクトルは、信頼できない（信頼性が低い）。
【０２０２】
そこで、図８の中ブロック双方向ベクトル検出部２７は、中ブロック双方向評価値テーブルから検出される動きベクトルが信頼できるかどうかを判定し、信頼できる場合、すなわち、中ブロック双方向評価値テーブルの複数のずらし量(x,y)において、最小の評価値とほぼ同様の評価値が存在しない場合、中ブロック双方向評価値テーブルから検出される動きベクトルを、そのまま、中ブロック双方向ベクトルmvMに採用する。
【０２０３】
一方、中ブロック双方向評価値テーブルから検出される動きベクトルが信頼できない場合、すなわち、中ブロック双方向評価値テーブルの複数のずらし量(x,y)において、最小の評価値とほぼ同様の評価値が存在する場合、中ブロック双方向ベクトル検出部２７は、中ブロック双方向評価値テーブルから検出される動きベクトルに代えて、大ブロック双方向ベクトル検出部２５から供給される大ブロック双方向ベクトルmvLを、中ブロック双方向ベクトルmvMとして採用する。
【０２０４】
図８の中ブロック順方向ベクトル検出部２９も同様に、中ブロック順方向評価値テーブルから検出される動きベクトルが信頼できるかどうかを判定し、信頼できる場合には、その動きベクトルを、そのまま、中ブロック順方向ベクトルmvFに採用する。
【０２０５】
一方、中ブロック順方向評価値テーブルから検出される動きベクトルが信頼できない場合、中ブロック順方向ベクトル検出部２９は、中ブロック順方向評価値テーブルから検出される動きベクトルに代えて、大ブロック双方向ベクトル検出部２５から供給される大ブロック双方向ベクトルmvLを、中ブロック順方向ベクトルmvFとして採用する。
【０２０６】
さらに、図８の中ブロック逆方向ベクトル検出部３１も同様に、中ブロック逆方向評価値テーブルから検出される動きベクトルが信頼できるかどうかを判定し、信頼できる場合には、その動きベクトルを、そのまま、中ブロック逆方向ベクトルmvBに採用する。
【０２０７】
一方、中ブロック逆方向評価値テーブルから検出される動きベクトルが信頼できない場合、中ブロック逆方向ベクトル検出部３１は、中ブロック逆方向評価値テーブルから検出される動きベクトルに代えて、大ブロック双方向ベクトル検出部２５から供給される大ブロック双方向ベクトルmvLを、中ブロック逆方向ベクトルmvBとして採用する。
【０２０８】
なお、大ブロック双方向ベクトルmvLと、中ブロック双方向ベクトルmvMとは、「順方向」、及び「逆方向」のうちの、例えば、「順方向」のベクトルと同様に、過去側フレームから未来側フレームに向かう方向のベクトルであるとする。
【０２０９】
また、中ブロック逆方向評価値テーブルから検出される動きベクトルが信頼できない場合、中ブロック逆方向ベクトル検出部３１では、大ブロック双方向ベクトル検出部２５から供給される大ブロック双方向ベクトルmvLの向きを反対方向に変更したベクトルを、中ブロック逆方向ベクトルmvBとして採用することとする。
【０２１０】
［動きベクトル検出処理の説明］
【０２１１】
図１７は、図８の動きベクトル検出部１１が、図７のステップＳ１２で行う処理（動きベクトル検出処理）を説明するフローチャートである。
【０２１２】
メモリ２１は、外部からの入力画像の過去側フレームと未来側フレームが供給されるのを待って、ステップＳ２１において、過去側フレームと未来側フレームを記憶し、処理は、ステップＳ２２に進む。
【０２１３】
ステップＳ２２では、小ブロック評価値テーブル生成部２２は、メモリ２１に記憶された過去側フレーム、及び、未来側フレームのそれぞれを、小ブロックに分割する。さらに、小ブロック評価値テーブル生成部２２は、過去側フレーム、又は未来側フレームの一方のフレームの小ブロックを、他方のフレームに設定されるサーチエリア内を移動させ、小ブロックと、サーチエリアの各位置（ずらし量）における、小ブロックと同一のサイズの領域との画像の一致の度合いを表す評価値を求めることで、小ブロック評価値テーブルを生成する。
【０２１４】
小ブロック評価値テーブルは、小ブロック評価値テーブル生成部２２から小ブロック評価値テーブル記憶部２３に供給されて記憶される。
【０２１５】
その後、処理は、ステップＳ２２からステップＳ２３に進み、大ブロック双方向評価値テーブル生成部２４は、注目フレーム（補間フレーム）の小ブロックの中で、まだ、注目ブロックとしていない小ブロックの１つを、注目ブロックに選択して、処理は、ステップＳ２４に進む。
【０２１６】
ステップＳ２４では、大ブロック双方向評価値テーブル生成部２４は、注目フレームの注目ブロックである小ブロックについて、小ブロック評価値テーブル記憶部２３に記憶された小ブロック評価値テーブルの評価値の加算と減算とを行うことにより、大ブロック双方向評価値テーブルを生成する。
【０２１７】
そして、大ブロック双方向評価値テーブル生成部２４は、注目ブロックについての大ブロック双方向評価値テーブルを、大ブロック双方向ベクトル検出部２５に供給する。
【０２１８】
また、ステップＳ２４では、中ブロック双方向評価値テーブル生成部２６が、注目フレームの注目ブロックについて、小ブロック評価値テーブル記憶部２３に記憶された小ブロック評価値テーブルの評価値の加算と減算とを行うことにより、中ブロック双方向評価値テーブルを生成する。
【０２１９】
そして、中ブロック双方向評価値テーブル生成部２６は、注目ブロックについての中ブロック双方向評価値テーブルを、中ブロック双方向ベクトル検出部２７に供給する。
【０２２０】
さらに、ステップＳ２４では、中ブロック順方向評価値テーブル生成部２８が、注目フレームの注目ブロックについて、小ブロック評価値テーブル記憶部２３に記憶された小ブロック評価値テーブルの評価値の加算と減算とを行うことにより、中ブロック順方向評価値テーブルを生成する。
【０２２１】
そして、中ブロック順方向評価値テーブル生成部２８は、注目ブロックについての中ブロック順方向評価値テーブルを、中ブロック順方向ベクトル検出部２９に供給する。
【０２２２】
また、ステップＳ２４では、中ブロック逆方向評価値テーブル生成部３０が、注目フレームの注目ブロックについて、小ブロック評価値テーブル記憶部２３に記憶された小ブロック評価値テーブルの評価値の加算と減算とを行うことにより、中ブロック逆方向評価値テーブルを生成する。
【０２２３】
そして、中ブロック逆方向評価値テーブル生成部３０は、注目ブロックについての中ブロック逆方向評価値テーブルを、中ブロック逆方向ベクトル検出部３１に供給する。
【０２２４】
その後、処理は、ステップＳ２４からステップＳ２５に進み、大ブロック双方向ベクトル検出部２５は、大ブロック双方向評価値テーブル生成部２４からの大ブロック双方向評価値テーブルにおいて、最小の評価値が得られるときの、サーチエリア内の大ブロックの位置を表すベクトルを、大ブロック双方向ベクトルmvLとして検出する。
【０２２５】
そして、大ブロック双方向ベクトル検出部２５は、大ブロック双方向ベクトルmvLを、中ブロック双方向ベクトル検出部２７、中ブロック順方向ベクトル検出部２９、及び、中ブロック逆方向ベクトル検出部３１に供給する。
【０２２６】
さらに、ステップＳ２５では、中ブロック双方向ベクトル検出部２７が、中ブロック双方向評価値テーブル生成部２６からの中ブロック双方向評価値テーブルにおいて、最小の評価値が得られるときの、サーチエリア内の中ブロックの位置を表すベクトルを、中ブロック双方向ベクトルmvMとして検出する。
【０２２７】
また、ステップＳ２５では、中ブロック順方向ベクトル検出部２９が、中ブロック順方向評価値テーブル生成部２８からの中ブロック順方向評価値テーブルにおいて、最小の評価値が得られるときの、サーチエリア内の中ブロックの位置を表すベクトルを、中ブロック順方向ベクトルmvFとして検出する。
【０２２８】
さらに、ステップＳ２５では、中ブロック逆方向ベクトル検出部３１が、中ブロック逆方向評価値テーブル生成部３０からの中ブロック逆方向評価値テーブルにおいて、最小の評価値が得られるときの、サーチエリア内の中ブロックの位置を表すベクトルを、中ブロック逆方向ベクトルmvBとして検出する。
【０２２９】
そして、処理は、ステップＳ２５からステップＳ２６に進み、中ブロック双方向ベクトル検出部２７は、中ブロック双方向評価値テーブル生成部２６からの中ブロック双方向評価値テーブルの評価値の分布に基づいて、中ブロック双方向評価値テーブルから検出された中ブロック双方向ベクトルmvLが信頼できるかどうかを判定する（信頼性を判定する）。
【０２３０】
また、ステップＳ２６では、中ブロック順方向ベクトル検出部２９が、中ブロック順方向評価値テーブル生成部２８からの中ブロック順方向評価値テーブルの評価値の分布に基づいて、中ブロック順方向評価値テーブルから検出される中ブロック順方向ベクトルmvFが信頼できるかどうかを判定する。
【０２３１】
さらに、ステップＳ２６では、中ブロック逆方向ベクトル検出部３１が、中ブロック逆方向評価値テーブル生成部３０からの中ブロック逆方向評価値テーブルの評価値の分布に基づいて、中ブロック逆方向評価値テーブルから検出される中ブロック逆方向ベクトルmvBが信頼できるかどうかを判定する。
【０２３２】
その後、処理は、ステップＳ２６からステップＳ２７に進み、中ブロック双方向ベクトル検出部２７は、中ブロック双方向評価値テーブルから検出された中ブロック双方向ベクトルmvMが信頼できないと判定した場合、大ブロック双方向ベクトル検出部２５からの大ブロック双方向ベクトルmvLを、中ブロック双方向ベクトルmvMとして採用する（中ブロック双方向ベクトルmvMを、大ブロック双方向ベクトルmvLに置き換える）。
【０２３３】
さらに、ステップＳ２７では、中ブロック順方向ベクトル検出部２９は、中ブロック順方向評価値テーブルから検出された中ブロック順方向ベクトルmvFが信頼できないと判定した場合、大ブロック双方向ベクトル検出部２５からの大ブロック双方向ベクトルmvLを、中ブロック順方向ベクトルmvFとして採用する。
【０２３４】
また、ステップＳ２７では、中ブロック逆方向ベクトル検出部３１は、中ブロック逆方向評価値テーブルから検出された中ブロック逆方向ベクトルmvBが信頼できないと判定した場合、大ブロック双方向ベクトル検出部２５からの大ブロック双方向ベクトルmvLを、中ブロック逆方向ベクトルmvBとして採用する。
【０２３５】
その後、大ブロック双方向ベクトル検出部２５は、大ブロック双方向ベクトルmvLを、中ブロック双方向ベクトル検出部２７は、中ブロック双方向ベクトルmvMを、中ブロック順方向ベクトル検出部２９は、中ブロック順方向ベクトルmvFを、中ブロック逆方向ベクトル検出部３１は、中ブロック逆方向ベクトルmvBを、それぞれ、候補ベクトル算出部１２（図５）に供給し、処理は、ステップＳ２７からステップＳ２８に進む。
【０２３６】
ステップＳ２８では、大ブロック双方向評価値テーブル生成部２４は、注目フレーム（補間フレーム）の小ブロックの中で、まだ、注目ブロックとしていない小ブロックがあるかどうかを判定する。
【０２３７】
ステップＳ２８において、注目フレームの小ブロックの中で、まだ、注目ブロックとしていない小ブロックがあると判定された場合、処理は、ステップＳ２３に戻り、以下、同様の処理が繰り返される。
【０２３８】
また、ステップＳ２８において、注目フレームの小ブロックの中で、まだ、注目ブロックとしていない小ブロックがないと判定された場合、すなわち、注目フレームのすべての小ブロックについて、大ブロック双方向ベクトルmvL、中ブロック双方向ベクトルmvM、中ブロック順方向ベクトルmvF、及び、中ブロック逆方向ベクトルmvBが求められた場合、動きベクトル検出処理は終了する（リターンする）。
【０２３９】
［候補ベクトル算出部１２の構成例］
【０２４０】
図１８は、図５の候補ベクトル算出部１２の構成例を示すブロック図である。
【０２４１】
候補ベクトル算出部１２は、動きベクトル検出部１１からの、注目フレームの小ブロックごとの大ブロック双方向ベクトルmvL、中ブロック双方向ベクトルmvM、中ブロック順方向ベクトルmvF、及び、中ブロック逆方向ベクトルmvBそれぞれの統計量を求める統計処理（例えば、ヒストグラムや、平均値、メディアン（中央値）を求める処理等）を行う。
【０２４２】
そして、候補ベクトル算出部１２は、この統計処理によって、注目フレームの小ブロックごとの背景ベクトルv1、物体ベクトルv2、順方向動き判定情報、及び、逆方向動き判定情報、並びに、注目フレームについてのシーンチェンジ判定信号を求める。
【０２４３】
すなわち、図１８において、候補ベクトル算出部１２は、全画面ヒストグラム生成部５１、シーンチェンジ判定部５２、背景物体ブロック検出部５３、射影ヒストグラム生成部５４、背景ベクトル第２候補算出部５５、背景ベクトル選択部５６、周辺ヒストグラム生成部５７、背景ベクトル候補算出用ベクトル算出部５８、背景ベクトル第１候補算出部５９、周辺ヒストグラム生成部６０、物体ベクトル候補算出用ベクトル算出部６１、物体ベクトル算出部６２、メディアンフィルタ６３、比較判定部６４、メディアンフィルタ６５、及び、比較判定部６６から構成される。
【０２４４】
動きベクトル検出部１１（図５）からの大ブロック双方向ベクトルmvLは、全画面ヒストグラム生成部５１、射影ヒストグラム生成部５４、周辺ヒストグラム生成部５７に供給される。
【０２４５】
また、動きベクトル検出部１１からの中ブロック双方向ベクトルmvMは、周辺ヒストグラム生成部６０に、中ブロック順方向ベクトルmvFは、メディアンフィルタ６３に、中ブロック逆方向ベクトルmvBは、メディアンフィルタ６５に、それぞれ供給される。
【０２４６】
全画面ヒストグラム生成部５１は、動きベクトル検出部１１からの、注目フレームを構成する小ブロックすべてについての大ブロック双方向ベクトルmvLのヒストグラムである全画面ヒストグラムを、統計量として生成する。そして、全画面ヒストグラム生成部５１は、注目フレームの全画面ヒストグラムを、シーンチェンジ判定部５２と、背景物体ブロック検出部５３に供給する。
【０２４７】
シーンチェンジ判定部５２は、全画面ヒストグラム生成部５１からの注目フレームの全画面ヒストグラムに基づいて、過去側フレームから、未来側フレームにかけて、シーンチェンジが生じているかどうかを判定する。そして、シーンチェンジ判定部５２は、その判定結果を表すシーンチェンジ判定信号を、画素単位動き推定部１３（図５）に供給する。
【０２４８】
背景物体ブロック検出部５３は、全画面ヒストグラム生成部５１からの全画面ヒストグラムに基づいて、注目フレームを構成する小ブロックのうちの、背景動きをしている小ブロック（背景動きが支配的な小ブロック）である背景ブロックと、物体動きをしている物体ブロック（物体動きが支配的な小ブロック）とを検出する。
【０２４９】
そして、背景物体ブロック検出部５３は、注目フレームを構成する各小ブロックが、背景ブロック、及び物体ブロックのうちのいずれのブロックであるかを表すブロック情報を、射影ヒストグラム生成部５４と、周辺ヒストグラム生成部５７、及び６０とに供給する。
【０２５０】
射影ヒストグラム生成部５４は、注目フレームの小ブロックのうちの背景ブロックを、背景物体ブロック検出部５３からのブロック情報に基づいて認識する。
【０２５１】
さらに、射影ヒストグラム生成部５４は、動きベクトル検出部１１（図５）からの大ブロック双方向ベクトルmvLのうちの、背景ブロックについての大ブロック双方向ベクトルmvLのヒストグラムを生成し、背景ベクトル第２候補算出部５５に供給する。
【０２５２】
すなわち、射影ヒストグラム生成部５４は、注目フレームの小ブロック単位の列ごとの背景ブロックの大ブロック双方向ベクトルmvLのx成分のヒストグラムである水平射影ヒストグラムを、統計量として生成し、背景ベクトル第２候補算出部５５に供給する。
【０２５３】
さらに、射影ヒストグラム生成部５４は、注目フレームの小ブロック単位の行ごとの背景ブロックの大ブロック双方向ベクトルmvLのy成分のヒストグラムである垂直射影ヒストグラムを、統計量として生成し、背景ベクトル第２候補算出部５５に供給する。
【０２５４】
背景ベクトル第２候補算出部５５は、射影ヒストグラム生成部５４からの水平射影ヒストグラムと垂直射影ヒストグラムとに基づいて、注目フレームの小ブロック単位の列ごとに、背景ベクトルv1の１つの候補のx成分を求めるとともに、注目フレームの小ブロック単位の行ごとに、背景ベクトルv1の１つの候補のy成分を求める。
【０２５５】
すなわち、背景ベクトル第２候補算出部５５は、注目フレームの第j行第i列の小ブロック（左からi番（列）目で、上からj番（行）目の小ブロック）の背景ベクトルv1の１つの候補として、射影ヒストグラム生成部５４からの水平射影ヒストグラムにおいて度数が最大の階級と、垂直射影ヒストグラムにおいて度数が最大の階級とを、それぞれx成分とy成分とするベクトルを求める。
【０２５６】
そして、背景ベクトル第２候補算出部５５は、射影ヒストグラム生成部５４からの水平射影ヒストグラムと垂直射影ヒストグラムとに基づいて求めた背景ベクトルv1の１つの候補を、背景ベクトル第２候補として、背景ベクトル選択部５６に供給される。
【０２５７】
ここで、後述するように、背景ベクトル第１候補算出部５９では、背景ベクトルv1の他の１つの候補が求められる。この、背景ベクトル第１候補算出部５９で求められる背景ベクトルv1の他の１つの候補が、背景ベクトル第１候補として、背景ベクトル第１候補算出部５９から、背景ベクトル選択部５６に供給される。
【０２５８】
背景ベクトル選択部５６は、注目フレームの小ブロックごとに、背景ベクトル第２候補算出部５５からの背景ベクトル第２候補と、背景ベクトル第１候補算出部５９からの背景ベクトル第１候補とのうちのいずれか一方を、背景ベクトルv1として選択する。
【０２５９】
さらに、背景ベクトル選択部５６は、注目フレームの小ブロックごとの背景ベクトルv1を、物体ベクトル算出部６２、比較判定部６４、及び６６に供給するとともに、図５の画素単位動き推定部１３、補間画素動き判定部１４、及び、補間画像生成部１５に供給する。
【０２６０】
周辺ヒストグラム生成部５７は、注目フレームの小ブロックのうちの背景ブロックを、背景物体ブロック検出部５３からのブロック情報に基づいて認識する。
【０２６１】
さらに、周辺ヒストグラム生成部５７は、注目フレームの各小ブロックについて、その小ブロックを含む周辺の小ブロックのうちの背景ブロック（以下、周辺背景ブロックともいう）を特定する。
【０２６２】
また、周辺ヒストグラム生成部５７は、注目フレームの各小ブロックについて、動きベクトル検出部１１（図５）からの大ブロック双方向ベクトルmvLのうちの、周辺背景ブロックの大ブロック双方向ベクトルmvLのヒストグラムを、統計量として生成する。
【０２６３】
そして、周辺ヒストグラム生成部５７は、注目フレームの各小ブロックについて生成した、周辺背景ブロックの大ブロック双方向ベクトルmvLのヒストグラム（以下、大ブロック周辺ヒストグラムともいう）を、背景ベクトル候補算出用ベクトル算出部５８に供給する。
【０２６４】
背景ベクトル候補算出用ベクトル算出部５８は、注目フレームの各小ブロックについて、周辺ヒストグラム生成部５７からの、大ブロック周辺ヒストグラムに基づき、背景ベクトル第１候補の算出に用いる候補算出用ベクトルを求める。
【０２６５】
すなわち、背景ベクトル候補算出用ベクトル算出部５８は、注目フレームの各小ブロックについて、大ブロック周辺ヒストグラムにおいて度数が最大の階級としてのベクトル（大ブロック双方向ベクトルmvL）を、候補算出用ベクトルとして求める。
【０２６６】
そして、背景ベクトル候補算出用ベクトル算出部５８は、注目フレームの各小ブロックについて求めた候補算出用ベクトルを、背景ベクトル第１候補算出部５９に供給する。
【０２６７】
背景ベクトル第１候補算出部５９は、注目フレームの各小ブロックについて、その小ブロックを含む周辺の小ブロックの候補算出用ベクトルの平均値である平均ベクトルを求める平均フィルタで構成される。
【０２６８】
背景ベクトル第１候補算出部５９は、注目フレームの各小ブロックについて、背景ベクトル候補算出用ベクトル算出部５８からの候補算出用ベクトルを、平均フィルタでフィルタリングすることにより、平均ベクトルを求め、背景ベクトル第１候補として、背景ベクトル選択部５６に供給する。
【０２６９】
ここで、注目フレームの小ブロックの中には、その周辺に、背景ブロック（周辺背景ブロック）が存在しない小ブロックがあり得る。
【０２７０】
周辺に、背景ブロックが存在しない小ブロックについては、周辺ヒストグラム生成部５７において、大ブロック周辺ヒストグラムを生成することができず、ひいては、背景ベクトル第１候補算出部５９において、背景ベクトル第１候補も求めることができない。
【０２７１】
したがって、注目フレームの小ブロックには、背景ベクトル第１候補を求めることができる小ブロックと、求めることができない小ブロックとが存在し得る。
【０２７２】
背景ベクトル選択部５６は、背景ベクトル第１候補を求めることができる小ブロックについては、つまり、背景ベクトル第１候補算出部５９から、背景ベクトル第１候補が供給される小ブロックについては、その背景ベクトル第１候補を、背景ベクトルv1として選択する。
【０２７３】
また、背景ベクトル選択部５６は、背景ベクトル第１候補を求めることができない小ブロックについては、つまり、背景ベクトル第１候補算出部５９から、背景ベクトル第１候補が供給されない小ブロックについては、背景ベクトル第２候補算出部５５から供給される背景ベクトル第２候補を、背景ベクトルv1として選択する。
【０２７４】
周辺ヒストグラム生成部６０は、注目フレームの小ブロックのうちの物体ブロックを、背景物体ブロック検出部５３からのブロック情報に基づいて認識する。
【０２７５】
さらに、周辺ヒストグラム生成部６０は、注目フレームの各小ブロックについて、その小ブロックを含む周辺の小ブロックのうちの物体ブロック（以下、周辺物体ブロックともいう）を特定する。
【０２７６】
また、周辺ヒストグラム生成部６０は、注目フレームの各小ブロックについて、動きベクトル検出部１１（図５）からの中ブロック双方向ベクトルmvMのうちの、周辺物体ブロックの中ブロック双方向ベクトルmvMのヒストグラムを、統計量として生成する。
【０２７７】
そして、周辺ヒストグラム生成部６０は、注目フレームの各小ブロックについて生成した、周辺物体ブロックの中ブロック双方向ベクトルmvMのヒストグラム（以下、中ブロック周辺ヒストグラムともいう）を、物体ベクトル候補算出用ベクトル算出部６１に供給する。
【０２７８】
物体ベクトル候補算出用ベクトル算出部６１は、注目フレームの各小ブロックについて、周辺ヒストグラム生成部６０からの、中ブロック周辺ヒストグラムに基づき、物体ベクトルの候補である物体ベクトル候補の算出に用いる候補算出用ベクトルを求める。
【０２７９】
すなわち、物体ベクトル候補算出用ベクトル算出部６１は、注目フレームの各小ブロックについて、中ブロック周辺ヒストグラムにおいて度数が最大の階級としてのベクトル（中ブロック双方向ベクトルmvM）を、候補算出用ベクトルとして求める。
【０２８０】
そして、物体ベクトル候補算出用ベクトル算出部６１は、注目フレームの各小ブロックについて求めた候補算出用ベクトルを、物体ベクトル算出部６２に供給する。
【０２８１】
物体ベクトル算出部６２は、メディアンフィルタと平均フィルタとで構成される。
【０２８２】
物体ベクトル算出部６２のメディアンフィルタは、フィルタリングにより、注目フレームの各小ブロックについて、その小ブロックを含む周辺の小ブロックの候補算出用ベクトルのメディアン（中央値）を求める。
【０２８３】
さらに、物体ベクトル算出部６２の平均フィルタは、フィルタリングにより、注目フレームの各小ブロックについて、その小ブロックを含む周辺の小ブロックのメディアンの平均値である平均ベクトルを、統計量として求める。
【０２８４】
そして、物体ベクトル算出部６２は、注目フレームの各小ブロックについて求められた平均ベクトルを、物体ベクトル候補とする。
【０２８５】
ここで、注目フレームの小ブロックの中には、その周辺に、物体ブロック（周辺物体ブロック）が存在しない小ブロックがあり得る。
【０２８６】
周辺に、物体ブロックが存在しない小ブロックについては、周辺ヒストグラム生成部６０において、中ブロック周辺ヒストグラムを生成することができず、ひいては、物体ベクトル算出部６２において、物体ベクトル候補も求めることができない。
【０２８７】
したがって、注目フレームの小ブロックには、物体ベクトル候補を求めることができる小ブロックと、求めることができない小ブロックとが存在し得る。
【０２８８】
物体ベクトル算出部６２は、物体ベクトル候補を求めることができる小ブロックについては、その物体ベクトル候補を、そのまま、物体ベクトルv2として採用する。そして、物体ベクトル算出部６２は、物体ベクトルv2を、比較判定部６４、及び６６に供給するとともに、図５の画素単位動き推定部１３、補間画素動き判定部１４、及び、補間画像生成部１５に供給する。
【０２８９】
一方、物体ベクトル算出部６２は、物体ベクトル候補を求めることができない小ブロックについては、背景ベクトル選択部５６から供給される背景ベクトルv1を、物体ベクトルv2として採用する。そして、物体ベクトル算出部６２は、物体ベクトルv2を、比較判定部６４、及び６６に供給するとともに、図５の画素単位動き推定部１３、補間画素動き判定部１４、及び、補間画像生成部１５に供給する。
【０２９０】
したがって、物体ベクトル候補を求めることができない小ブロックについては、背景ベクトルv1と物体ベクトルv2とは、同一のベクトルとなる。
【０２９１】
メディアンフィルタ６３は、動きベクトル検出部１１（図５）からの中ブロック順方向ベクトルmvFをフィルタリングすることにより、注目フレームの各小ブロックについて、その小ブロックを含む周辺の小ブロックの中ブロック順方向ベクトルmvFのメディアン（以下、順方向メディアンベクトルともいう）を、統計量として求める。
【０２９２】
そして、メディアンフィルタ６３は、注目フレームの各小ブロックについて求められた統計量としての順方向メディアンベクトルを、比較判定部６４に供給する。
【０２９３】
比較判定部６４は、注目フレームの各小ブロックについて、その小ブロックの順方向メディアンベクトルと、背景ベクトル選択部５６からの背景ベクトルv1、及び、物体ベクトル算出部６２からの物体ベクトルv2それぞれとを比較する。
【０２９４】
比較判定部６４は、その比較により、背景ベクトルv1、及び、物体ベクトルv2のうちの、順方向メディアンベクトルに類似する方のベクトルを判定する。
【０２９５】
そして、比較判定部６４は、注目フレームの各小ブロックについて、背景ベクトルv1、及び、物体ベクトルv2のうちの、順方向メディアンベクトルに類似する方のベクトルを表す順方向動き判定情報を生成し、図５の画素単位動き推定部１３に供給する。
【０２９６】
メディアンフィルタ６５は、動きベクトル検出部１１（図５）からの中ブロック逆方向ベクトルmvBをフィルタリングすることにより、注目フレームの各小ブロックについて、その小ブロックを含む周辺の小ブロックの中ブロック逆方向ベクトルmvBのメディアン（以下、逆方向メディアンベクトルともいう）を、統計量として求める。
【０２９７】
そして、メディアンフィルタ６５は、注目フレームの各小ブロックについて求められた統計量としての逆方向メディアンベクトルを、比較判定部６６に供給する。
【０２９８】
比較判定部６６は、注目フレームの各小ブロックについて、その小ブロックの逆方向メディアンベクトルと、背景ベクトル選択部５６からの背景ベクトルv1、及び、物体ベクトル算出部６２からの物体ベクトルv2それぞれとを比較する。
【０２９９】
比較判定部６６は、その比較により、背景ベクトルv1、及び、物体ベクトルv2のうちの、逆方向メディアンベクトルに類似する方のベクトルを判定する。
【０３００】
そして、比較判定部６６は、注目フレームの各小ブロックについて、背景ベクトルv1、及び、物体ベクトルv2のうちの、逆方向メディアンベクトルに類似する方のベクトルを表す逆方向動き判定情報を生成し、図５の画素単位動き推定部１３に供給する。
【０３０１】
次に、図１９及び図２０は、図１８の全画面ヒストグラム生成部５１で生成される全画面ヒストグラムの例を示している。
【０３０２】
なお、図１９では、２次元平面の２つの軸のうちの一方の軸を、階級としての大ブロック双方向ベクトルmvL（ずらし量）のx成分を表す軸とするとともに、他方の軸を、大ブロック双方向ベクトルmvLのy成分を表す軸とし、かつ、その２次元平面に直交する軸を、度数を表す軸として、グラフで、全画面ヒストグラムを示してある。
【０３０３】
また、図２０では、度数を数値で表した全画面ヒストグラムを示してある。
【０３０４】
全画面ヒストグラムにおいては、過去側フレームから未来側フレームに亘ってシーンチェンジが生じていない場合、一般に、図１９に示すように、背景動きを表す階級（ベクトル）と、物体動きを表す階級の度数が大になる。
【０３０５】
また、背景と、背景以外の物体とでは、一般に、背景の方が、物体よりも、表示されている領域（の面積）が大であるため、背景動きを表す階級の度数の方が、物体動きを表す階級の度数よりも大となる。
【０３０６】
そこで、背景物体ブロック検出部５３（図１８）は、全画面ヒストグラムにおいて、度数が１位と２位の階級を検出する。
【０３０７】
さらに、背景物体ブロック検出部５３は、全画面ヒストグラムにおいて、１位と２位の階級それぞれを、背景動きの候補の階級のエリアである背景階級エリアとして、背景階級エリアに隣接する階級のうちの、度数が０でない階級を、背景階級エリアに含めることを繰り返すことで、背景階級エリアを拡張する。
【０３０８】
そして、背景物体ブロック検出部５３は、背景階級エリアを拡張することができなくなると、すなわち、１位と２位の階級それぞれに対して、度数が０の階級で囲まれた背景階級エリアが得られると、その背景階級エリアに基づいて、注目フレームの小ブロックから、背景ブロックと物体ブロックとを検出する。
【０３０９】
すなわち、背景物体ブロック検出部５３は、１位と２位の階級に対して得られる背景階級エリアそれぞれについて、背景階級エリアに含まれる階級の動きベクトル（ここでは、大ブロック双方向ベクトルmvL）が検出された小ブロックの中で、注目フレームの画枠に接する小ブロックの数をカウントする。
【０３１０】
そして、背景物体ブロック検出部５３は、１位と２位の階級に対して得られる背景階級エリアのうちの、画枠に接する小ブロックの数が多い方の背景階級エリアに含まれる階級の動きベクトル（大ブロック双方向ベクトルmvL）が検出された小ブロックを、背景ブロックとして検出する。さらに、背景物体ブロック検出部５３は、注目フレームの背景ブロック以外の小ブロック（他の小ブロック）を、物体ブロックとして検出する。
【０３１１】
すなわち、画像において、画枠付近には、背景が移っている可能性が高いことから、背景物体ブロック検出部５３では、１位と２位の階級に対して得られる背景階級エリアのうちの、画枠に接する小ブロックの数が多い方の背景階級エリアに含まれる階級の動きベクトルが検出された小ブロックが、背景ブロックとして検出される。
【０３１２】
なお、図１９及び図２０では、図２０に点線で囲んで示すように、１位と２位の階級に対して、同一の背景階級エリアが得られる。この場合、その同一の背景階級エリアに含まれる階級の動きベクトルが検出された小ブロックが、背景ブロックとして検出され、他の小ブロックが、物体ブロックとして検出される。
【０３１３】
次に、図２１及び図２２は、図１８の射影ヒストグラム生成部５４で生成される水平射影ヒストグラムの例を示しており、図２３及び図２４は、射影ヒストグラム生成部５４で生成される垂直射影ヒストグラムの例を示している。
【０３１４】
なお、図２１では、２次元平面の２つの軸のうちの一方の軸を、階級としての大ブロック双方向ベクトルmvL（ずらし量）のx成分を表す軸とするとともに、他方の軸を、小ブロックのx方向（水平方向）の位置（画素の位置）を表す軸とし、かつ、その２次元平面に直交する軸を、度数を表す軸として、グラフで、水平射影ヒストグラムを示してある。
【０３１５】
また、図２２では、度数を数値で表した水平射影ヒストグラムを示してある。
【０３１６】
図２３及び図２４でも、図２１及び図２２の場合と同様にして、垂直射影ヒストグラムを示してある。
【０３１７】
ここで、図２２の横軸の水平位置は、小ブロックの左上の画素のx座標を表し、図２４の横軸の垂直位置は、小ブロックの左上の画素のy座標を表す。
【０３１８】
小ブロックは、8×8画素のブロックであるため、図２４の横軸の垂直位置は、0,8,16,・・・のように、8画素ごとの値になっている。
【０３１９】
なお、図２２では、横軸の水平位置が、0,16,32,・・・のように、16画素ごとの値になっているが、これは、図２２においては、スケールの関係で、小ブロックの左上の画素のx座標を、１個おきの小ブロックごとに図示してあるためである。
【０３２０】
いま、注目フレームが、横×縦がBx×By個のブロックで構成されることとし、左からi番目で、上からj番目の小ブロック（第j行第i列の小ブロック）を、小ブロック#(i,j)と表すこととする。
【０３２１】
この場合、注目フレームの第i列に注目すると、射影ヒストグラム生成部５４は、注目する第i列（以下、注目列#iともいう）のBy個の小ブロック#(i,1),#(i,2),・・・,#(i,By)のうちの背景ブロックの大ブロック双方向ベクトルmvLのx成分のヒストグラム（以下、第i列のx成分ヒストグラムともいう）を求める。
【０３２２】
射影ヒストグラム生成部５４は、注目フレームの各列を、注目列として、各列のx成分ヒストグラムを求め、注目フレームのすべての列のx成分ヒストグラムを、水平射影ヒストグラムとして、背景ベクトル第２候補算出部５５に供給する。
【０３２３】
同様に、注目フレームの第j行に注目すると、射影ヒストグラム生成部５４は、注目する第j行（以下、注目行#jともいう）のBx個の小ブロック#(1,j),#(2,j),・・・,#(Bx,j)のうちの背景ブロックの大ブロック双方向ベクトルmvLのy成分のヒストグラム（以下、第j行のy成分ヒストグラムともいう）を求める。
【０３２４】
射影ヒストグラム生成部５４は、注目フレームの各行を、注目行として、各行のy成分ヒストグラムを求め、注目フレームのすべての行のy成分ヒストグラムを、垂直射影ヒストグラムとして、背景ベクトル第２候補算出部５５に供給する。
【０３２５】
次に、図２５を参照して、図１８の背景ベクトル第２候補算出部５５が背景ベクトル第２候補を求める処理について説明する。
【０３２６】
上述したように、背景ベクトル第２候補算出部５５は、射影ヒストグラム生成部５４からの水平射影ヒストグラムと垂直射影ヒストグラムとに基づいて、注目フレームの小ブロック単位の列ごとに、背景ベクトル第２候補のx成分を求めるとともに、小ブロック単位の行ごとに、背景ベクトル第２候補のy成分を求める。
【０３２７】
すなわち、水平射影ヒストグラムの第i列のx成分ヒストグラムにおいて、頻度が最大の大ブロック双方向ベクトルmvLのx成分を、vx(i)と表すこととする。さらに、垂直射影ヒストグラムの第j行のy成分ヒストグラムにおいて、頻度が最大の大ブロック双方向ベクトルmvLのy成分を、vy(j)と表すこととする。
【０３２８】
この場合、背景ベクトル第２候補算出部５５は、小ブロック#(i,j)の背景ベクトル第２候補として、ベクトル(vx(i),vy(j))を求め、背景ベクトル選択部５６に供給する。
【０３２９】
［候補ベクトル算出処理の説明］
【０３３０】
図２６ないし図２８を参照して、図１８の候補ベクトル算出部１２が、図７のステップＳ１３で行う処理（候補ベクトル算出処理）を説明する。
【０３３１】
図２６は、候補ベクトル算出処理を説明するフローチャートである。
【０３３２】
図１８の候補ベクトル算出部１２において、動きベクトル検出部１１（図５）からの大ブロック双方向ベクトルmvLは、全画面ヒストグラム生成部５１、射影ヒストグラム生成部５４、周辺ヒストグラム生成部５７に供給される。
【０３３３】
また、動きベクトル検出部１１からの中ブロック双方向ベクトルmvMは、周辺ヒストグラム生成部６０に、中ブロック順方向ベクトルmvFは、メディアンフィルタ６３に、中ブロック逆方向ベクトルmvBは、メディアンフィルタ６５に、それぞれ供給される。
【０３３４】
そして、ステップＳ３１において、全画面ヒストグラム生成部５１は、動きベクトル検出部１１からの、注目フレームを構成する小ブロックすべてについての大ブロック双方向ベクトルmvLのヒストグラムである全画面ヒストグラムを生成する。
【０３３５】
さらに、全画面ヒストグラム生成部５１は、注目フレームの全画面ヒストグラムを、シーンチェンジ判定部５２と、背景物体ブロック検出部５３に供給して、処理は、ステップＳ３１からステップＳ３２に進む。
【０３３６】
ステップＳ３２では、シーンチェンジ判定部５２は、全画面ヒストグラム生成部５１からの注目フレームの全画面ヒストグラムに基づいて、過去側フレームから、未来側フレームにかけて、シーンチェンジが生じているかどうかを判定する。
【０３３７】
ここで、過去側フレームから、未来側フレームにかけて、シーンチェンジが生じている場合、全画面ヒストグラム（図１９）では、四隅の度数（大ブロック双方向ベクトルmvLのx成分の最大値付近の階級、及び、最小値付近の階級、並びに、y成分の最大値付近の階級、及び、最小値付近の階級の度数）が大になる傾向がある。
【０３３８】
そこで、シーンチェンジ判定部５２は、例えば、全画面ヒストグラムの四隅の度数が、所定の第１の閾値以上であり、その他の度数が、第１の閾値よりも小さい第２の閾値以下である場合に、シーンチェンジが生じていると判定し、それ以外の場合、シーンチェンジが生じていないと判定する。
【０３３９】
シーンチェンジ判定部５２は、過去側フレームから、未来側フレームにかけて、シーンチェンジが生じているかどうかを判定すると、その判定結果を表すシーンチェンジ判定信号を、画素単位動き推定部１３（図５）に供給し、処理は、ステップＳ３２からステップＳ３３に進む。
【０３４０】
ステップＳ３３では、背景物体ブロック検出部５３が、全画面ヒストグラム生成部５１からの全画面ヒストグラムに基づいて、注目フレームを構成する小ブロックから、背景ブロックと物体ブロックとを検出する背景物体ブロック検出処理を行う。
【０３４１】
すなわち、背景物体ブロック検出部５３は、全画面ヒストグラムにおいて、度数が１位と２位の階級を検出する。
【０３４２】
さらに、背景物体ブロック検出部５３は、全画面ヒストグラムにおいて、１位と２位の階級それぞれを、背景階級エリアとして、背景階級エリアに隣接する階級のうちの、度数が０でない階級を、背景階級エリアに含めることを繰り返すことで、背景階級エリアを拡張する。
【０３４３】
そして、背景物体ブロック検出部５３は、背景階級エリアの拡張によって、１位と２位の階級それぞれに対して、度数が０の階級で囲まれた背景階級エリアが得られると、１位と２位の階級に対して得られる背景階級エリアそれぞれについて、背景階級エリアに含まれる階級の大ブロック双方向ベクトルmvLが検出された小ブロックの中で、注目フレームの画枠に接する小ブロックの数をカウントする。
【０３４４】
そして、背景物体ブロック検出部５３は、１位と２位の階級に対して得られる背景階級エリアのうちの、画枠に接する小ブロックの数が多い方の背景階級エリアに含まれる階級の大ブロック双方向ベクトルmvLが検出された小ブロックを、背景ブロックとして検出する。さらに、背景物体ブロック検出部５３は、注目フレームの残りのブロック（他の小ブロック）を、物体ブロックとして検出する。
【０３４５】
その後、背景物体ブロック検出部５３は、注目フレームを構成する各小ブロックが、背景ブロック、及び物体ブロックのうちのいずれのブロックであるかを表すブロック情報を、射影ヒストグラム生成部５４と、周辺ヒストグラム生成部５７、及び６０とに供給し、処理は、ステップＳ３３からステップＳ３４に進む。
【０３４６】
ステップＳ３４では、射影ヒストグラム生成部５４は、注目フレームの小ブロックのうちの背景ブロックを、背景物体ブロック検出部５３からのブロック情報に基づいて認識する。
【０３４７】
さらに、ステップＳ３４では、射影ヒストグラム生成部５４は、動きベクトル検出部１１（図５）からの大ブロック双方向ベクトルmvLを用いて、図２１ないし図２４で説明したように、注目フレームの各列のx成分ヒストグラムからなる水平射影ヒストグラムと、注目フレームの各行のy成分ヒストグラムからなる垂直射影ヒストグラムとを生成する。
【０３４８】
そして、射影ヒストグラム生成部５４は、水平射影ヒストグラムと、垂直射影ヒストグラムとを、背景ベクトル第２候補算出部５５に供給し、処理は、ステップＳ３４からステップＳ３５に進む。
【０３４９】
ステップＳ３５では、背景ベクトル第２候補算出部５５は、射影ヒストグラム生成部５４からの水平射影ヒストグラムと垂直射影ヒストグラムとに基づいて、注目フレームの各小ブロック#(i,j)の背景ベクトル第２候補を求める。
【０３５０】
すなわち、背景ベクトル第２候補算出部５５は、水平射影ヒストグラムの第i列のx成分ヒストグラムにおいて、頻度が最大の大ブロック双方向ベクトルmvLのx成分vx(i)と、垂直射影ヒストグラムの第j行のy成分ヒストグラムにおいて、頻度が最大の大ブロック双方向ベクトルmvLのy成分vy(j)とを求める。
【０３５１】
そして、背景ベクトル第２候補算出部５５は、ベクトル(vx(i),vy(j))を、小ブロック#(i,j)の背景ベクトル第２候補として求め、背景ベクトル選択部５６に供給して、処理は、図２７のステップＳ４１に進む。
【０３５２】
すなわち、図２７は、図２６に続くフローチャートである。
【０３５３】
図２７のステップＳ４１では、周辺ヒストグラム生成部５７は、注目フレームの小ブロックのうちの背景ブロックを、背景物体ブロック検出部５３からのブロック情報に基づいて認識する。
【０３５４】
さらに、周辺ヒストグラム生成部５７は、注目フレームの各小ブロックについて、その小ブロックを含む周辺の小ブロックのうちの背景ブロック（周辺背景ブロック）を特定する。
【０３５５】
また、周辺ヒストグラム生成部５７は、注目フレームの各小ブロックについて、動きベクトル検出部１１（図５）からの大ブロック双方向ベクトルmvLのうちの、周辺背景ブロックの大ブロック双方向ベクトルmvLのヒストグラム（大ブロック周辺ヒストグラム）を生成する。
【０３５６】
そして、周辺ヒストグラム生成部５７は、注目フレームの各小ブロックについて生成した大ブロック周辺ヒストグラムを、背景ベクトル候補算出用ベクトル算出部５８に供給し、処理は、ステップＳ４１からステップＳ４２に進む。
【０３５７】
ステップＳ４２では、背景ベクトル候補算出用ベクトル算出部５８は、注目フレームの各小ブロックについて、周辺ヒストグラム生成部５７からの、大ブロック周辺ヒストグラムに基づき、背景ベクトル第１候補の算出に用いる候補算出用ベクトルを求める。
【０３５８】
すなわち、背景ベクトル候補算出用ベクトル算出部５８は、注目フレームの各小ブロックについて、大ブロック周辺ヒストグラムにおいて度数が最大の階級としてのベクトル（大ブロック双方向ベクトルmvL）を、候補算出用ベクトルとして求める。
【０３５９】
そして、背景ベクトル候補算出用ベクトル算出部５８は、注目フレームの各小ブロックについて求めた候補算出用ベクトルを、背景ベクトル第１候補算出部５９に供給し、処理は、ステップＳ４２からステップＳ４３に進む。
【０３６０】
ステップＳ４３では、背景ベクトル第１候補算出部５９は、注目フレームの各小ブロックについて、背景ベクトル候補算出用ベクトル算出部５８からの候補算出用ベクトルを、平均フィルタでフィルタリングすることにより、平均ベクトルを求める。
【０３６１】
そして、背景ベクトル第１候補算出部５９は、注目フレームの各小ブロックについて求めた平均ベクトルを、背景ベクトル第１候補として、背景ベクトル選択部５６に供給し、処理は、ステップＳ４３からステップＳ４４に進む。
【０３６２】
ここで、注目フレームの小ブロックには、上述したように、背景ベクトル第１候補を求めることができる小ブロックと、求めることができない小ブロックとが存在し得る。
【０３６３】
ステップＳ４４では、背景ベクトル選択部５６は、背景ベクトル第１候補を求めることができ、背景ベクトル第１候補算出部５９から、背景ベクトル第１候補が供給される小ブロックについては、その背景ベクトル第１候補を、背景ベクトルv1として選択する。
【０３６４】
また、背景ベクトル選択部５６は、背景ベクトル第１候補を求めることができず、背景ベクトル第１候補算出部５９から、背景ベクトル第１候補が供給されない小ブロックについては、背景ベクトル第２候補算出部５５から供給される背景ベクトル第２候補を、背景ベクトルv1として選択する。
【０３６５】
そして、背景ベクトル選択部５６は、注目フレームの各小ブロックについて背景ベクトルv1を選択すると、その小ブロックごとの背景ベクトルv1を、物体ベクトル算出部６２、比較判定部６４、及び６６に供給するとともに、図５の画素単位動き推定部１３、補間画素動き判定部１４、及び、補間画像生成部１５に供給する。
【０３６６】
その後、処理は、ステップＳ４４からステップＳ４５に進み、周辺ヒストグラム生成部６０は、注目フレームの小ブロックのうちの物体ブロックを、背景物体ブロック検出部５３からのブロック情報に基づいて認識する。
【０３６７】
さらに、周辺ヒストグラム生成部６０は、注目フレームの各小ブロックについて、その小ブロックを含む周辺の小ブロックのうちの物体ブロック（周辺物体ブロック）を特定する。
【０３６８】
また、周辺ヒストグラム生成部６０は、注目フレームの各小ブロックについて、動きベクトル検出部１１（図５）からの中ブロック双方向ベクトルmvMのうちの、周辺物体ブロックの中ブロック双方向ベクトルmvMのヒストグラム（中ブロック周辺ヒストグラム）を生成する。
【０３６９】
そして、周辺ヒストグラム生成部６０は、注目フレームの各小ブロックについて生成した中ブロック周辺ヒストグラムを、物体ベクトル候補算出用ベクトル算出部６１に供給し、処理は、ステップＳ４５からステップＳ４６に進む。
【０３７０】
ステップＳ４６では、物体ベクトル候補算出用ベクトル算出部６１は、注目フレームの各小ブロックについて、周辺ヒストグラム生成部６０からの中ブロック周辺ヒストグラムにおいて度数が最大の階級としてのベクトル（中ブロック双方向ベクトルmvM）を、物体ベクトルv2の候補である候補算出用ベクトルとして求める。
【０３７１】
そして、物体ベクトル候補算出用ベクトル算出部６１は、注目フレームの各小ブロックについて求めた候補算出用ベクトルを、物体ベクトル算出部６２に供給し、処理は、ステップＳ４６からステップＳ４７に進む。
【０３７２】
ステップＳ４７では、物体ベクトル算出部６２は、メディアンフィルタによるフィルタリングにより、注目フレームの各小ブロックについて、その小ブロックを含む周辺の小ブロックの候補算出用ベクトルのメディアンを求める。
【０３７３】
さらに、物体ベクトル算出部６２は、平均フィルタのよるフィルタリングにより、注目フレームの各小ブロックについて、その小ブロックを含む周辺の小ブロックのメディアンの平均値である平均ベクトルを、物体ベクトル候補として求める。
【０３７４】
ここで、上述したように、注目フレームの小ブロックの中には、その周辺に、物体ブロック（周辺物体ブロック）が存在しない小ブロックがあり得るので、周辺ヒストグラム生成部６０において、物体ベクトル候補を求めることができる小ブロックと、求めることができない小ブロックとが存在し得る。
【０３７５】
物体ベクトル算出部６２は、物体ベクトル候補を求めることができる小ブロックについては、その物体ベクトル候補を、そのまま、物体ベクトルv2として採用する。そして、物体ベクトル算出部６２は、物体ベクトルv2を、比較判定部６４、及び６６に供給するとともに、図５の画素単位動き推定部１３、補間画素動き判定部１４、及び、補間画像生成部１５に供給する。
【０３７６】
一方、物体ベクトル算出部６２は、物体ベクトル候補を求めることができない小ブロックについては、背景ベクトル選択部５６から供給される背景ベクトルv1を、物体ベクトルv2として採用する。そして、物体ベクトル算出部６２は、物体ベクトルv2を、比較判定部６４、及び６６に供給するとともに、図５の画素単位動き推定部１３、補間画素動き判定部１４、及び、補間画像生成部１５に供給する。
【０３７７】
その後、処理は、ステップＳ４７から、図２８のステップＳ５１に進む。
【０３７８】
すなわち、図２８は、図２７に続くフローチャートである。
【０３７９】
図２８のステップＳ５１では、メディアンフィルタ６３は、動きベクトル検出部１１（図５）からの中ブロック順方向ベクトルmvFをフィルタリングすることにより、注目フレームの各小ブロックについて、その小ブロックを含む周辺の小ブロックの中ブロック順方向ベクトルmvFのメディアン（順方向メディアンベクトル）を求める。
【０３８０】
そして、メディアンフィルタ６３は、注目フレームの各小ブロックについて求められた順方向メディアンベクトルを、比較判定部６４に供給し、処理は、ステップＳ５１からステップＳ５２に進む。
【０３８１】
ステップＳ５２では、比較判定部６４は、注目フレームの各小ブロックについて、メディアンフィルタ６３からの順方向メディアンベクトルが表す動きが、背景ベクトル選択部５６からの背景ベクトルv1が表す動きと、物体ベクトル算出部６２からの物体ベクトルv2が表す動きとのうちのいずれに類似するか（より近いか）を判定する。
【０３８２】
そして、比較判定部６４は、注目フレームの各小ブロックについて、背景ベクトルv1、及び、物体ベクトルv2のうちの、順方向メディアンベクトルに類似する方のベクトルを表す順方向動き判定情報を生成し、図５の画素単位動き推定部１３に供給する。
【０３８３】
その後、処理は、ステップＳ５２からステップＳ５３に進み、メディアンフィルタ６５は、動きベクトル検出部１１（図５）からの中ブロック逆方向ベクトルmvBをフィルタリングすることにより、注目フレームの各小ブロックについて、その小ブロックを含む周辺の小ブロックの中ブロック逆方向ベクトルmvBのメディアン（逆方向メディアンベクトル）を求める。
【０３８４】
そして、メディアンフィルタ６５は、注目フレームの各小ブロックについて求められた逆方向メディアンベクトルを、比較判定部６６に供給し、処理は、ステップＳ５３からステップＳ５４に進む。
【０３８５】
ステップＳ５４では、比較判定部６６は、注目フレームの各小ブロックについて、メディアンフィルタ６５からの逆方向メディアンベクトルが表す動きが、背景ベクトル選択部５６からの背景ベクトルv1が表す動きと、物体ベクトル算出部６２からの物体ベクトルv2が表す動きとのうちのいずれに類似するかを判定する。
【０３８６】
そして、比較判定部６６は、注目フレームの各小ブロックについて、背景ベクトルv1、及び、物体ベクトルv2のうちの、逆方向メディアンベクトルに類似する方のベクトルを表す逆方向動き判定情報を生成し、図５の画素単位動き推定部１３に供給する。
【０３８７】
その後、処理は終了する（リターンする）。
【０３８８】
［画素単位動き推定部１３の構成例］
【０３８９】
図２９は、図５の画素単位動き推定部１３の構成例を示している。
【０３９０】
画素単位動き推定部１３は、外部からの入力画像の過去側フレーム、及び、未来側フレーム、並びに、候補ベクトル算出部１２からの、注目フレームの小ブロックごとの背景ベクトルv1、物体ベクトルv2、順方向動き判定情報、逆方向動き判定情報、及び、注目フレームのシーンチェンジ判定信号に基づき、過去側フレームから未来側フレームの方向に見た、注目フレームの画素（補間画素）の動きを表す順方向ベクトルと、未来側フレームから過去側フレームの方向に見た、補間画素の動きを表す逆方向ベクトルとを、補間画素ごとに求める。
【０３９１】
すなわち、図２９において、画素単位動き推定部１３は、フレーム回数カウンタ７１、静止相関判定部７２、静止カウンタ７３、順方向背景相関判定部７４、逆方向背景相関判定部７５、背景情報記憶部７６、順方向物体相関判定部８１、逆方向物体相関判定部８２、物体情報記憶部８３、順方向動き推定部９１、及び、逆方向動き推定部９２から構成される。
【０３９２】
なお、図２９では、図が煩雑になるのを避けるため、ブロックどうしを接続する接続線（結線）の一部の図示を省略してある。
【０３９３】
図２９の画素単位動き推定部１３において、外部からの入力画像、及び、候補ベクトル算出部１２（図５）からのシーンチェンジ判定信号は、フレーム回数カウンタ７１、静止相関判定部７２、順方向背景相関判定部７４、逆方向背景相関判定部７５、順方向物体相関判定部８１、及び、逆方向物体相関判定部８２に供給される。
【０３９４】
また、候補ベクトル算出部１２（図５）からの背景ベクトルv1は、順方向背景相関判定部７４、及び、逆方向背景相関判定部７５に供給され、物体ベクトルv2は、順方向物体相関判定部８１、及び、逆方向物体相関判定部８２に供給される。
【０３９５】
さらに、候補ベクトル算出部１２からの順方向動き判定情報は、順方向動き推定部９１に供給され、逆方向動き判定情報は、逆方向動き推定部９２に供給される。
【０３９６】
フレーム回数カウンタ７１は、シーンチェンジからのフレーム数を表す回数カウント値をカウントし、順方向背景相関判定部７４、逆方向背景相関判定部７５、順方向物体相関判定部８１、及び、逆方向物体相関判定部８２に供給する。
【０３９７】
すなわち、フレーム回数カウンタ７１は、例えば、外部からの入力画像のフレームの供給に応じて、回数カウント値をインクリメントする。
【０３９８】
また、フレーム回数カウンタ７１は、候補ベクトル算出部１２からのシーンチェンジ判定信号が、シーンチェンジが生じていることを表している場合、回数カウント値をリセットする（例えば、初期値である０等にする）。
【０３９９】
なお、フレーム回数カウンタ７１は、回数カウント値を記憶する記憶領域として、２つのバンク#1及び#2を有している。
【０４００】
静止相関判定部７２は、注目フレームの補間画素を、例えば、ラスタスキャン順等で、順次、注目画素に選択する。
【０４０１】
さらに、静止相関判定部７２は、外部からの入力画像の過去側フレームと未来側フレームとのうちの、一方のフレームの、注目画素の位置の画素を中心とする、例えば、横×縦が9×9画素等の所定のサイズのブロックを、画像（画素）の相関の有無の判定に用いる相関判定ブロックとする。
【０４０２】
そして、静止相関判定部７２は、過去側フレームと未来側フレームとのうちの、他方のフレームの、注目画素の位置を中心とする、相関判定ブロックよりも、横と縦とのそれぞれが数画素（例えば、4画素等）だけ大きいエリア（相関判定ブロックを、x方向に±２画素だけ大きくし、かつ、y方向に±２画素だけ大きくしたエリア）をサーチエリアとして、相関判定ブロックのブロックマッチングを行う。
【０４０３】
さらに、静止相関判定部７２は、相関判定ブロックのブロックマッチングの結果得られる評価値テーブルの評価値の分布に基づき、注目画素について、静止相関の有無を判定する。
【０４０４】
ここで、静止相関とは、注目画素に写っている被写体が静止している場合に、過去側フレームの注目画素の位置の画素と、未来側フレームの注目画素の位置の画素との間にあるであろう、画素どうしの相関を意味する。
【０４０５】
評価値テーブルの評価値の分布に基づく、画素どうしの相関の判定では、例えば、評価値テーブルにおいて、最小の評価値が得られるずらし量(x,y)を含む、そのずらし量(x,y)の周辺の複数のずらし量それぞれに対する評価値の中の最大値と最小値との差（ダイナミックレンジ）が、所定の閾値以上である場合や、ずらし量(0,0)を含む、そのずらし量(0,0)の周辺の複数のずらし量それぞれに対する評価値の中で、２番目に小さい評価値よりも、ずらし量(0,0)に対する評価値が小さい場合等に、相関があると判定し、それ以外の場合に、相関がないと判定することができる。
【０４０６】
静止相関判定部７２は、注目画素について、静止相関の有無を判定すると、その判定結果に従い、静止カウンタ７３を制御する。
【０４０７】
すなわち、静止相関判定部７２は、注目画素について、静止相関があると判定した場合、静止カウンタ７３に、静止カウント値をインクリメントさせる。また、静止相関判定部７２は、注目画素について、静止相関がないと判定した場合、静止カウンタ７３に、静止カウント値を、例えば、０にリセットさせる。
【０４０８】
静止カウンタ７３は、静止相関判定部７２の制御に従い、注目画素について、０ベクトルに従った動き、及び画像（画素）の相関が連続している回数を表す静止カウント値のカウントを行う。
【０４０９】
そして、静止カウンタ７３の静止カウント値は、順方向動き判定部９１、及び、逆方向動き判定部９２に供給される。
【０４１０】
なお、静止カウンタ７３は、静止カウント値を記憶する記憶領域として、２つのバンク#1及び#2を有している。さらに、静止カウンタ７３のバンク#1は、注目フレームの画素（補間画素）ごとに、静止カウント値を記憶する。すなわち、静止カウンタ７３のバンク#1は、補間フレームの各画素に対応するアドレスに、その画素についての静止カウント値を記憶する。静止カウンタ７３のバンク#2も同様である。
【０４１１】
順方向背景相関判定部７４は、外部からの入力画像の過去側フレームと未来側フレームとのうちの、過去側フレームの、注目画素の位置の画素を中心とする、例えば、横×縦が9×9画素等の所定のサイズのブロックを、相関判定ブロックとする。
【０４１２】
そして、順方向背景相関判定部７４は、未来側フレームの、注目画素の位置から、候補ベクトル算出部１２（図５）からの、注目画素を含む小ブロック（以下、注目ブロックともいう）の背景ベクトルv1だけ順方向に移動した位置を中心とする、相関判定ブロックよりも、横と縦とのそれぞれが数画素（例えば、4画素等）だけ大きいエリアをサーチエリアとして、相関判定ブロックのブロックマッチングを行う。
【０４１３】
さらに、順方向背景相関判定部７４は、相関判定ブロックのブロックマッチングの結果得られる評価値テーブルの評価値の分布に基づき、注目画素について、背景順方向動き相関の有無を判定する。
【０４１４】
ここで、背景順方向動き相関とは、注目画素に写っている被写体が、過去側フレームから、未来側フレームにわたって、背景ベクトルv1だけ移動している場合に、過去側フレームの注目画素の位置の画素と、未来側フレームの注目画素の位置から背景ベクトルv1だけ、順方向に移動した位置の画素との間にあるであろう、画素どうしの相関を意味する。
【０４１５】
順方向背景相関判定部７４は、注目画素について、背景順方向動き相関の有無を判定すると、その判定結果に従い、背景情報記憶部７６の背景カウンタ７８を制御する。
【０４１６】
すなわち、順方向背景相関判定部７４は、注目画素について、背景順方向動き相関があると判定した場合、背景カウンタ７８に、背景カウント値をインクリメントさせる。また、順方向背景相関判定部７４は、注目画素について、背景順方向動き相関がないと判定した場合、背景カウンタ７８に、背景カウント値を、例えば、０にリセットさせる。
【０４１７】
ここで、候補ベクトル算出部１２（図５）から順方向背景相関判定部７４に供給される小ブロックごとの背景ベクトルv1のうちの、注目画素を含む小ブロック（注目ブロック）の背景ベクトルv1を、以下、注目画素の背景ベクトルv1ともいう。
【０４１８】
順方向背景相関判定部７４は、上述したように、背景情報記憶部７６の背景カウンタ７８を制御する他、背景情報記憶部７６の背景ベクトルメモリ７７も制御し、候補ベクトル算出部１２（図５）からの注目画素の背景ベクトルv1を、背景ベクトルメモリ７７に記憶させる。
【０４１９】
逆方向背景相関判定部７５は、外部からの入力画像の過去側フレームと未来側フレームとのうちの、未来側フレームの、注目画素の位置の画素を中心とする、例えば、横×縦が9×9画素等の所定のサイズのブロックを、相関判定ブロックとする。
【０４２０】
そして、逆方向背景相関判定部７５は、過去側フレームの、注目画素の位置から、候補ベクトル算出部１２（図５）からの、注目画素の背景ベクトルv1だけ逆方向に移動した位置を中心とする、相関判定ブロックよりも、横と縦とのそれぞれが数画素（例えば、4画素等）だけ大きいエリアをサーチエリアとして、相関判定ブロックのブロックマッチングを行う。
【０４２１】
さらに、逆方向背景相関判定部７５は、相関判定ブロックのブロックマッチングの結果得られる評価値テーブルの評価値の分布に基づき、注目画素について、背景逆方向動き相関の有無を判定する。
【０４２２】
ここで、背景逆方向動き相関とは、注目画素に写っている被写体が、過去側フレームから、未来側フレームにわたって、背景ベクトルv1だけ移動している場合に、未来側フレームの注目画素の位置の画素と、過去側フレームの注目画素の位置から背景ベクトルv1だけ、逆方向に移動した位置（注目画素の位置から、背景ベクトルv1だけ戻った位置）の画素との間にあるであろう、画素どうしの相関を意味する。
【０４２３】
逆方向背景相関判定部７５は、注目画素について、背景逆方向動き相関の有無を判定すると、その判定結果に従い、背景情報記憶部７６の背景カウンタ７８を制御する。
【０４２４】
すなわち、逆方向背景相関判定部７５は、注目画素について、背景逆方向動き相関があると判定した場合、背景カウンタ７８に、背景カウント値をインクリメントさせる。また、逆方向背景相関判定部７５は、注目画素について、背景逆方向動き相関がないと判定した場合、背景カウンタ７８に、背景カウント値を、例えば、０にリセットさせる。
【０４２５】
逆方向背景相関判定部７５は、上述したように、背景情報記憶部７６の背景カウンタ７８を制御する他、背景情報記憶部７６の背景ベクトルメモリ７７も制御し、候補ベクトル算出部１２（図５）からの注目画素の背景ベクトルv1を、背景ベクトルメモリ７７に記憶させる。
【０４２６】
また、逆方向背景相関判定部７５は、必要に応じて、フレーム回数カウンタ７１からの回数カウント値を、背景カウンタ７８に、背景カウンタ値として記憶させる。
【０４２７】
背景情報記憶部７６は、背景ベクトルメモリ７７と背景カウンタ７８から構成される。
【０４２８】
背景ベクトルメモリ７７は、順方向背景相関判定部７４や逆方向背景相関判定部７５の制御に従い、注目画素の背景ベクトルv1を記憶する。
【０４２９】
なお、背景ベクトルメモリ７７は、背景ベクトルv1を記憶する記憶領域として、２つのバンク#1及び#2を有している。さらに、背景ベクトルメモリ７７のバンク#1は、注目フレームの画素（補間画素）ごとに、背景ベクトルv1を記憶する。すなわち、背景ベクトルメモリ７７のバンク#1は、補間フレームの各画素に対応するアドレスに、その画素の背景ベクトルv1を記憶する。背景ベクトルメモリ７７のバンク#2も同様である。
【０４３０】
背景カウンタ７８は、順方向背景相関判定部７４や逆方向背景相関判定部７５の制御に従い、注目画素について、背景ベクトルv1に従った動き、及び画像の相関が連続している回数を表す背景カウント値のカウントを行う。
【０４３１】
背景カウンタ７８の背景カウント値は、順方向動き判定部９１、及び、逆方向動き判定部９２に供給される。
【０４３２】
なお、背景カウンタ７８は、背景カウント値を記憶する記憶領域として、２つのバンク#1及び#2を有している。さらに、背景カウンタ７８のバンク#1は、注目フレームの画素（補間画素）ごとに、背景カウント値を記憶する。すなわち、背景カウンタ７８のバンク#1は、補間フレームの各画素に対応するアドレスに、その画素についての背景カウント値を記憶する。背景カウンタ７８のバンク#2も同様である。
【０４３３】
順方向物体相関判定部８１は、外部からの入力画像の過去側フレームと未来側フレームとのうちの、過去側フレームの、注目画素の位置の画素を中心とする、例えば、横×縦が9×9画素等の所定のサイズのブロックを、相関判定ブロックとする。
【０４３４】
そして、順方向物体相関判定部８１は、未来側フレームの、注目画素の位置から、候補ベクトル算出部１２（図５）からの、注目画素の物体ベクトルv2（注目ブロックの物体ベクトルv2）だけ順方向に移動した位置を中心とする、相関判定ブロックよりも、横と縦とのそれぞれが数画素（例えば、4画素等）だけ大きいエリアをサーチエリアとして、相関判定ブロックのブロックマッチングを行う。
【０４３５】
さらに、順方向物体相関判定部８１は、相関判定ブロックのブロックマッチングの結果得られる評価値テーブルの評価値の分布に基づき、注目画素について、物体順方向動き相関の有無を判定する。
【０４３６】
ここで、物体順方向動き相関とは、注目画素に写っている被写体が、過去側フレームから、未来側フレームにわたって、物体ベクトルv2だけ移動している場合に、過去側フレームの注目画素の位置の画素と、未来側フレームの注目画素の位置から物体ベクトルv2だけ、順方向に移動した位置の画素との間にあるであろう、画素どうしの相関を意味する。
【０４３７】
順方向物体相関判定部８１は、注目画素について、物体順方向動き相関の有無を判定すると、その判定結果に従い、物体情報記憶部８３の物体カウンタ８５を制御する。
【０４３８】
すなわち、順方向物体相関判定部８１は、注目画素について、物体順方向動き相関があると判定した場合、物体カウンタ８５に、物体カウント値をインクリメントさせる。また、順方向物体相関判定部８１は、注目画素について、物体順方向動き相関がないと判定した場合、物体カウンタ８５に、物体カウント値を、例えば、０にリセットさせる。
【０４３９】
順方向物体相関判定部８１は、上述したように、物体情報記憶部８３の物体カウンタ８５を制御する他、物体情報記憶部８３の物体ベクトルメモリ８４も制御し、候補ベクトル算出部１２（図５）からの注目画素の物体ベクトルv2を、物体ベクトルメモリ８４に記憶させる。
【０４４０】
その他、順方向物体相関判定部８１は、物体情報記憶部８３の物体回数カウンタ８６を制御する。
【０４４１】
逆方向物体相関判定部８２は、外部からの入力画像の過去側フレームと未来側フレームとのうちの、未来側フレームの、注目画素の位置の画素を中心とする、例えば、横×縦が9×9画素等の所定のサイズのブロックを、相関判定ブロックとする。
【０４４２】
そして、逆方向物体相関判定部８２は、過去側フレームの、注目画素の位置から、候補ベクトル算出部１２（図５）からの、注目画素の物体ベクトルv2だけ逆方向に移動した位置を中心とする、相関判定ブロックよりも、横と縦とのそれぞれが数画素（例えば、4画素等）だけ大きいエリアをサーチエリアとして、相関判定ブロックのブロックマッチングを行う。
【０４４３】
さらに、逆方向物体相関判定部８２は、相関判定ブロックのブロックマッチングの結果得られる評価値テーブルの評価値の分布に基づき、注目画素について、物体逆方向動き相関の有無を判定する。
【０４４４】
ここで、物体逆方向動き相関とは、注目画素に写っている被写体が、過去側フレームから、未来側フレームにわたって、物体ベクトルv2だけ移動している場合に、未来側フレームの注目画素の位置の画素と、過去側フレームの注目画素の位置から物体ベクトルv2だけ、逆方向に移動した位置（注目画素の位置から物体ベクトルv2だけ戻った位置）の画素との間にあるであろう、画素どうしの相関を意味する。
【０４４５】
逆方向物体相関判定部８２は、注目画素について、物体逆方向動き相関の有無を判定すると、その判定結果に従い、物体情報記憶部８３の物体カウンタ８５を制御する。
【０４４６】
すなわち、逆方向物体相関判定部８２は、注目画素について、物体逆方向動き相関があると判定した場合、物体カウンタ８５に、物体カウント値をインクリメントさせる。また、逆方向物体相関判定部８２は、注目画素について、物体逆方向動き相関がないと判定した場合、物体カウンタ８５に、物体カウント値を、例えば、０にリセットさせる。
【０４４７】
逆方向物体相関判定部８２は、上述したように、物体情報記憶部８３の物体カウンタ８５を制御する他、物体情報記憶部８３の物体ベクトルメモリ８４も制御し、候補ベクトル算出部１２（図５）からの注目画素の物体ベクトルv2を、物体ベクトルメモリ８４に記憶させる。
【０４４８】
また、逆方向物体相関判定部８２は、必要に応じて、フレーム回数カウンタ７１からの回数カウント値を、物体カウンタ８５に、物体カウンタ値として記憶させる。
【０４４９】
その他、逆方向物体相関判定部８２は、物体情報記憶部８３の物体回数カウンタ８６を制御する。
【０４５０】
物体情報記憶部８３は、物体ベクトルメモリ８４、物体カウンタ８５、及び、物体回数カウンタ８６から構成される。
【０４５１】
物体ベクトルメモリ８４は、順方向物体相関判定部８１や逆方向物体相関判定部８２の制御に従い、注目画素の物体ベクトルv2を記憶する。
【０４５２】
なお、物体ベクトルメモリ８４は、物体ベクトルv2を記憶する記憶領域として、２つのバンク#1及び#2を有している。さらに、物体ベクトルメモリ８４のバンク#1は、注目フレームの画素（補間画素）ごとに、物体ベクトルv2を記憶する。すなわち、物体ベクトルメモリ８４のバンク#1は、補間フレームの各画素に対応するアドレスに、その画素の物体ベクトルv2を記憶する。物体ベクトルメモリ８４のバンク#2も同様である。
【０４５３】
物体カウンタ８５は、順方向物体相関判定部８１や逆方向物体相関判定部８２の制御に従い、注目画素について、物体ベクトルv2に従った動き、及び画像の相関が連続している回数を表す物体カウント値のカウントを行う。
【０４５４】
物体カウンタ８５の物体カウント値は、順方向動き判定部９１、及び、逆方向動き判定部９２に供給される。
【０４５５】
なお、物体カウンタ８５は、物体カウント値を記憶する記憶領域として、２つのバンク#1及び#2を有している。さらに、物体カウンタ８５のバンク#1は、注目フレームの画素（補間画素）ごとに、物体カウント値を記憶する。すなわち、物体カウンタ８５のバンク#1は、補間フレームの各画素に対応するアドレスに、その画素についての物体カウント値を記憶する。物体カウンタ８５のバンク#2も同様である。
【０４５６】
物体回数カウンタ８６は、順方向物体相関判定部８１や逆方向物体相関判定部８２の制御に従い、注目画素について、物体ベクトルv2に従った動きが連続している回数を表す物体回数カウント値のカウントを行う。
【０４５７】
なお、物体回数カウンタ８６は、物体回数カウント値を記憶する記憶領域として、２つのバンク#1及び#2を有している。さらに、物体回数カウンタ８６のバンク#1は、注目フレームの画素（補間画素）ごとに、物体回数カウント値を記憶する。すなわち、物体回数カウンタ８６のバンク#1は、補間フレームの各画素に対応するアドレスに、その画素についての物体回数カウント値を記憶する。物体回数カウンタ８６のバンク#2も同様である。
【０４５８】
順方向動き推定部９１は、静止カウンタ７３の静止カウント値、背景カウンタ７８の背景カウント値、及び、物体カウンタ８５の物体カウント値の大小関係、さらには、候補ベクトル算出部１２（図５）からの必要な順方向動き判定情報等に基づき、注目画素の背景ベクトルv1、物体ベクトルv2、又は、０ベクトルを、注目画素の順方向ベクトルとして求める。
【０４５９】
逆方向動き推定部９２は、静止カウンタ７３の静止カウント値、背景カウンタ７８の背景カウント値、及び、物体カウンタ８５の物体カウント値の大小関係、さらには、候補ベクトル算出部１２からの必要な逆方向動き判定情報等に基づき、注目画素の背景ベクトルv1、物体ベクトルv2、又は、０ベクトルを、注目画素の逆方向ベクトルとして求める。
【０４６０】
なお、画素単位動き推定部１３において、フレーム回数カウンタ７１のバンク#1と#2には、値が、交互に書き込まれる（記憶される）。静止カウンタ７３、背景ベクトルメモリ７７、背景カウンタ７８、物体ベクトルメモリ８４、物体カウンタ８５、及び、物体回数カウンタ８６のバンク#1と#2についても、同様である。
【０４６１】
次に、図３０を参照して、図２９の順方向背景相関判定部７４、逆方向背景相関判定部７５、順方向物体相関判定部８１、及び、逆方向物体相関判定部８２において、画素どうしの相関の有無の判定に用いる評価値テーブルを生成するブロックマッチングについて説明する。
【０４６２】
順方向背景相関判定部７４は、図３０Ａに示すように、過去側フレーム（第n-1フレーム）の、注目画素の位置の画素を中心とする所定のサイズのブロックを、相関判定ブロックとする。さらに、順方向背景相関判定部７４は、未来側フレーム（第nフレーム）の、注目画素の位置から、注目画素の背景ベクトルv1だけ順方向に移動した位置を中心とする、相関判定ブロックよりも、横と縦とのそれぞれが数画素だけ大きいエリアをサーチエリアとして、相関判定ブロックのブロックマッチングを行う。
【０４６３】
逆方向背景相関判定部７５は、図３０Ｂに示すように、未来側フレーム（第nフレーム）の、注目画素の位置の画素を中心とする所定のサイズのブロックを、相関判定ブロックとする。さらに、逆方向背景相関判定部７５は、過去側フレーム（第n-1フレーム）の、注目画素の位置から、注目画素の背景ベクトルv1だけ逆方向に移動した位置（ベクトル-v1だけ移動した位置）を中心とする、相関判定ブロックよりも、横と縦とのそれぞれが数画素だけ大きいエリアをサーチエリアとして、相関判定ブロックのブロックマッチングを行う。
【０４６４】
順方向物体相関判定部８１は、図３０Ａに示すように、過去側フレーム（第n-1フレーム）の、注目画素の位置の画素を中心とする所定のサイズのブロックを、相関判定ブロックとする。さらに、順方向物体相関判定部８１は、未来側フレーム（第nフレーム）の、注目画素の位置から、注目画素の物体ベクトルv2だけ順方向に移動した位置を中心とする、相関判定ブロックよりも、横と縦とのそれぞれが数画素だけ大きいエリアをサーチエリアとして、相関判定ブロックのブロックマッチングを行う。
【０４６５】
逆方向物体相関判定部８２は、図３０Ｂに示すように、未来側フレーム（第nフレーム）の、注目画素の位置の画素を中心とする所定のサイズのブロックを、相関判定ブロックとする。さらに、逆方向物体相関判定部８２は、過去側フレームの、注目画素の位置から、注目画素の物体ベクトルv2だけ逆方向に移動した位置（ベクトル-v2だけ移動した位置）を中心とする、相関判定ブロックよりも、横と縦とのそれぞれが数画素だけ大きいエリアをサーチエリアとして、相関判定ブロックのブロックマッチングを行う。
【０４６６】
［画素単位動き推定処理の説明］
【０４６７】
図３１ないし図３８をを参照して、図２９の画素単位動き推定部１３が、図７のステップＳ１４で行う処理（画素単位動き推定処理）を説明する。
【０４６８】
図３１は、画素単位動き推定処理を説明するフローチャートである。
【０４６９】
ステップＳ６１において、画素単位動き推定部１３は、候補ベクトル算出部１２（図５）からの注目フレームのシーンチェンジ判定信号、並びに、注目フレームの小ブロックごとの背景ベクトルv1、物体ベクトルv2、順方向動き判定情報、及び、逆方向動き判定情報を受信する。
【０４７０】
さらに、ステップＳ６１では、画素単位動き推定部１３は、外部からの入力画像の過去側フレーム、及び、未来側フレームを受信する。
【０４７１】
そして、画素単位動き推定部１３では、外部からの入力画像の過去側フレーム、及び、未来側フレーム、並びに、候補ベクトル算出部１２（図５）からのシーンチェンジ判定信号が、フレーム回数カウンタ７１、静止相関判定部７２、順方向背景相関判定部７４、逆方向背景相関判定部７５、順方向物体相関判定部８１、及び、逆方向物体相関判定部８２に供給される。
【０４７２】
さらに、候補ベクトル算出部１２からの背景ベクトルv1が、順方向背景相関判定部７４、及び、逆方向背景相関判定部７５に供給され、物体ベクトルv2が、順方向物体相関判定部８１、及び、逆方向物体相関判定部８２に供給される。
【０４７３】
また、候補ベクトル算出部１２からの順方向動き判定情報が、順方向動き推定部９１に供給され、逆方向動き判定情報が、逆方向動き推定部９２に供給される。
【０４７４】
そして、処理は、ステップＳ６１からステップＳ６２に進み、フレーム回数カウンタ７１、及び、順方向背景相関判定部７４は、候補ベクトル算出部１２（図５）からのシーンチェンジ判定信号に基づき、過去側フレームから未来側フレームの間に、シーンチェンジが生じているかどうかを判定する。
【０４７５】
ステップＳ６２において、シーンチェンジが生じていないと判定された場合、処理は、ステップＳ６３に進み、フレーム回数カウンタ７１は、そのバンク#2に記憶された回数カウント値を読み出す。さらに、フレーム回数カウンタ７１は、バンク#2から読み出した回数カウント値を１だけインクリメントし、バンク#1に書き込んで（記憶させ）、処理は、ステップＳ６３からステップＳ６５に進む。
【０４７６】
また、ステップＳ６２において、シーンチェンジが生じていると判定された場合、処理は、ステップＳ６４に進み、フレーム回数カウンタ７１は、そのバンク#1及び#2に記憶された回数カウント値を０にリセットする。
【０４７７】
さらに、ステップＳ６４では、順方向背景相関判定部７４が、背景カウンタ７８のバンク#1及び#2のすべてのアドレスの背景カウント値を０にリセットし、処理は、ステップＳ６５に進む。
【０４７８】
ステップＳ６５では、静止相関判定部７２は、注目フレームの画素（補間画素）のうちの、注目画素としていない画素の１つを、注目画素に選択し、処理は、ステップＳ６６に進む。
【０４７９】
ステップＳ６６では、静止相関判定部７２は、外部からの入力画像の過去側フレームと未来側フレームとのうちの、過去側フレームの、注目画素の位置の画素を中心とする所定のサイズのブロックを、相関の有無の判定に用いる相関判定ブロックとする。
【０４８０】
さらに、静止相関判定部７２は、過去側フレームと未来側フレームとのうちの、未来側フレームの、注目画素の位置を中心とする、相関判定ブロックよりも、横と縦とのそれぞれが数画素だけ大きいエリアをサーチエリアとして、相関判定ブロックのブロックマッチングを行う。このブロックマッチングによって、評価値テーブルが求められる。
【０４８１】
その後、処理は、ステップＳ６６からステップＳ６７に進み、静止相関判定部７２は、相関判定ブロックのブロックマッチングの結果得られる評価値テーブルの評価値の分布に基づき、注目画素について、静止相関の有無を判定する。
【０４８２】
ステップＳ６７において、注目画素について、静止相関があると判定された場合、処理は、ステップＳ６８に進み、静止相関判定部７２は、静止カウンタ７３の、注目画素の位置に対応するアドレスの静止カウント値をインクリメントする。
【０４８３】
すなわち、静止相関判定部７２は、静止カウンタ７３のバンク#2の、注目画素の位置に対応するアドレスの静止カウント値を読み出してインクリメントし、そのインクリメント後の静止カウント値を、静止カウンタ７３のバンク#1の、注目画素の位置に対応するアドレスに書き込む。
【０４８４】
また、ステップＳ６７において、注目画素について、静止相関がないと判定された場合、処理は、ステップＳ６９に進み、静止相関判定部７２は、静止カウンタ７３のバンク#1の、注目画素の位置に対応するアドレスの静止カウント値を、０にリセットする。
【０４８５】
以上のように、未来側フレームの、注目画素の位置の画素と、過去側フレームの、注目画素の位置の画素との間に相関（静止相関）がある場合、静止相関判定部７２は、静止カウンタ７３の、注目画素の位置に対応するアドレスの静止カウント値をインクリメントする。一方、静止相関がない場合、静止相関判定部７２は、注目画素の位置に対応するアドレスの静止カウント値をリセットする。
【０４８６】
ステップＳ６８、又はＳ６９の後は、処理は、図３２のステップＳ８１に進む。
【０４８７】
すなわち、図３２は、図３１に続くフローチャートである。
【０４８８】
図３２のステップＳ８１では、順方向背景相関判定部７４が、外部からの入力画像の過去側フレームと未来側フレームとのうちの、過去側フレームの、注目画素の位置の画素を中心とする所定のサイズのブロックを、相関判定ブロックとする。
【０４８９】
さらに、順方向背景相関判定部７４は、未来側フレームの、注目画素の位置から、候補ベクトル算出部１２（図５）からの、注目画素（を含む注目ブロック）の背景ベクトルv1だけ順方向に移動した位置を中心とする、相関判定ブロックよりも、横と縦とのそれぞれが数画素だけ大きいエリアをサーチエリアとして、相関判定ブロックのブロックマッチングを行う。このブロックマッチングにより、評価値テーブルが求められる。
【０４９０】
その後、処理は、ステップＳ８１からステップＳ８２に進み、順方向背景相関判定部７４は、相関判定ブロックのブロックマッチングの結果得られる評価値テーブルの評価値の分布に基づき、注目画素について、背景順方向動き相関の有無を判定する。
【０４９１】
ステップＳ８２において、注目画素について、背景順方向動き相関があると判定された場合、処理は、ステップＳ８３に進み、順方向背景相関判定部７４は、背景カウンタ７８の、注目画素の位置に対応するアドレスの背景カウント値をインクリメントする。
【０４９２】
すなわち、順方向背景相関判定部７４は、背景カウンタ７８のバンク#2の、注目画素の位置に対応するアドレスの背景カウント値を読み出してインクリメントし、そのインクリメント後の背景カウント値を、背景カウンタ７８のバンク#1の、注目画素の位置に対応するアドレスに書き込む。
【０４９３】
また、ステップＳ８２において、注目画素について、背景順方向動き相関がないと判定された場合、処理は、ステップＳ８４に進み、順方向背景相関判定部７４は、背景カウンタ７８のバンク#1の、注目画素の位置に対応するアドレスの背景カウント値を、０にリセットする。
【０４９４】
以上のように、過去側フレームの、注目画素の位置の画素と、未来側フレームの、注目画素の位置から背景ベクトルv1に従って移動した位置の画素との間に相関（背景順方向動き相関）がある場合、順方向背景相関判定部７４は、背景カウンタ７８の注目画素の位置に対応するアドレスの背景カウント値をインクリメントする。一方、背景順方向動き相関がない場合、順方向背景相関判定部７４は、注目画素の位置に対応するアドレスの背景カウント値をリセットする。
【０４９５】
ステップＳ８３、又はＳ８４の後は、処理は、ステップＳ８５に進み、順方向背景相関判定部７４は、背景ベクトルメモリ７７のバンク#1及び#2のうちの、いま注目フレームとなっている補間フレームの１フレーム前の補間フレームが注目フレームであったときに背景ベクトルの書き込みが行われなかった方の、例えば、バンク#1の注目画素の位置に対応するアドレスに、候補ベクトル算出部１２（図５）からの注目画素の背景ベクトルv1を書き込む（記憶させる）。
【０４９６】
そして、処理は、ステップＳ８５から、図３３のステップＳ９１に進む。
【０４９７】
すなわち、図３３は、図３２に続くフローチャートである。
【０４９８】
図３３のステップＳ９１では、順方向物体相関判定部８１が、外部からの入力画像の過去側フレームと未来側フレームとのうちの、過去側フレームの、注目画素の位置の画素を中心とする所定のサイズのブロックを、相関判定ブロックとする。
【０４９９】
さらに、順方向物体相関判定部８１は、未来側フレームの、注目画素の位置から、候補ベクトル算出部１２（図５）からの、注目画素の物体ベクトルv2だけ順方向に移動した位置を中心とする、相関判定ブロックよりも、横と縦とのそれぞれが数画素だけ大きいエリアをサーチエリアとして、相関判定ブロックのブロックマッチングを行う。このブロックマッチングにより、評価値テーブルが求められる。
【０５００】
その後、処理は、ステップＳ９１からステップＳ９２に進み、順方向物体相関判定部８１は、相関判定ブロックのブロックマッチングの結果得られる評価値テーブルの評価値の分布に基づき、注目画素について、物体順方向動き相関の有無を判定する。
【０５０１】
ステップＳ９２において、注目画素について、物体順方向動き相関があると判定された場合、処理は、ステップＳ９３に進み、順方向物体相関判定部８１は、物体カウンタ８５の、注目画素の位置に対応するアドレスの物体カウント値をインクリメントする。
【０５０２】
すなわち、順方向物体相関判定部８１は、物体カウンタ８５のバンク#2の、注目画素の位置に対応するアドレスの物体カウント値を読み出してインクリメントし、そのインクリメント後の物体カウント値を、物体カウンタ８５のバンク#1の、注目画素の位置に対応するアドレスに書き込む。
【０５０３】
さらに、ステップＳ９３では、順方向物体相関判定部８１は、物体回数カウンタ８６の、注目画素の位置に対応するアドレスの物体カウント値をインクリメントする。
【０５０４】
すなわち、順方向物体相関判定部８１は、物体回数カウンタ８６のバンク#2の、注目画素の位置に対応するアドレスの物体回数カウント値を読み出してインクリメントし、そのインクリメント後の物体回数カウント値を、物体回数カウンタ８６のバンク#1の、注目画素の位置に対応するアドレスに書き込む。
【０５０５】
一方、ステップＳ９２において、注目画素について、物体順方向動き相関がないと判定された場合、処理は、ステップＳ９４に進み、順方向物体相関判定部８１は、物体カウンタ８５のバンク#1の、注目画素の位置に対応するアドレスの物体カウント値を、０にリセットする。
【０５０６】
さらに、ステップＳ９４では、順方向物体相関判定部８１は、物体回数カウンタ８６のバンク#2の、注目画素の位置に対応するアドレスの物体回数カウント値を読み出してインクリメントし、そのインクリメント後の物体回数カウント値を、物体回数カウンタ８６のバンク#1の、注目画素の位置に対応するアドレスに書き込む。
【０５０７】
以上のように、過去側フレームの、注目画素の位置の画素と、未来側フレームの、注目画素の位置から物体ベクトルv2に従って移動した位置の画素との間に相関（物体順方向動き相関）がある場合、順方向物体相関判定部８１は、物体カウンタ８５の注目画素の位置に対応するアドレスの物体カウント値をインクリメントする。一方、物体順方向動き相関がない場合、順方向物体相関判定部８１は、注目画素の位置に対応するアドレスの物体カウント値をリセットする。なお、物体回数カウント値は、物体順方向動き相関の有無に関係なく、インクリメントされる。
【０５０８】
ステップＳ９３、又はＳ９４の後は、処理は、ステップＳ９５に進み、順方向物体相関判定部８１は、物体ベクトルメモリ８４のバンク#1及び#2のうちの、いま注目フレームとなっている補間フレームの１フレーム前の補間フレームが注目フレームであったときに物体ベクトルの書き込みが行われなかった方の、例えば、バンク#1の注目画素の位置に対応するアドレスに、候補ベクトル算出部１２（図５）からの注目画素の物体ベクトルv2を書き込む（記憶させる）。
【０５０９】
そして、処理は、ステップＳ９５から、図３４のステップＳ１０１に進む。
【０５１０】
すなわち、図３４は、図３３に続くフローチャートである。
【０５１１】
図３４のステップＳ１０１では、順方向動き推定部９１が、静止カウンタ７３のバンク#1の、注目画素の位置に対応するアドレスの静止カウント値（以下、注目画素の静止カウント値ともいう）、背景カウンタ７８のバンク#1の、注目画素の位置に対応するアドレスの背景カウント値（以下、注目画素の背景カウント値ともいう）、及び、物体カウンタ８５のバンク#1の、注目画素の位置に対応するアドレスの物体カウント値（以下、注目画素の物体カウント値ともいう）の大小関係を判定する。
【０５１２】
すなわち、ステップＳ１０１では、注目画素の静止カウント値、背景カウント値、及び、物体カウント値の中で、最大のカウント値が判定される。
【０５１３】
ステップＳ１０１において、注目画素の静止カウント値、背景カウント値、及び、物体カウント値の中の最大のカウント値が、静止カウント値のみであると判定された場合、処理は、ステップＳ１０２に進み、順方向動き推定部９１は、０ベクトルを、注目画素の順方向ベクトルに決定する。
【０５１４】
そして、順方向動き推定部９１は、注目画素の順方向ベクトルを、補間画素動き判定部１４（図５）に供給して、処理は、ステップＳ１０２からステップＳ１１０に進む。
【０５１５】
また、ステップＳ１０１において、注目画素の静止カウント値、背景カウント値、及び、物体カウント値の中の最大のカウント値が、静止カウント値のみではないと判定された場合、すなわち、静止カウント値、背景カウント値、及び、物体カウント値が、すべて同一の値であるか、背景カウント値と物体カウント値とが、静止カウント値よりも大きい同一の値になっているか、又は、背景カウント値だけ、若しくは、物体カウント値だけが、他の値よりも大きい値になっている場合、処理は、ステップＳ１０３に進み、順方向動き推定部９１は、背景カウント値と物体カウント値との大小関係を判定する。
【０５１６】
ステップＳ１０３において、背景カウント値と物体カウント値とが同一であると判定された場合、すなわち、背景カウント値、物体カウント値、及び、静止カウント値が、同一の値になっているか、又は、背景カウント値と物体カウント値とが、静止カウント値よりも大きい同一の値になっている場合、処理は、ステップＳ１０４に進み、順方向動き推定部９１は、背景ベクトルメモリ７７のバンク#1に記憶された注目画素の背景ベクトルv1（注目画素の位置に対応するアドレスの背景ベクトルv1）と、物体ベクトルメモリ８４のバンク#1に記憶された注目画素の物体ベクトルv2（注目画素の位置に対応するアドレスの物体ベクトルv2）とのうちの、候補ベクトル算出部１２からの注目画素を含む小ブロック（注目ブロック）の順方向動き判定情報が表すベクトルを、注目画素の順方向ベクトルに決定する。
【０５１７】
そして、順方向動き推定部９１は、注目画素の順方向ベクトルを、補間画素動き判定部１４（図５）に供給して、処理は、ステップＳ１０４からステップＳ１１０に進む。
【０５１８】
また、ステップＳ１０３において、背景カウント値が、物体カウント値よりも大きいと判定された場合、すなわち、注目画素の静止カウント値、背景カウント値、及び、物体カウント値の中の最大のカウント値が、背景カウント値のみであるか、又は、背景カウント値と静止カウント値である場合、処理は、ステップＳ１０５に進み、順方向動き推定部９１は、背景カウンタ７８のバンク#1の注目画素の背景カウント値が、フレーム回数カウンタ７１のバンク#1の回数カウント値よりも小さいかどうかを判定する。
【０５１９】
ステップＳ１０５において、背景カウンタ７８のバンク#1の注目画素の背景カウント値が、フレーム回数カウンタ７１のバンク#1の回数カウント値よりも小さくないと判定された場合、処理は、ステップＳ１０６に進み、順方向動き推定部９１は、背景ベクトルメモリ７７のバンク#1に記憶された注目画素の背景ベクトルv1を、注目画素の順方向ベクトルに決定する。
【０５２０】
そして、順方向動き推定部９１は、注目画素の順方向ベクトルを、補間画素動き判定部１４（図５）に供給して、処理は、ステップＳ１０６からステップＳ１１０に進む。
【０５２１】
また、ステップＳ１０５において、背景カウンタ７８のバンク#1の注目画素の背景カウント値が、フレーム回数カウンタ７１のバンク#1の回数カウント値よりも小さいと判定された場合、処理は、ステップＳ１０７に進み、順方向動き推定部９１は、評価値テーブルに基づき、背景ベクトルメモリ７７のバンク#1に記憶された注目画素の背景ベクトルv1、及び、物体ベクトルメモリ８４のバンク#1に記憶された注目画素の物体ベクトルv2のうちの一方を、注目画素の順方向ベクトルに決定する。
【０５２２】
すなわち、順方向動き推定部９１は、図３２のステップＳ８１で、順方向背景相関判定部７４が背景ベクトルv1を用いて行ったブロックマッチングによって得られた評価値テーブル（背景順方向動き相関の有無の判定に用いられた評価値テーブル）と、図３３のステップＳ９１で、順方向物体相関判定部８１が物体ベクトルv2を用いて行ったブロックマッチングによって得られた評価値テーブル（物体順方向動き相関の有無の判定に用いられた評価値テーブル）とのうちの、最小の評価値を有する方の評価値テーブル（以下、最小評価値テーブルともいう）に対応する背景ベクトルv1、又は物体ベクトルv2を、注目画素の順方向ベクトルに決定する。
【０５２３】
つまり、最小評価値テーブルが、順方向背景相関判定部７４が背景ベクトルv1を用いて行ったブロックマッチングによって得られた評価値テーブルである場合には、順方向動き推定部９１は、その評価値テーブルに対応する背景ベクトルv1（評価値テーブルを求めるブロックマッチングで用いた注目画素の背景ベクトルv1）を、背景ベクトルメモリ７７のバンク#1の注目画素の位置に対応するアドレスから読み出して、注目画素の順方向ベクトルに決定する。
【０５２４】
また、最小評価値テーブルが、順方向物体相関判定部８１が物体ベクトルv2を用いて行ったブロックマッチングによって得られた評価値テーブルである場合には、順方向動き推定部９１は、その評価値テーブルに対応する物体ベクトルv2（評価値テーブルを求めるブロックマッチングで用いた注目画素の物体ベクトルv2）を、物体ベクトルメモリ８４のバンク#1の注目画素の位置に対応するアドレスから読み出して、注目画素の順方向ベクトルに決定する。
【０５２５】
そして、順方向動き推定部９１は、注目画素の順方向ベクトルを、補間画素動き判定部１４（図５）に供給して、処理は、ステップＳ１０７からステップＳ１１０に進む。
【０５２６】
一方、ステップＳ１０３において、物体カウント値が、背景カウント値よりも大きいと判定された場合、すなわち、注目画素の静止カウント値、背景カウント値、及び、物体カウント値の中の最大のカウント値が、物体カウント値のみであるか、又は、物体カウント値と静止カウント値である場合、処理は、ステップＳ１０８に進み、順方向動き推定部９１は、物体カウンタ８５のバンク#1の注目画素の物体カウント値が、物体回数カウンタ８６のバンク#1の注目画素の物体回数カウント値（注目画素の位置に対応するアドレスの物体回数カウント値）よりも小さいかどうかを判定する。
【０５２７】
ステップＳ１０８において、物体カウンタ８５のバンク#1の注目画素の物体カウント値が、物体回数カウンタ８６のバンク#1の物体回数カウント値よりも小さくないと判定された場合、処理は、ステップＳ１０９に進み、順方向動き推定部９１は、物体ベクトルメモリ８４のバンク#1に記憶された注目画素の物体ベクトルv2を、注目画素の順方向ベクトルに決定する。
【０５２８】
そして、順方向動き推定部９１は、注目画素の順方向ベクトルを、補間画素動き判定部１４（図５）に供給して、処理は、ステップＳ１０９からステップＳ１１０に進む。
【０５２９】
また、ステップＳ１０８において、物体カウンタ８５のバンク#1の注目画素の物体カウント値が、物体回数カウンタ８６のバンク#1の物体回数カウント値よりも小さいと判定された場合、処理は、ステップＳ１０７に進み、上述したように、順方向動き推定部９１は、評価値テーブルに基づき、物体ベクトルメモリ８４のバンク#1に記憶された注目画素の背景ベクトルv1、及び、物体ベクトルメモリ８４のバンク#1に記憶された注目画素の物体ベクトルv2のうちの一方を、注目画素の順方向ベクトルに決定する。
【０５３０】
そして、順方向動き推定部９１は、注目画素の順方向ベクトルを、補間画素動き判定部１４（図５）に供給して、処理は、ステップＳ１０７からステップＳ１１０に進む。
【０５３１】
以上のように、順方向動き推定部９１では、背景カウント値、物体カウント値、及び、静止カウント値の大小関係に基づいて、背景ベクトルv1、物体ベクトルv2、又は、０ベクトルが、順方向ベクトルとして求められる。
【０５３２】
すなわち、順方向動き推定部９１では、基本的には、背景ベクトルv1、物体ベクトルv2、及び、０ベクトルのうちの、背景カウント値、物体カウント値、及び、静止カウント値の中の最大のカウント値に対応するベクトルが、順方向ベクトルとして求められる。
【０５３３】
但し、背景カウント値、物体カウント値、及び、静止カウント値のうちの２以上が最大値である場合には、背景ベクトルv1、及び、物体ベクトルv2のうちの、順方向動き判定情報が表すベクトルが、順方向ベクトルとして求められる。
【０５３４】
また、背景カウント値、物体カウント値、及び、静止カウント値の中の最大値が、背景カウント値である場合において、背景カウント値が、回数カウント値よりも小であるときと、最大値が、物体カウント値である場合において、物体カウント値が、物体回数カウンタよりも小であるときには、背景順方向動き相関の有無の判定に用いられた評価値テーブル（背景ベクトルv1に対応する評価値テーブル）と、物体順方向動き相関の有無の判定に用いられた評価値テーブル（物体ベクトルv2に対応する評価値テーブル）とのうちの、最小の評価値（画像の一致の度合いが最も良いことを表す評価値）を有する方の評価値テーブルに対応する背景ベクトルv1、又は物体ベクトルv2が、順方向ベクトルとして求められる。
【０５３５】
ステップＳ１１０では、静止相関判定部７２は、注目フレームの画素（補間画素）の中に、注目画素としていない画素があるかどうかを判定する。
【０５３６】
ステップＳ１１０において、注目フレームに、注目画素としていない画素があると判定された場合、処理は、図３１のステップＳ６５に戻り、以下、同様の処理が繰り返される。
【０５３７】
また、ステップＳ１１０において、注目フレームに、注目画素としていない画素がないと判定された場合、注目フレームの各画素を、注目画素とした旨の情報がリセットされ、処理は、図３５のステップＳ１１１に進む。
【０５３８】
すなわち、図３５は、図３４に続くフローチャートである。
【０５３９】
図３５のステップＳ１１１では、フレーム回数カウンタ７１が、そのバンク#1に記憶された回数カウント値を読み出す。さらに、フレーム回数カウンタ７１は、バンク#1から読み出した回数カウント値を１だけインクリメントし、バンク#2に書き込んで、処理は、ステップＳ１１１からステップＳ１１２に進む。
【０５４０】
ステップＳ１１２では、静止相関判定部７２は、注目フレームの画素（補間画素）のうちの、注目画素としていない画素の１つを、注目画素に選択し、処理は、ステップＳ１１３に進む。
【０５４１】
ステップＳ１１３では、静止相関判定部７２は、外部からの入力画像の過去側フレームと未来側フレームとのうちの、未来側フレームの、注目画素の位置の画素を中心とする所定のサイズのブロックを、相関の有無の判定に用いる相関判定ブロックとする。
【０５４２】
さらに、静止相関判定部７２は、過去側フレームと未来側フレームとのうちの、過去側フレームの、注目画素の位置を中心とする、相関判定ブロックよりも、横と縦とのそれぞれが数画素だけ大きいエリアをサーチエリアとして、相関判定ブロックのブロックマッチングを行う。このブロックマッチングによって、評価値テーブルが求められる。
【０５４３】
その後、処理は、ステップＳ１１３からステップＳ１１４に進み、静止相関判定部７２は、相関判定ブロックのブロックマッチングの結果得られる評価値テーブルの評価値の分布に基づき、注目画素について、静止相関の有無を判定する。
【０５４４】
ステップＳ１１４において、注目画素について、静止相関があると判定された場合、処理は、ステップＳ１１５に進み、静止相関判定部７２は、静止カウンタ７３の、注目画素の位置に対応するアドレスの静止カウント値をインクリメントする。
【０５４５】
すなわち、静止相関判定部７２は、静止カウンタ７３のバンク#1の、注目画素の位置に対応するアドレスの静止カウント値を読み出してインクリメントし、そのインクリメント後の静止カウント値を、静止カウンタ７３のバンク#2の、注目画素の位置に対応するアドレスに書き込む。
【０５４６】
また、ステップＳ１１４において、注目画素について、静止相関がないと判定された場合、処理は、ステップＳ１１６に進み、静止相関判定部７２は、静止カウンタ７３のバンク#2の、注目画素の位置に対応するアドレスの静止カウント値を、０にリセットする。
【０５４７】
以上のように、未来側フレームの、注目画素の位置の画素と、過去側フレームの、注目画素の位置の画素との間に相関（静止相関）がある場合、静止相関判定部７２は、静止カウンタ７３の、注目画素の位置に対応するアドレスの静止カウント値をインクリメントする。一方、静止相関がない場合、静止相関判定部７２は、注目画素の位置に対応するアドレスの静止カウント値をリセットする。
【０５４８】
ステップＳ１１５、又はＳ１１６の後は、処理は、図３６のステップＳ１２１に進む。
【０５４９】
すなわち、図３６は、図３５に続くフローチャートである。
【０５５０】
図３６のステップＳ１２１では、逆方向背景相関判定部７５が、外部からの入力画像の過去側フレームの、注目画素の位置から、候補ベクトル算出部１２（図５）からの注目画素（を含む注目ブロック）の背景ベクトルv1に従って逆方向に移動した位置（注目画素の位置から、背景ベクトルv1だけ戻った位置）が、画枠外の位置であるかどうかを判定する。
【０５５１】
ステップＳ１２１において、過去側フレームの、注目画素の位置から注目画素の背景ベクトルv1に従って逆方向に移動した位置が、画枠外の位置であると判定された場合、すなわち、注目画素の背景ベクトルv1が、過去側フレームの画枠外の位置から、未来側フレームの画枠内の位置への動きを表すベクトルである場合、処理は、ステップＳ１２２に進み、逆方向背景相関判定部７５は、背景カウンタ７８のバンク#2の注目画素の位置に対応するアドレスに、フレーム回数カウンタ７１のバンク#2に記憶された回数カウント値を書き込み、処理は、図３７のステップＳ１３１に進む。
【０５５２】
すなわち、ステップＳ１２２では、逆方向背景相関判定部７５は、背景カウンタ７８のバンク#2の注目画素の背景カウント値として、フレーム回数カウンタ７１のバンク#2に記憶された回数カウント値をセットする。
【０５５３】
また、ステップＳ１２１において、過去側フレームの、注目画素の位置から注目画素の背景ベクトルv1に従って逆方向に移動した位置が、画枠外の位置でないと判定された場合、処理は、ステップＳ１２３に進み、逆方向背景相関判定部７５は、注目画素の背景ベクトルv1が、注目画素の位置から背景ベクトルv1に従って逆方向に移動した位置の、注目フレームの前の補間フレームの画素である前フレーム画素の背景ベクトル又は物体ベクトルに類似するかどうかを判定する。
【０５５４】
すなわち、背景ベクトルメモリ７７のバンク#2には、いま、注目フレームとなっている補間フレームの１フレーム前の補間フレーム（以下、前フレームともいう）を注目フレームとして、図３２のステップＳ８５の処理が行われることにより、前フレームの各画素の背景ベクトルが記憶されている。
【０５５５】
したがって、背景ベクトルメモリ７７のバンク#2では、注目画素の位置から背景ベクトルv1に従って逆方向に移動した位置（注目画素の位置からベクトル-v1だけ移動した位置）に対応するアドレスに、前フレームの、注目画素の位置から背景ベクトルv1に従って逆方向に移動した位置の前フレーム画素の背景ベクトルが記憶されている。
【０５５６】
同様に、物体ベクトルメモリ８４のバンク#2では、注目画素の位置から背景ベクトルv1に従って逆方向に移動した位置に対応するアドレスに、前フレームの、注目画素の位置から背景ベクトルv1に従って逆方向に移動した位置の前フレーム画素の物体ベクトルが記憶されている。
【０５５７】
逆方向背景相関判定部７５は、背景ベクトルメモリ７７のバンク#2から、前フレームの、注目画素の位置から背景ベクトルv1に従って逆方向に移動した位置の前フレーム画素の背景ベクトルを読み出す。さらに、逆方向背景相関判定部７５は、物体ベクトルメモリ８４のバンク#2から、前フレームの、注目画素の位置から背景ベクトルv1に従って逆方向に移動した位置の前フレーム画素の物体ベクトルを読み出す。
【０５５８】
そして、逆方向背景相関判定部７５は、注目画素の背景ベクトルv1が、前フレームの、注目画素の位置から背景ベクトルv1に従って逆方向に移動した位置の前フレーム画素の背景ベクトル又は物体ベクトルに類似するかどうかを判定する。
【０５５９】
ステップＳ１２３において、注目画素の背景ベクトルv1が、前フレーム画素の背景ベクトル又は物体ベクトルに類似すると判定された場合、すなわち、注目画素の背景ベクトルv1だけ戻った前フレーム画素が、注目画素の背景ベクトルv1で表される動きと同様の（類似する）動きをしており、したがって、少なくとも、前フレームと注目フレームとを含む複数の補間フレームにわたって、いわば、動きの連続性が認められる場合、処理は、ステップＳ１２４に進み、以下、背景逆方向動き相関の有無が判定される。
【０５６０】
すなわち、ステップＳ１２４では、逆方向背景相関判定部７５が、外部からの入力画像の過去側フレームと未来側フレームとのうちの、未来側フレームの、注目画素の位置の画素を中心とする所定のサイズのブロックを、相関判定ブロックとする。
【０５６１】
さらに、逆方向背景相関判定部７５は、過去側フレームの、注目画素の位置から、候補ベクトル算出部１２（図５）からの、注目画素の背景ベクトルv1だけ逆方向に移動した位置を中心とする、相関判定ブロックよりも、横と縦とのそれぞれが数画素だけ大きいエリアをサーチエリアとして、相関判定ブロックのブロックマッチングを行う。このブロックマッチングにより、評価値テーブルが求められる。
【０５６２】
その後、処理は、ステップＳ１２４からステップＳ１２５に進み、逆方向背景相関判定部７５は、相関判定ブロックのブロックマッチングの結果得られる評価値テーブルの評価値の分布に基づき、注目画素について、背景逆方向動き相関の有無を判定する。
【０５６３】
ステップＳ１２５において、注目画素について、背景逆方向動き相関があると判定された場合、処理は、ステップＳ１２６に進み、逆方向背景相関判定部７５は、背景カウンタ７８の、注目画素の位置に対応するアドレスの背景カウント値をインクリメントする。
【０５６４】
すなわち、逆方向背景相関判定部７５は、背景カウンタ７８のバンク#1の、注目画素の位置から、背景ベクトルv1だけ逆方向に移動した位置に対応するアドレスの背景カウント値を読み出してインクリメントし、そのインクリメント後の背景カウント値を、背景カウンタ７８のバンク#2の、注目画素の位置に対応するアドレスに書き込む。
【０５６５】
また、ステップＳ１２５において、注目画素について、背景逆方向動き相関がないと判定された場合、並びに、上述のステップＳ１２３において、注目画素の背景ベクトルv1が、前フレーム画素の背景ベクトル、及び物体ベクトルのいずれにも類似しないと判定された場合、いずれの場合も、処理は、ステップＳ１２７に進み、逆方向背景相関判定部７５は、背景カウンタ７８のバンク#2の、注目画素の位置に対応するアドレスの背景カウント値を、０にリセットする。
【０５６６】
以上のように、注目画素の位置から背景ベクトルv1に従って逆方向に移動した位置が、画枠外の位置である場合、逆方向背景相関判定部７５は、注目画素の背景カウント値に、回数カウント値をセットする。
【０５６７】
一方、注目画素の位置から背景ベクトルv1に従って逆方向に移動した位置が、画枠内の位置である場合には、注目画素の背景カウント値は、以下のように制御される。
【０５６８】
すなわち、注目画素の背景ベクトルv1が、注目画素の位置から背景ベクトルv1に従って逆方向に移動した位置の、前フレームの前フレーム画素の背景ベクトル又は物体ベクトルに類似し、かつ、未来側フレームの、注目画素の位置の画素と、過去側フレームの、注目画素の位置から背景ベクトルv1に従って逆方向に移動した位置の画素との間に相関（背景逆方向動き相関）がある場合には、逆方向背景相関判定部７５は、背景カウンタ７８の注目画素の背景カウント値をインクリメントする。
【０５６９】
また、注目画素の背景ベクトルv1が、注目画素の位置から背景ベクトルv1に従って逆方向に移動した位置の、前フレームの前フレーム画素の背景ベクトル、及び物体ベクトルのいずれにも類似しない場合、逆方向背景相関判定部７５は、注目画素の背景カウント値をリセットする。
【０５７０】
さらに、背景逆方向動き相関がない場合も、逆方向背景相関判定部７５は、注目画素の背景カウント値をリセットする。
【０５７１】
ステップＳ１２６、又はＳ１２７の後は、処理は、図３７のステップＳ１３１に進む。
【０５７２】
すなわち、図３７は、図３６に続くフローチャートである。
【０５７３】
図３７のステップＳ１３１では、逆方向物体相関判定部８２が、外部からの入力画像の過去側フレームの、注目画素の位置から、候補ベクトル算出部１２（図５）からの注目画素（を含む注目ブロック）の物体ベクトルv2に従って逆方向に移動した位置（注目画素の位置から、物体ベクトルv2だけ戻った位置）が、画枠外の位置であるかどうかを判定する。
【０５７４】
ステップＳ１３１において、過去側フレームの、注目画素の位置から注目画素の物体ベクトルv2に従って逆方向に移動した位置が、画枠外の位置であると判定された場合、すなわち、注目画素の物体ベクトルv2が、過去側フレームの画枠外の位置から、未来側フレームの画枠内の位置への動きを表すベクトルである場合、処理は、ステップＳ１３２に進み、逆方向物体相関判定部８２は、物体カウンタ８５のバンク#2の注目画素の位置に対応するアドレスに、フレーム回数カウンタ７１のバンク#2に記憶された回数カウント値を書き込む。すなわち、逆方向物体相関判定部８２は、物体カウンタ８５のバンク#2の注目画素の物体カウント値として、フレーム回数カウンタ７１のバンク#2に記憶された回数カウント値をセットする。
【０５７５】
さらに、ステップＳ１３２では、逆方向物体相関判定部８２は、物体回数カウンタ８６のバンク#2の注目画素の位置に対応するアドレスの物体回数カウント値を、０にリセットして、処理は、図３８のステップＳ１５１に進む。
【０５７６】
また、ステップＳ１３１において、過去側フレームの、注目画素の位置から注目画素の物体ベクトルv2に従って逆方向に移動した位置が、画枠外の位置でないと判定された場合、処理は、ステップＳ１３３に進み、逆方向物体相関判定部８２は、注目画素の物体ベクトルv2が、注目画素の位置から物体ベクトルv2に従って逆方向に移動した位置の、注目フレームの前の補間フレーム（前フレーム）の前フレーム画素の背景ベクトル又は物体ベクトルに類似するかどうかを判定する。
【０５７７】
すなわち、物体ベクトルメモリ８４のバンク#2には、いま、注目フレームとなっている補間フレームの１フレーム前の補間フレーム（前フレーム）を注目フレームとして、図３３のステップＳ９５の処理が行われることにより、前フレームの各画素の物体ベクトルが記憶されている。
【０５７８】
したがって、物体ベクトルメモリ８４のバンク#2では、注目画素の位置から物体ベクトルv2に従って逆方向に移動した位置（注目画素の位置からベクトル-v2だけ移動した位置）に対応するアドレスに、前フレームの、注目画素の位置から物体ベクトルv2に従って逆方向に移動した位置の前フレーム画素の物体ベクトルが記憶されている。
【０５７９】
同様に、背景ベクトルメモリ７７のバンク#2では、注目画素の位置から物体ベクトルv2に従って逆方向に移動した位置に対応するアドレスに、前フレームの、注目画素の位置から物体ベクトルv2に従って逆方向に移動した位置の前フレーム画素の背景ベクトルが記憶されている。
【０５８０】
逆方向物体相関判定部８２は、物体ベクトルメモリ８４のバンク#2から、前フレームの、注目画素の位置から物体ベクトルv2に従って逆方向に移動した位置の前フレーム画素の物体ベクトルを読み出す。さらに、逆方向物体相関判定部８２は、背景ベクトルメモリ７７のバンク#2から、前フレームの、注目画素の位置から物体ベクトルv2に従って逆方向に移動した位置の前フレーム画素の背景ベクトルを読み出す。
【０５８１】
そして、逆方向物体相関判定部８２は、注目画素の物体ベクトルv2が、前フレームの、注目画素の位置から物体ベクトルv2に従って逆方向に移動した位置の前フレーム画素の背景ベクトル又は物体ベクトルに類似するかどうかを判定する。
【０５８２】
ステップＳ１３３において、注目画素の物体ベクトルv2が、前フレーム画素の背景ベクトル、及び物体ベクトルのいずれにも類似しないと判定された場合、すなわち、注目画素の物体ベクトルv2だけ戻った前フレーム画素が、注目画素の物体ベクトルv2で表される動きと同様の（類似する）動きをしておらず、したがって、前フレームから注目フレームにかけて、動きの連続性が認められない場合、処理は、ステップＳ１３４に進み、逆方向物体相関判定部８２は、物体回数カウンタ８６のバンク#2の注目画素の位置に対応するアドレスの物体回数カウント値（以下、注目画素の物体回数カウント値ともいう）を、０にリセットして、処理は、ステップＳ１３９に進む。
【０５８３】
ステップＳ１３９では、逆方向物体相関判定部８２は、物体カウンタ８５のバンク#2の、注目画素の位置に対応するアドレスの背景カウント値を、０にリセットし、処理は、図３８のステップＳ１５１に進む。
【０５８４】
一方、ステップＳ１３３において、注目画素の物体ベクトルv2が、前フレーム画素の背景ベクトル又は物体ベクトルに類似すると判定された場合、すなわち、注目画素の物体ベクトルv2だけ戻った前フレーム画素が、注目画素の物体ベクトルv2で表される動きと同様の動きをしており、したがって、少なくとも、前フレームと注目フレームとを含む複数の補間フレームにわたって、動きの連続性が認められる場合、処理は、ステップＳ１３５に進み、逆方向物体相関判定部８２は、物体回数カウンタ８６の注目画素の物体回数カウント値をインクリメントする。
【０５８５】
すなわち、ステップＳ１３５では、逆方向物体相関判定部８２は、物体回数カウンタ８６のバンク#1の、注目画素の位置から、物体ベクトルv2だけ逆方向に移動した位置に対応するアドレスの物体回数カウント値を読み出してインクリメントし、そのインクリメント後の物体回数カウント値を、物体回数カウンタ８６のバンク#2の、注目画素の位置に対応するアドレスに書き込む。
【０５８６】
その後、処理は、ステップＳ１３５からステップＳ１３６に進み、以下、物体逆方向動き相関の有無が判定される。
【０５８７】
すなわち、ステップＳ１３６では、逆方向物体相関判定部８２が、外部からの入力画像の過去側フレームと未来側フレームとのうちの、未来側フレームの、注目画素の位置の画素を中心とする所定のサイズのブロックを、相関判定ブロックとする。
【０５８８】
さらに、逆方向物体相関判定部８２は、過去側フレームの、注目画素の位置から、候補ベクトル算出部１２（図５）からの、注目画素の物体ベクトルv2だけ逆方向に移動した位置を中心とする、相関判定ブロックよりも、横と縦とのそれぞれが数画素だけ大きいエリアをサーチエリアとして、相関判定ブロックのブロックマッチングを行う。このブロックマッチングにより、評価値テーブルが求められる。
【０５８９】
その後、処理は、ステップＳ１３６からステップＳ１３７に進み、逆方向物体相関判定部８２は、相関判定ブロックのブロックマッチングの結果得られる評価値テーブルの評価値の分布に基づき、注目画素について、物体逆方向動き相関の有無を判定する。
【０５９０】
ステップＳ１３７において、注目画素について、物体逆方向動き相関があると判定された場合、処理は、ステップＳ１３８に進み、逆方向物体相関判定部８２は、物体カウンタ８５の、注目画素の位置に対応するアドレスの物体カウント値をインクリメントする。
【０５９１】
すなわち、逆方向物体相関判定部８２は、物体カウンタ８５のバンク#1の、注目画素の位置から、物体ベクトルv2だけ逆方向に移動した位置に対応するアドレスの物体カウント値を読み出してインクリメントし、そのインクリメント後の物体カウント値を、物体カウンタ８５のバンク#2の、注目画素の位置に対応するアドレスに書き込む。
【０５９２】
また、ステップＳ１３７において、注目画素について、物体逆方向動き相関がないと判定された場合、処理は、ステップＳ１３９に進み、上述したように、逆方向物体相関判定部８２は、物体カウンタ８５のバンク#2の、注目画素の位置に対応するアドレスの背景カウント値を、０にリセットする。
【０５９３】
以上のように、注目画素の位置から物体ベクトルv2に従って逆方向に移動した位置が、画枠外の位置である場合、逆方向物体相関判定部８２は、注目画素の物体カウント値に、回数カウント値をセットする。さらに、この場合、逆方向物体相関判定部８２は、注目画素の物体回数カウント値をリセットする。
【０５９４】
一方、注目画素の位置から物体ベクトルv2に従って逆方向に移動した位置が、画枠内の位置である場合には、注目画素の物体カウント値、及び、物体回数カウント値は、以下のように制御される。
【０５９５】
すなわち、物体カウント値については、注目画素の物体ベクトルv2が、注目画素の位置から物体ベクトルv2に従って逆方向に移動した位置の、前フレームの前フレーム画素の背景ベクトル又は物体ベクトルに類似し、かつ、未来側フレームの、注目画素の位置の画素と、過去側フレームの、注目画素の位置から物体ベクトルv2に従って逆方向に移動した位置の画素との間に相関（物体逆方向動き相関）がある場合には、逆方向物体相関判定部８２は、物体カウンタ８５の注目画素の物体カウント値をインクリメントする。
【０５９６】
また、注目画素の物体ベクトルv2が、注目画素の位置から物体ベクトルv2に従って逆方向に移動した位置の、前フレームの前フレーム画素の背景ベクトル、及び物体ベクトルのいずれにも類似しない場合、逆方向物体相関判定部８２は、注目画素の物体カウント値をリセットする。
【０５９７】
さらに、物体逆方向動き相関がない場合も、逆方向物体相関判定部８２は、注目画素の物体カウント値をリセットする。
【０５９８】
一方、物体回数カウント値については、注目画素の物体ベクトルv2が、注目画素の位置から物体ベクトルv2に従って逆方向に移動した位置の、前フレームの前フレーム画素の背景ベクトル又は物体ベクトルに類似する場合には、逆方向物体相関判定部８２は、物体逆方向動き相関の有無に関係なく、物体回数カウンタ８５の注目画素の物体回数カウント値をインクリメントする。
【０５９９】
また、注目画素の物体ベクトルv2が、注目画素の位置から物体ベクトルv2に従って逆方向に移動した位置の、前フレームの前フレーム画素の背景ベクトル、及び物体ベクトルのいずれにも類似しない場合、逆方向物体相関判定部８２は、物体逆方向動き相関の有無に関係なく、注目画素の物体回数カウント値をリセットする。
【０６００】
ここで、注目画素の物体カウント値、及び、物体回数カウント値の制御が、上述のように異なるのは、注目画素が、背景以外の物体としてのテロップが写っている画素である場合に、シーンチェンジが生じたこと等によって、物体逆方向動き相関がなくても、注目画素の物体回数カウント値をリセットしないようにするためである。
【０６０１】
ステップＳ１３８、又はＳ１３９の後は、処理は、図３８のステップＳ１５１に進む。
【０６０２】
すなわち、図３８は、図３７に続くフローチャートである。
【０６０３】
図３８のステップＳ１５１ないしＳ１６０では、逆方向動き推定部９２が、図３４のステップＳ１０１ないしＳ１１０とそれぞれ同様の処理を行うことで、注目画素の逆方向ベクトルを求める。
【０６０４】
すなわち、図３８のステップＳ１５１では、逆方向動き推定部９２が、静止カウンタ７３のバンク#2の、注目画素の位置に対応するアドレスの静止カウント値（注目画素の静止カウント値）、背景カウンタ７８のバンク#2の、注目画素の位置に対応するアドレスの背景カウント値（注目画素の背景カウント値）、及び、物体カウンタ８５のバンク#1の、注目画素の位置に対応するアドレスの物体カウント値（注目画素の物体カウント値）の大小関係を判定する。
【０６０５】
すなわち、ステップＳ１５１では、注目画素の静止カウント値、背景カウント値、及び、物体カウント値の中で、最大のカウント値が判定される。
【０６０６】
ステップＳ１５１において、注目画素の静止カウント値、背景カウント値、及び、物体カウント値の中の最大のカウント値が、静止カウント値のみであると判定された場合、処理は、ステップＳ１５２に進み、逆方向動き推定部９２は、０ベクトルを、注目画素の逆方向ベクトルに決定する。
【０６０７】
そして、逆方向動き推定部９２は、注目画素の逆方向ベクトルを、補間画素動き判定部１４（図５）に供給して、処理は、ステップＳ１５２からステップＳ１６０に進む。
【０６０８】
また、ステップＳ１５１において、注目画素の静止カウント値、背景カウント値、及び、物体カウント値の中の最大のカウント値が、静止カウント値のみではないと判定された場合、処理は、ステップＳ１５３に進み、逆方向動き推定部９２は、背景カウント値と物体カウント値との大小関係を判定する。
【０６０９】
ステップＳ１５３において、背景カウント値と物体カウント値とが同一であると判定された場合、すなわち、背景カウント値、物体カウント値、及び、静止カウント値が、同一の値になっているか、又は、背景カウント値と物体カウント値とが、静止カウント値よりも大きい同一の値になっている場合、処理は、ステップＳ１５４に進み、逆方向動き推定部９２は、背景ベクトルメモリ７７のバンク#1に記憶された注目画素の背景ベクトルv1（の逆方向のベクトル-v1）と、物体ベクトルメモリ８４のバンク#1に記憶された注目画素の物体ベクトルv2（の逆方向のベクトル-v2）とのうちの、候補ベクトル算出部１２からの注目画素を含む小ブロック（注目ブロック）の逆方向動き判定情報が表すベクトルを、注目画素の逆方向ベクトルに決定する。
【０６１０】
そして、逆方向動き推定部９２は、注目画素の逆方向ベクトルを、補間画素動き判定部１４（図５）に供給して、処理は、ステップＳ１５４からステップＳ１６０に進む。
【０６１１】
また、ステップＳ１５３において、背景カウント値が、物体カウント値よりも大きいと判定された場合、処理は、ステップＳ１５５に進み、逆方向動き推定部９２は、背景カウンタ７８のバンク#2の注目画素の背景カウント値が、フレーム回数カウンタ７１のバンク#2の回数カウント値よりも小さいかどうかを判定する。
【０６１２】
ステップＳ１５５において、背景カウンタ７８のバンク#2の注目画素の背景カウント値が、フレーム回数カウンタ７１のバンク#2の回数カウント値よりも小さくないと判定された場合、処理は、ステップＳ１５６に進み、逆方向動き推定部９２は、背景ベクトルメモリ７７のバンク#1に記憶された注目画素の背景ベクトルv1（の逆方向のベクトル-v1）を、注目画素の逆方向ベクトルに決定する。
【０６１３】
そして、逆方向動き推定部９２は、注目画素の逆方向ベクトルを、補間画素動き判定部１４（図５）に供給して、処理は、ステップＳ１５６からステップＳ１６０に進む。
【０６１４】
また、ステップＳ１５５において、背景カウンタ７８のバンク#2の注目画素の背景カウント値が、フレーム回数カウンタ７１のバンク#2の回数カウント値よりも小さいと判定された場合、処理は、ステップＳ１５７に進み、逆方向動き推定部９２は、評価値テーブルに基づき、背景ベクトルメモリ７７のバンク#1に記憶された注目画素の背景ベクトルv1（の逆方向のベクトル-v1）、及び、物体ベクトルメモリ８４のバンク#1に記憶された注目画素の物体ベクトルv2（の逆方向のベクトル-v2）のうちの一方を、注目画素の逆方向ベクトルに決定する。
【０６１５】
すなわち、逆方向動き推定部９２は、図３６のステップＳ１２４で、逆方向背景相関判定部７５が背景ベクトルv1を用いて行ったブロックマッチングによって得られた評価値テーブル（背景逆方向動き相関の有無の判定に用いられた評価値テーブル）と、図３７のステップＳ１３６で、逆方向物体相関判定部８２が物体ベクトルv2を用いて行ったブロックマッチングによって得られた評価値テーブル（物体逆方向動き相関の有無の判定に用いられた評価値テーブル）とのうちの、最小の評価値を有する方の評価値テーブル（最小評価値テーブル）に対応する背景ベクトルv1、又は物体ベクトルv2を、注目画素の逆方向ベクトルに決定する。
【０６１６】
つまり、最小評価値テーブルが、逆方向背景相関判定部７５が背景ベクトルv1を用いて行ったブロックマッチングによって得られた評価値テーブルである場合には、逆方向動き推定部９２は、その評価値テーブルに対応する背景ベクトルv1（評価値テーブルを求めるブロックマッチングで用いた注目画素の背景ベクトルv1）を、背景ベクトルメモリ７７のバンク#1の注目画素の位置に対応するアドレスから読み出して、注目画素の逆方向ベクトルに決定する。
【０６１７】
また、最小評価値テーブルが、逆方向物体相関判定部８２が物体ベクトルv2を用いて行ったブロックマッチングによって得られた評価値テーブルである場合には、逆方向動き推定部９２は、その評価値テーブルに対応する物体ベクトルv2（評価値テーブルを求めるブロックマッチングで用いた注目画素の物体ベクトルv2）を、物体ベクトルメモリ８４のバンク#1の注目画素の位置に対応するアドレスから読み出して、注目画素の逆方向ベクトルに決定する。
【０６１８】
そして、逆方向動き推定部９２は、注目画素の逆方向ベクトルを、補間画素動き判定部１４（図５）に供給して、処理は、ステップＳ１５７からステップＳ１６０に進む。
【０６１９】
なお、逆方向背景相関判定部７５において、図３６のステップＳ１２４の処理が行われず、したがって、背景ベクトルv1を用いたブロックマッチングで求められる評価値テーブルが得られていない場合、逆方向動き推定部９２が、背景ベクトルv1を用いてブロックマッチングを行い、評価値テーブルを求める。
【０６２０】
同様に、逆方向物体相関判定部８２において、図３７のステップＳ１３６の処理が行われず、したがって、物体ベクトルv2を用いたブロックマッチングで求められる評価値テーブルが得られていない場合、逆方向動き推定部９２が、物体ベクトルv2を用いてブロックマッチングを行い、評価値テーブルを求める。
【０６２１】
一方、ステップＳ１５３において、物体カウント値が、背景カウント値よりも大きいと判定された場合、処理は、ステップＳ１５８に進み、逆方向動き推定部９２は、物体カウンタ８５のバンク#2の注目画素の物体カウント値が、物体回数カウンタ８６のバンク#2の注目画素の物体回数カウント値よりも小さいかどうかを判定する。
【０６２２】
ステップＳ１５８において、物体カウンタ８５のバンク#2の注目画素の物体カウント値が、物体回数カウンタ８６のバンク#2の物体回数カウント値よりも小さくないと判定された場合、処理は、ステップＳ１５９に進み、逆方向動き推定部９２は、物体ベクトルメモリ８４のバンク#1に記憶された注目画素の物体ベクトルv2（の逆方向のベクトル-v2）を、注目画素の逆方向ベクトルに決定する。
【０６２３】
そして、逆方向動き推定部９２は、注目画素の逆方向ベクトルを、補間画素動き判定部１４（図５）に供給して、処理は、ステップＳ１５９からステップＳ１６０に進む。
【０６２４】
また、ステップＳ１５８において、物体カウンタ８５のバンク#2の注目画素の物体カウント値が、物体回数カウンタ８６のバンク#2の物体回数カウント値よりも小さいと判定された場合、処理は、ステップＳ１５７に進み、上述したように、逆方向動き推定部９２は、評価値テーブルに基づき、物体ベクトルメモリ８４のバンク#1に記憶された注目画素の背景ベクトルv1、及び、物体ベクトルメモリ８４のバンク#1に記憶された注目画素の物体ベクトルv2のうちの一方を、注目画素の逆方向ベクトルに決定する。
【０６２５】
そして、逆方向動き推定部９２は、注目画素の逆方向ベクトルを、補間画素動き判定部１４（図５）に供給して、処理は、ステップＳ１５７からステップＳ１６０に進む。
【０６２６】
以上のように、逆方向動き推定部９２では、順方向動き推定部９１と同様に、背景カウント値、物体カウント値、及び、静止カウント値の大小関係に基づいて、背景ベクトルv1、物体ベクトルv2、又は、０ベクトルが、逆方向ベクトルとして求められる。
【０６２７】
すなわち、逆方向動き推定部９２では、基本的には、背景ベクトルv1、物体ベクトルv2、及び、０ベクトルのうちの、背景カウント値、物体カウント値、及び、静止カウント値の中の最大のカウント値に対応するベクトルが、逆方向ベクトルとして求められる。
【０６２８】
但し、背景カウント値、物体カウント値、及び、静止カウント値のうちの２以上が最大値である場合には、背景ベクトルv1、及び、物体ベクトルv2のうちの、逆方向動き判定情報が表すベクトルが、逆方向ベクトルとして求められる。
【０６２９】
また、背景カウント値、物体カウント値、及び、静止カウント値の中の最大値が、背景カウント値である場合において、背景カウント値が、回数カウント値よりも小であるときと、最大値が、物体カウント値である場合において、物体カウント値が、物体回数カウンタよりも小であるときには、背景逆方向動き相関の有無の判定に用いられた評価値テーブル（背景ベクトルv1に対応する評価値テーブル）と、物体逆方向動き相関の有無の判定に用いられた評価値テーブル（物体ベクトルv2に対応する評価値テーブル）とのうちの、最小の評価値を有する方の評価値テーブルに対応する背景ベクトルv1、又は物体ベクトルv2が、逆方向ベクトルとして求められる。
【０６３０】
ステップＳ１６０では、静止相関判定部７２は、注目フレームの画素（補間画素）のうちの、注目画素としていない画素があるかどうかを判定する。
【０６３１】
ステップＳ１６０において、注目フレームに、注目画素としていない画素があると判定された場合、処理は、図３５のステップＳ１１２に戻り、以下、同様の処理が繰り返される。
【０６３２】
また、ステップＳ１６０において、注目フレームに、注目画素としていない画素がないと判定された場合、処理は終了する（リターンする）。
【０６３３】
次に、図３９及び図４０を参照して、図２９のフレーム回数カウンタ７１の回数カウント値、背景カウンタ７８の背景カウント値、物体カウンタ８５の物体カウント値、及び、物体回数カウンタ８６の物体回数カウント値の変化について説明する。
【０６３４】
なお、図３９及び図４０では、入力画像のフレームの垂直方向に並ぶ最上部から９個の画素#0,#1,#2,・・・,#8を図示してある。
【０６３５】
そして、入力画像においては、背景が、ベクトルV1に従って移動しており、物体が、ベクトルV2に従って移動している。
【０６３６】
また、図３９及び図４０では、ベクトルV1は、０ベクトルであり、したがって、背景は、静止している。
【０６３７】
さらに、図３９及び図４０では、ベクトルV2は、下方向の、１画素分の動きを表すベクトルであり、したがって、入力画像の各フレームに写る物体は、１フレーム前の位置から、１画素分だけ下に移動している。
【０６３８】
また、物体は、垂直方向に４画素分の長さを有し、入力画像の第１フレームでは、４画素分の長さの物体（図中、影を付して示す）の、下から３画素分が、画素#0ないし#2に写っている。なお、画素#0ないし#8のうちの、物体が写っている画素以外の画素には、背景が写っている。
【０６３９】
入力画像の第２フレームでは、第１フレームの位置から、１画素分だけ下の位置に移動することにより、４画素分の長さの全体が見えるようになった物体が、画素#0ないし#3に写っている。
【０６４０】
入力画像の第３フレームでは、第２フレームの位置から、１画素分だけ下の位置に移動した４画素分の長さの物体が、画素#1ないし#4に写っている。
【０６４１】
以下、同様にして、物体は、入力画像の第４フレームでは、画素#2ないし#5に写っており、入力画像の第５フレームでは、画素#3ないし#6に写っている。
【０６４２】
また、ここでは、説明を簡単にするため、補間フレームの画素#i（ここでは、i=0,1,2,・・・,8）（を含む小ブロック）の背景ベクトルv1としては、ベクトルV1が求められ、物体ベクトルv2としては、ベクトルV2が求められていることとする。
【０６４３】
さらに、入力画像の第１フレームから第５フレームまでの間では、シーンチェンジは生じていないこととする。また、入力画像の第１フレームと第２フレームが、それぞれ、過去側フレームと未来側フレームとなる前に、バンク#2に記憶された回数カウント値、背景カウント値、物体カウント値、及び、物体回数カウント値は、すべて、０にリセットされていることとする。
【０６４４】
さらに、図３９及び図４０では、説明を簡単にするため、入力画像の隣接するフレームどうしの間には、１フレームの補間フレームが補間されることとする。
【０６４５】
まず、図３９を参照して、図２９のフレーム回数カウンタ７１の回数カウント値、及び、背景カウンタ７８の背景カウント値の変化について説明する。
【０６４６】
入力画像の第１フレームと第２フレームが、それぞれ、過去側フレームと未来側フレームとなった場合、フレーム回数カウンタ７１（図２９）は、バンク#2の回数カウント値をインクリメントして得られる値を、バンク#1の回数カウント値として書き込む。
【０６４７】
いまの場合、バンク#2の回数カウント値は、０にリセットされているので、バンク#1の回数カウント値は、1となる。
【０６４８】
また、順方向背景相関判定部７４（図２９）では、第１フレームと第２フレームとの間に補間される補間フレームの画素#0ないし#3の各画素#iについては、第１フレームの画素#iと、画素#iの位置から背景ベクトルv1だけ順方向に移動した位置の第２フレームの画素#iとの間の背景順方向動き相関がない（図中、バツ印（×）で示す）と判定され、画素#4ないし#8については、背景順方向動き相関がある（図中、丸印（○）で示す）と判定される。
【０６４９】
順方向背景相関判定部７４は、背景順方向動き相関がない画素#0ないし#3については、バンク#1の背景カウント値を０にリセットする。
【０６５０】
また、順方向背景相関判定部７４は、背景順方向動き相関がある画素#4ないし#8の各画素#iについては、バンク#2の画素#iの背景カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#1の画素#iの背景カウント値として書き込む。
【０６５１】
いまの場合、バンク#2の画素#4ないし#8の背景カウント値は、０にリセットされているので、バンク#1の画素#4ないし#8の背景カウント値は、いずれも1となる。
【０６５２】
その後、フレーム回数カウンタ７１（図２９）は、バンク#1の回数カウント値"1"をインクリメントして得られる値"2"を、バンク#2の回数カウント値として書き込む。
【０６５３】
そして、逆方向背景相関判定部７５（図２９）では、第１フレームと第２フレームとの間に補間される補間フレームの画素#0ないし#3の各画素#iについては、第２フレームの画素#iと、画素#iの位置から背景ベクトルv1だけ逆方向に移動した位置の第１フレームの画素#iとの間の背景逆方向動き相関がない（図中、バツ印（×）で示す）と判定され、画素#4ないし#8については、背景逆方向動き相関がある（図中、丸印（○）で示す）と判定される。
【０６５４】
逆方向背景相関判定部７５は、背景逆方向動き相関がない画素#0ないし#3については、バンク#2の背景カウント値を０にリセットする。
【０６５５】
また、逆方向背景相関判定部７５は、背景逆方向動き相関がある画素#4ないし#8の各画素#iについては、バンク#1の、画素#iの位置から、背景ベクトルv1だけ逆方向に移動した位置に対応するアドレスの背景カウント値、すなわち、いまの場合、バンク#1の画素#iの背景カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#2の、画素#iの背景カウント値として書き込む。
【０６５６】
その結果、バンク#2の画素#4ないし#8の背景カウント値は、いずれも、バンク#1の画素#4ないし#8の背景カウント値"1"をインクリメントして得られる値"2"となる。
【０６５７】
次に、入力画像の第２フレームと第３フレームが、それぞれ、過去側フレームと未来側フレームとなった場合、フレーム回数カウンタ７１（図２９）は、バンク#2の回数カウント値"2"をインクリメントして得られる値"3"を、バンク#1の回数カウント値として書き込む。
【０６５８】
また、順方向背景相関判定部７４（図２９）では、第２フレームと第３フレームとの間に補間される補間フレームの画素#0ないし#4の各画素#iについては、第２フレームの画素#iと、画素#iの位置から背景ベクトルv1だけ順方向に移動した位置の第３フレームの画素#iとの間の背景順方向動き相関がない（図中、バツ印（×）で示す）と判定され、画素#5ないし#8については、背景順方向動き相関がある（図中、丸印（○）で示す）と判定される。
【０６５９】
順方向背景相関判定部７４は、背景順方向動き相関がない画素#0ないし#4については、バンク#1の背景カウント値を０にリセットする。
【０６６０】
また、順方向背景相関判定部７４は、背景順方向動き相関がある画素#5ないし#8の各画素#iについては、バンク#2の画素#iの背景カウント値"2"を読み出してインクリメントし、そのインクリメント後の値"3"を、バンク#1の画素#iの背景カウント値として書き込む。
【０６６１】
その後、フレーム回数カウンタ７１（図２９）は、バンク#1の回数カウント値"3"をインクリメントして得られる値"4"を、バンク#2の回数カウント値として書き込む。
【０６６２】
そして、逆方向背景相関判定部７５（図２９）では、第２フレームと第３フレームとの間に補間される補間フレームの画素#0ないし#4の各画素#iについては、第３フレームの画素#iと、画素#iの位置から背景ベクトルv1だけ逆方向に移動した位置の第２フレームの画素#iとの間の背景逆方向動き相関がない（図中、バツ印（×）で示す）と判定され、画素#5ないし#8については、背景逆方向動き相関がある（図中、丸印（○）で示す）と判定される。
【０６６３】
逆方向背景相関判定部７５は、背景逆方向動き相関がない画素#0ないし#4については、バンク#2の背景カウント値を０にリセットする。
【０６６４】
また、逆方向背景相関判定部７５は、背景逆方向動き相関がある画素#5ないし#8の各画素#iについては、バンク#1の、画素#iの位置から、背景ベクトルv1だけ逆方向に移動した位置に対応するアドレスの背景カウント値、すなわち、いまの場合、バンク#1の画素#iの背景カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#2の、画素#iの背景カウント値として書き込む。
【０６６５】
その結果、バンク#2の画素#5ないし#8の背景カウント値は、いずれも、バンク#1の画素#5ないし#8の背景カウント値"3"をインクリメントして得られる値"4"となる。
【０６６６】
次に、入力画像の第３フレームと第４フレームが、それぞれ、過去側フレームと未来側フレームとなった場合、フレーム回数カウンタ７１（図２９）は、バンク#2の回数カウント値"4"をインクリメントして得られる値"5"を、バンク#1の回数カウント値として書き込む。
【０６６７】
また、順方向背景相関判定部７４（図２９）では、第３フレームと第４フレームとの間に補間される補間フレームの画素#1ないし#5の各画素#iについては、第３フレームの画素#iと、画素#iの位置から背景ベクトルv1だけ順方向に移動した位置の第４フレームの画素#iとの間の背景順方向動き相関がない（図中、バツ印（×）で示す）と判定され、画素#0,#6ないし#8については、背景順方向動き相関がある（図中、丸印（○）で示す）と判定される。
【０６６８】
順方向背景相関判定部７４は、背景順方向動き相関がない画素#1ないし#5については、バンク#1の背景カウント値を０にリセットする。
【０６６９】
また、順方向背景相関判定部７４は、背景順方向動き相関がある画素#0,#6ないし#8の各画素#iについては、バンク#2の画素#iの背景カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#1の画素#iの背景カウント値として書き込む。
【０６７０】
いまの場合、バンク#2の画素#0の背景カウント値は、"0"となっており、バンク#2の画素#6ないし#8の背景カウント値は、"4"となっているので、バンク#1の画素#0の背景カウント値は、"1"となり、バンク#1の画素#6ないし#8の背景カウント値は、"5"となる。
【０６７１】
その後、フレーム回数カウンタ７１（図２９）は、バンク#1の回数カウント値"5"をインクリメントして得られる値"6"を、バンク#2の回数カウント値として書き込む。
【０６７２】
そして、逆方向背景相関判定部７５（図２９）では、第３フレームと第４フレームとの間に補間される補間フレームの画素#1ないし#5の各画素#iについては、第４フレームの画素#iと、画素#iの位置から背景ベクトルv1だけ逆方向に移動した位置の第３フレームの画素#iとの間の背景逆方向動き相関がない（図中、バツ印（×）で示す）と判定され、画素#0,#6ないし#8については、背景逆方向動き相関がある（図中、丸印（○）で示す）と判定される。
【０６７３】
逆方向背景相関判定部７５は、背景逆方向動き相関がない画素#1ないし#5については、バンク#2の背景カウント値を０にリセットする。
【０６７４】
また、逆方向背景相関判定部７５は、背景逆方向動き相関がある画素#0,#6ないし#8の各画素#iについては、バンク#1の、画素#iの位置から、背景ベクトルv1だけ逆方向に移動した位置に対応するアドレスの背景カウント値、すなわち、いまの場合、バンク#1の画素#iの背景カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#2の、画素#iの背景カウント値として書き込む。
【０６７５】
その結果、バンク#2の画素#0の背景カウント値は、バンク#1の画素#0の背景カウント値"1"をインクリメントして得られる値"2"となる。また、バンク#2の画素#6ないし#8の背景カウント値は、いずれも、バンク#1の画素#6ないし#8の背景カウント値"5"をインクリメントして得られる値"6"となる。
【０６７６】
次に、入力画像の第４フレームと第５フレームが、それぞれ、過去側フレームと未来側フレームとなった場合、フレーム回数カウンタ７１（図２９）は、バンク#2の回数カウント値"6"をインクリメントして得られる値"7"を、バンク#1の回数カウント値として書き込む。
【０６７７】
また、順方向背景相関判定部７４（図２９）では、第４フレームと第５フレームとの間に補間される補間フレームの画素#2ないし#6の各画素#iについては、第４フレームの画素#iと、画素#iの位置から背景ベクトルv1だけ順方向に移動した位置の第５フレームの画素#iとの間の背景順方向動き相関がない（図中、バツ印（×）で示す）と判定され、画素#0,#1,#7,#8については、背景順方向動き相関がある（図中、丸印（○）で示す）と判定される。
【０６７８】
順方向背景相関判定部７４は、背景順方向動き相関がない画素#2ないし#6については、バンク#1の背景カウント値を０にリセットする。
【０６７９】
また、順方向背景相関判定部７４は、背景順方向動き相関がある画素#0,#1,#7,#8の各画素#iについては、バンク#2の画素#iの背景カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#1の画素#iの背景カウント値として書き込む。
【０６８０】
いまの場合、バンク#2の画素#0の背景カウント値は、"2"となっているので、バンク#1の画素#0の背景カウント値は、"3"となる。
【０６８１】
また、バンク#2の画素#1の背景カウント値は、"0"となっているので、バンク#1の画素#1の背景カウント値は、"1"となる。
【０６８２】
さらに、バンク#2の画素#7及び#8の背景カウント値は、"6"となっているので、バンク#1の画素#7及び#8の背景カウント値は、"7"となる。
【０６８３】
その後、フレーム回数カウンタ７１（図２９）は、バンク#1の回数カウント値"7"をインクリメントして得られる値"8"を、バンク#2の回数カウント値として書き込む。
【０６８４】
そして、逆方向背景相関判定部７５（図２９）では、第４フレームと第５フレームとの間に補間される補間フレームの画素#2ないし#6の各画素#iについては、第５フレームの画素#iと、画素#iの位置から背景ベクトルv1だけ逆方向に移動した位置の第４フレームの画素#iとの間の背景逆方向動き相関がない（図中、バツ印（×）で示す）と判定され、画素#0,#1,#7,#8については、背景逆方向動き相関がある（図中、丸印（○）で示す）と判定される。
【０６８５】
逆方向背景相関判定部７５は、背景逆方向動き相関がない画素#2ないし#6については、バンク#2の背景カウント値を０にリセットする。
【０６８６】
また、逆方向背景相関判定部７５は、背景逆方向動き相関がある画素#0,#1,#7,#8の各画素#iについては、バンク#1の、画素#iの位置から、背景ベクトルv1だけ逆方向に移動した位置に対応するアドレスの背景カウント値、すなわち、いまの場合、バンク#1の画素#iの背景カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#2の、画素#iの背景カウント値として書き込む。
【０６８７】
その結果、バンク#2の画素#0の背景カウント値は、バンク#1の画素#0の背景カウント値"3"をインクリメントして得られる値"4"となる。
【０６８８】
また、バンク#2の画素#1の背景カウント値は、バンク#1の画素#1の背景カウント値"1"をインクリメントして得られる値"2"となる。
【０６８９】
さらに、バンク#2の画素#7及び#8の背景カウント値は、いずれも、バンク#1の画素#7及び#8の背景カウント値"7"をインクリメントして得られる値"8"となる。
【０６９０】
次に、図４０を参照して、図２９の物体カウンタ８５の物体カウント値、及び、物体回数カウンタ８６の物体回数カウント値の変化について説明する。
【０６９１】
入力画像の第１フレームと第２フレームが、それぞれ、過去側フレームと未来側フレームとなった場合、順方向物体相関判定部８１（図２９）では、第１フレームと第２フレームとの間に補間される補間フレームの画素#3ないし#8の各画素#iについては、第１フレームの画素#iと、画素#iの位置から物体ベクトルv2だけ順方向に移動した位置の第２フレームの画素#i+1との間の物体順方向動き相関がない（図中、バツ印（×）で示す）と判定され、画素#0ないし#2については、物体順方向動き相関がある（図中、丸印（○）で示す）と判定される。
【０６９２】
順方向物体相関判定部８１は、物体順方向動き相関がない画素#3ないし#8については、バンク#1の物体カウント値を０にリセットする。
【０６９３】
また、順方向物体相関判定部８１は、物体順方向動き相関がある画素#0ないし#2の各画素#iについては、バンク#2の画素#iの物体カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#1の画素#iの物体カウント値として書き込む。
【０６９４】
いまの場合、バンク#2の画素#0ないし#2の物体カウント値は、０にリセットされているので、バンク#1の画素#0ないし#2の物体カウント値は、いずれも"1"となる。
【０６９５】
さらに、順方向物体相関判定部８１は、すべての画素#0ないし#8について、バンク#2の画素#iの物体回数カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#1の画素#iの物体回数カウント値として書き込む。
【０６９６】
いまの場合、バンク#2の画素#0ないし#8の物体回数カウント値は、０にリセットされているので、バンク#1の画素#0ないし#8の物体回数カウント値は、いずれも"1"となる。
【０６９７】
その後、逆方向物体相関判定部８２では、第１フレームと第２フレームとの間に補間される補間フレームの画素#0ないし#8のうちの画素#0については、第１フレームの画素#0の位置から、物体ベクトルv2に従って逆方向に移動した位置（画素#0の位置から、物体ベクトルv2だけ戻った位置）が、画枠外の位置であると判定され、他の画素#1ないし#8の各画素#iについては、第１フレームの画素#iの位置から、物体ベクトルv2に従って逆方向に移動した位置（ここでは、画素#i-1の位置）が、画枠外の位置でないと判定される。
【０６９８】
物体ベクトルv2に従って逆方向に移動した位置が、画枠外の位置となる画素#0については、逆方向物体相関判定部８２は、バンク#2の画素#0の物体カウント値（図中、斜線を付して示す）として、図３９に示したバンク#2の回数カウント値"2"を書き込む。
【０６９９】
さらに、物体ベクトルv2に従って逆方向に移動した位置が、画枠外の位置となる画素#0については、逆方向物体相関判定部８２は、バンク#2の画素#0の物体回数カウント値を、０にリセットする。
【０７００】
また、いま、物体ベクトルv2に従って逆方向に移動した位置が、画枠外の位置とならない画素#1ないし#8の各画素#iについては、物体ベクトルv2が、第１フレームと第２フレームとの間に補間される補間フレームの前の補間フレーム（前フレーム）の、画素#iの位置から物体ベクトルv2に従って逆方向に移動した位置の画素（前フレーム画素）#i-1の物体ベクトルに類似すると仮定する。
【０７０１】
ここで、このように、画素#iの物体ベクトルv2が、画素#iの位置から物体ベクトルv2に従って逆方向に移動した位置の前フレーム画素#i-1の物体ベクトルに類似する場合の、画素#iを、以下、ベクトル類似画素#iともいう。
【０７０２】
逆方向物体相関判定部８２は、ベクトル類似画素である画素#1ないし#8の各画素#iについては、バンク#1の、画素#iの位置から、物体ベクトルv2だけ逆方向に移動した位置に対応するアドレスの物体回数カウント値、すなわち、いまの場合、バンク#1の画素#i-1の物体回数カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#2の、画素#iの物体回数カウント値として書き込む。
【０７０３】
その結果、画素#iの位置から、物体ベクトルv2だけ逆方向に移動した位置の画素を、以下、引き寄せ画素ということとすると、画素#1ないし#8の各画素#iについては、バンク#1の引き寄せ画素#i-1の物体回数カウント値が"1"となっているので、バンク#2の画素#iの物体回数カウント値は、"2"となる。
【０７０４】
さらに、逆方向物体相関判定部８２では、ベクトル類似画素である画素#1ないし#8のうちの、画素#4ないし#8の各画素#iについては、第２フレームの画素#iと、画素#iの位置から物体ベクトルv2だけ逆方向に移動した位置の第１フレームの画素（引き寄せ画素）#i-1との間の物体逆方向動き相関がない（図中、バツ印（×）で示す）と判定され、画素#1ないし#3については、物体逆方向動き相関がある（図中、丸印（○）で示す）と判定される。
【０７０５】
逆方向物体相関判定部８２は、物体逆方向動き相関がない画素#4ないし#8については、バンク#2の物体カウント値を０にリセットする。
【０７０６】
また、逆方向物体相関判定部８２は、物体逆方向動き相関がある画素#1ないし#3の各画素#iについては、バンク#1の引き寄せ画素#i-1の物体カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#2の、画素#iの物体カウント値として書き込む。
【０７０７】
その結果、バンク#2の画素#1ないし#3の物体カウント値は、バンク#1の引き寄せ画素#0ないし#2の物体カウント値"1"をインクリメントして得られる値"2"となる。
【０７０８】
次に、入力画像の第２フレームと第３フレームが、それぞれ、過去側フレームと未来側フレームとなった場合、順方向物体相関判定部８１（図２９）では、第２フレームと第３フレームとの間に補間される補間フレームの画素#4ないし#8の各画素#iについては、第２フレームの画素#iと、画素#iの位置から物体ベクトルv2だけ順方向に移動した位置の第３フレームの画素#i+1との間の物体順方向動き相関がない（図中、バツ印（×）で示す）と判定され、画素#0ないし#3については、物体順方向動き相関がある（図中、丸印（○）で示す）と判定される。
【０７０９】
順方向物体相関判定部８１は、物体順方向動き相関がない画素#4ないし#8については、バンク#1の物体カウント値を０にリセットする。
【０７１０】
また、順方向物体相関判定部８１は、物体順方向動き相関がある画素#0ないし#3の各画素#iについては、バンク#2の画素#iの物体カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#1の画素#iの物体カウント値として書き込む。
【０７１１】
いまの場合、バンク#2の画素#0ないし#3の物体カウント値は、"2"になっているので、バンク#1の画素#0ないし#3の物体カウント値は、いずれも"3"となる。
【０７１２】
さらに、順方向物体相関判定部８１は、すべての画素#0ないし#8について、バンク#2の画素#iの物体回数カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#1の画素#iの物体回数カウント値として書き込む。
【０７１３】
いまの場合、バンク#2の画素#0の物体回数カウント値は、０にリセットされているので、バンク#1の画素#0の物体回数カウント値は、"1"となる。
【０７１４】
また、バンク#2の画素#1ないし#8の物体回数カウント値は、"2"になっているので、バンク#1の画素#1ないし#8の物体回数カウント値は、いずれも"3"となる。
【０７１５】
その後、逆方向物体相関判定部８２では、第２フレームと第３フレームとの間に補間される補間フレームの画素#0ないし#8のうちの画素#0については、第２フレームの画素#0の位置から、物体ベクトルv2に従って逆方向に移動した位置が、画枠外の位置であると判定される。すなわち、画素#0の引き寄せ画素は、画枠外の画素であると判定される。
【０７１６】
また、他の画素#1ないし#8の各画素#iについては、第２フレームの画素#iの位置から、物体ベクトルv2に従って逆方向に移動した位置（ここでは、画素#i-1の位置）が、画枠外の位置でないと判定される。すなわち、画素#1ないし#8の各画素#iについては、画素#iの引き寄せ画素#i-1は、画枠外の画素でないと判定される。
【０７１７】
引き寄せ画素が画枠外の画素となる画素#0については、逆方向物体相関判定部８２は、バンク#2の画素#0の物体カウント値（図中、斜線を付して示す）として、図３９に示したバンク#2の回数カウント値"4"を書き込む。
【０７１８】
さらに、引き寄せ画素が画枠外の画素となる画素#0については、逆方向物体相関判定部８２は、バンク#2の画素#0の物体回数カウント値を、０にリセットする。
【０７１９】
また、引き寄せ画素が画枠外の位置とならない画素#1ないし#8の各画素#iについては、逆方向物体相関判定部８２において、画素#iの物体ベクトルv2が、第２フレームと第３フレームとの間に補間される補間フレームの前の補間フレーム（前フレーム）（図４０では、第１フレームと第２フレームとの間に補間される補間フレーム）の、画素#iの位置から物体ベクトルv2に従って逆方向に移動した位置の画素（前フレーム画素）#i-1の物体ベクトルに類似すると判定される。
【０７２０】
すなわち、画素#1ないし#8は、ベクトル類似画素であると判定される。
【０７２１】
逆方向物体相関判定部８２は、ベクトル類似画素である画素#1ないし#8の各画素#iについては、バンク#1の、画素#iの位置から、物体ベクトルv2だけ逆方向に移動した位置に対応するアドレスの物体回数カウント値、すなわち、バンク#1の引き寄せ画素#i-1の物体回数カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#2の、画素#iの物体回数カウント値として書き込む。
【０７２２】
その結果、画素#1ないし#8のうちの画素#1については、バンク#1の引き寄せ画素#0の物体回数カウント値が"1"となっているので、バンク#2の画素#1の物体回数カウント値は、"2"となる。
【０７２３】
さらに、画素#1ないし#8のうちの、画素#2ないし#8の各画素#iについては、バンク#1の引き寄せ画素#i-1の物体回数カウント値が"3"となっているので、バンク#2の画素#iの物体回数カウント値は、"4"となる。
【０７２４】
また、逆方向物体相関判定部８２では、ベクトル類似画素である画素#1ないし#8のうちの、画素#5ないし#8の各画素#iについては、第３フレームの画素#iと、画素#iの位置から物体ベクトルv2だけ逆方向に移動した位置の第２フレームの画素（引き寄せ画素）#i-1との間の物体逆方向動き相関がない（図中、バツ印（×）で示す）と判定され、画素#1ないし#4については、物体逆方向動き相関がある（図中、丸印（○）で示す）と判定される。
【０７２５】
逆方向物体相関判定部８２は、物体逆方向動き相関がない画素#5ないし#8については、バンク#2の物体カウント値を０にリセットする。
【０７２６】
また、逆方向物体相関判定部８２は、物体逆方向動き相関がある画素#1ないし#4の各画素#iについては、バンク#1の引き寄せ画素#i-1の物体カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#2の、画素#iの物体カウント値として書き込む。
【０７２７】
その結果、バンク#2の画素#1ないし#4の物体カウント値は、バンク#1の引き寄せ画素#0ないし#3の物体カウント値"3"をインクリメントして得られる値"4"となる。
【０７２８】
次に、入力画像の第３フレームと第４フレームが、それぞれ、過去側フレームと未来側フレームとなった場合、順方向物体相関判定部８１（図２９）では、第３フレームと第４フレームとの間に補間される補間フレームの画素#0,#5ないし#8の各画素#iについては、第３フレームの画素#iと、画素#iの位置から物体ベクトルv2だけ順方向に移動した位置の第４フレームの画素#i+1との間の物体順方向動き相関がない（図中、バツ印（×）で示す）と判定され、画素#1ないし#4については、物体順方向動き相関がある（図中、丸印（○）で示す）と判定される。
【０７２９】
順方向物体相関判定部８１は、物体順方向動き相関がない画素#0,#5ないし#8については、バンク#1の物体カウント値を０にリセットする。
【０７３０】
また、順方向物体相関判定部８１は、物体順方向動き相関がある画素#1ないし#4の各画素#iについては、バンク#2の画素#iの物体カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#1の画素#iの物体カウント値として書き込む。
【０７３１】
いまの場合、バンク#2の画素#1ないし#4の物体カウント値は、"4"になっているので、バンク#1の画素#1ないし#4の物体カウント値は、いずれも"5"となる。
【０７３２】
さらに、順方向物体相関判定部８１は、すべての画素#0ないし#8について、バンク#2の画素#iの物体回数カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#1の画素#iの物体回数カウント値として書き込む。
【０７３３】
いまの場合、バンク#2の画素#0の物体回数カウント値は、０にリセットされているので、バンク#1の画素#0の物体回数カウント値は、"1"となる。
【０７３４】
また、バンク#2の画素#1の物体回数カウント値は、"2"になっているので、バンク#1の画素#1の物体回数カウント値は、"3"となる。
【０７３５】
さらに、バンク#2の画素#2ないし#8の物体カウント値は、"4"になっているので、バンク#1の画素#2ないし#8の物体カウント回数値は、いずれも"5"となる。
【０７３６】
その後、逆方向物体相関判定部８２では、第３フレームと第４フレームとの間に補間される補間フレームの画素#0ないし#8のうちの画素#0については、第３フレームの画素#0の位置から、物体ベクトルv2に従って逆方向に移動した位置が、画枠外の位置であると判定される。すなわち、画素#0の引き寄せ画素は、画枠外の画素であると判定される。
【０７３７】
また、他の画素#1ないし#8の各画素#iについては、第３フレームの画素#iの位置から、物体ベクトルv2に従って逆方向に移動した位置（ここでは、画素#i-1の位置）が、画枠外の位置でないと判定される。すなわち、画素#1ないし#8の各画素#iについては、画素#iの引き寄せ画素#i-1は、画枠外の画素でないと判定される。
【０７３８】
引き寄せ画素が画枠外の画素となる画素#0については、逆方向物体相関判定部８２は、バンク#2の画素#0の物体カウント値（図中、斜線を付して示す）として、図３９に示したバンク#2の回数カウント値"6"を書き込む。
【０７３９】
さらに、引き寄せ画素が画枠外の画素となる画素#0については、逆方向物体相関判定部８２は、バンク#2の画素#0の物体回数カウント値を、０にリセットする。
【０７４０】
また、引き寄せ画素が画枠外の位置とならない画素#1ないし#8の各画素#iについては、逆方向物体相関判定部８２において、画素#iの物体ベクトルv2が、第３フレームと第４フレームとの間に補間される補間フレームの前の補間フレーム（前フレーム）の、画素#iの位置から物体ベクトルv2に従って逆方向に移動した位置の画素（前フレーム画素）#i-1の物体ベクトルに類似すると判定される。
【０７４１】
すなわち、画素#1ないし#8は、ベクトル類似画素であると判定される。
【０７４２】
逆方向物体相関判定部８２は、ベクトル類似画素である画素#1ないし#8の各画素#iについては、バンク#1の、画素#iの位置から、物体ベクトルv2だけ逆方向に移動した位置に対応するアドレスの物体回数カウント値、すなわち、バンク#1の引き寄せ画素#i-1の物体回数カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#2の、画素#iの物体回数カウント値として書き込む。
【０７４３】
その結果、画素#1ないし#8のうちの画素#1については、バンク#1の引き寄せ画素#0の物体回数カウント値が"1"となっているので、バンク#2の画素#1の物体回数カウント値は、"2"となる。
【０７４４】
また、画素#1ないし#8のうちの、画素#2については、バンク#1の引き寄せ画素#1の物体回数カウント値が"3"となっているので、バンク#2の画素#2の物体回数カウント値は、"4"となる。
【０７４５】
さらに、画素#1ないし#8のうちの、画素#3ないし#8の各画素#iについては、バンク#1の引き寄せ画素#i-1の物体回数カウント値が"5"となっているので、バンク#2の画素#iの物体回数カウント値は、"6"となる。
【０７４６】
また、逆方向物体相関判定部８２において、ベクトル類似画素である画素#1ないし#8のうちの、画素#1,#６ないし#8の各画素#iについては、第４フレームの画素#iと、画素#iの位置から物体ベクトルv2だけ逆方向に移動した位置の第３フレームの画素（引き寄せ画素）#i-1との間の物体逆方向動き相関がない（図中、バツ印（×）で示す）と判定され、画素#2ないし#5については、物体逆方向動き相関がある（図中、丸印（○）で示す）と判定される。
【０７４７】
逆方向物体相関判定部８２は、物体逆方向動き相関がない画素#1,#６ないし#8については、バンク#2の物体カウント値を０にリセットする。
【０７４８】
また、逆方向物体相関判定部８２は、物体逆方向動き相関がある画素#2ないし#5の各画素#iについては、バンク#1の引き寄せ画素#i-1の物体カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#2の、画素#iの物体カウント値として書き込む。
【０７４９】
その結果、バンク#2の画素#2ないし#5の物体カウント値は、バンク#1の引き寄せ画素#1ないし#4の物体カウント値"5"をインクリメントして得られる値"6"となる。
【０７５０】
次に、入力画像の第４フレームと第５フレームが、それぞれ、過去側フレームと未来側フレームとなった場合、順方向物体相関判定部８１（図２９）では、第４フレームと第５フレームとの間に補間される補間フレームの画素#0,#1,#6ないし#8の各画素#iについては、第４フレームの画素#iと、画素#iの位置から物体ベクトルv2だけ順方向に移動した位置の第５フレームの画素#i+1との間の物体順方向動き相関がない（図中、バツ印（×）で示す）と判定され、画素#2ないし#5については、物体順方向動き相関がある（図中、丸印（○）で示す）と判定される。
【０７５１】
順方向物体相関判定部８１は、物体順方向動き相関がない画素#0,#1,#6ないし#8については、バンク#1の物体カウント値を０にリセットする。
【０７５２】
また、順方向物体相関判定部８１は、物体順方向動き相関がある画素#2ないし#5の各画素#iについては、バンク#2の画素#iの物体カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#1の画素#iの物体カウント値として書き込む。
【０７５３】
いまの場合、バンク#2の画素#2ないし#5の物体カウント値は、"6"になっているので、バンク#1の画素#2ないし#5の物体カウント値は、いずれも"7"となる。
【０７５４】
さらに、順方向物体相関判定部８１は、すべての画素#0ないし#8について、バンク#2の画素#iの物体回数カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#1の画素#iの物体回数カウント値として書き込む。
【０７５５】
いまの場合、バンク#2の画素#0の物体回数カウント値は、０にリセットされているので、バンク#1の画素#0の物体回数カウント値は、"1"となる。
【０７５６】
また、バンク#2の画素#1の物体回数カウント値は、"2"になっているので、バンク#1の画素#1の物体回数カウント値は、"3"となる。
【０７５７】
さらに、バンク#2の画素#2の物体回数カウント値は、"4"になっているので、バンク#1の画素#2の物体回数カウント値は、"5"となる。
【０７５８】
また、バンク#2の画素#3ないし#8の物体カウント値は、"6"になっているので、バンク#1の画素#3ないし#8の物体カウント回数値は、いずれも"7"となる。
【０７５９】
その後、逆方向物体相関判定部８２では、第４フレームと第５フレームとの間に補間される補間フレームの画素#0ないし#8のうちの画素#0については、第４フレームの画素#0の位置から、物体ベクトルv2に従って逆方向に移動した位置が、画枠外の位置であると判定される。すなわち、画素#0の引き寄せ画素は、画枠外の画素であると判定される。
【０７６０】
また、他の画素#1ないし#8の各画素#iについては、第４フレームの画素#iの位置から、物体ベクトルv2に従って逆方向に移動した位置（ここでは、画素#i-1の位置）が、画枠外の位置でないと判定される。すなわち、画素#1ないし#8の各画素#iについては、画素#iの引き寄せ画素#i-1は、画枠外の画素でないと判定される。
【０７６１】
引き寄せ画素が画枠外の画素となる画素#0については、逆方向物体相関判定部８２は、バンク#2の画素#0の物体カウント値（図中、斜線を付して示す）として、図３９に示したバンク#2の回数カウント値"8"を書き込む。
【０７６２】
さらに、引き寄せ画素が画枠外の画素となる画素#0については、逆方向物体相関判定部８２は、バンク#2の画素#0の物体回数カウント値を、０にリセットする。
【０７６３】
また、引き寄せ画素が画枠外の位置とならない画素#1ないし#8の各画素#iについては、逆方向物体相関判定部８２において、画素#iの物体ベクトルv2が、第４フレームと第５フレームとの間に補間される補間フレームの前の補間フレーム（前フレーム）の、画素#iの位置から物体ベクトルv2に従って逆方向に移動した位置の画素（前フレーム画素）#i-1の物体ベクトルに類似すると判定される。
【０７６４】
すなわち、画素#1ないし#8は、ベクトル類似画素であると判定される。
【０７６５】
逆方向物体相関判定部８２は、ベクトル類似画素である画素#1ないし#8の各画素#iについては、バンク#1の、画素#iの位置から、物体ベクトルv2だけ逆方向に移動した位置に対応するアドレスの物体回数カウント値、すなわち、バンク#1の引き寄せ画素#i-1の物体回数カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#2の、画素#iの物体回数カウント値として書き込む。
【０７６６】
その結果、画素#1ないし#8のうちの画素#1については、バンク#1の引き寄せ画素#0の物体回数カウント値が"1"となっているので、バンク#2の画素#1の物体回数カウント値は、"2"となる。
【０７６７】
また、画素#1ないし#8のうちの、画素#2については、バンク#1の引き寄せ画素#1の物体回数カウント値が"3"となっているので、バンク#2の画素#2の物体回数カウント値は、"4"となる。
【０７６８】
さらに、画素#1ないし#8のうちの、画素#3については、バンク#1の引き寄せ画素#2の物体回数カウント値が"5"となっているので、バンク#2の画素#3の物体回数カウント値は、"6"となる。
【０７６９】
そして、画素#1ないし#8のうちの、画素#4ないし#8の各画素#iについては、バンク#1の引き寄せ画素#i-1の物体回数カウント値が"7"となっているので、バンク#2の画素#iの物体回数カウント値は、"8"となる。
【０７７０】
また、逆方向物体相関判定部８２において、ベクトル類似画素である画素#1ないし#8のうちの、画素#1,#2,#7,#8の各画素#iについては、第５フレームの画素#iと、画素#iの位置から物体ベクトルv2だけ逆方向に移動した位置の第４フレームの画素（引き寄せ画素）#i-1との間の物体逆方向動き相関がない（図中、バツ印（×）で示す）と判定され、画素#3ないし#6については、物体逆方向動き相関がある（図中、丸印（○）で示す）と判定される。
【０７７１】
逆方向物体相関判定部８２は、物体逆方向動き相関がない画素#1,#2,#7,#8については、バンク#2の物体カウント値を０にリセットする。
【０７７２】
また、逆方向物体相関判定部８２は、物体逆方向動き相関がある画素#3ないし#6の各画素#iについては、バンク#1の引き寄せ画素#i-1の物体カウント値を読み出してインクリメントし、そのインクリメント後の値を、バンク#2の、画素#iの物体カウント値として書き込む。
【０７７３】
その結果、バンク#2の画素#3ないし#6の物体カウント値は、バンク#1の引き寄せ画素#2ないし#5の物体カウント値"7"をインクリメントして得られる値"8"となる。
【０７７４】
次に、図４１を参照して、図２９の画素単位動き推定部１３において、背景カウント値、回数カウント値、物体カウント値、及び、物体回数カウント値がリセットされる場合について説明する。
【０７７５】
図２９において、フレーム回数カウンタ７１の回数カウント値、背景カウンタ７８の背景カウント値、物体カウンタ８５の物体カウント値、及び、物体回数カウンタ８６の物体回数カウント値は、以下の場合にリセットされる。
【０７７６】
すなわち、回数カウント値、及び、背景カウント値は、シーンチェンジが発生した場合にリセットされる。
【０７７７】
さらに、背景カウント値は、背景順方向動き相関、又は背景逆方向動き相関がない場合と、注目画素の背景ベクトルv1が、引き寄せ画素の背景ベクトルv1'、及び、引き寄せ画素の物体ベクトルv2'のいずれにも類似していない場合（注目画素がベクトル類似画素でない場合）にリセットされる。
【０７７８】
また、物体カウント値は、物体順方向動き相関、又は物体逆方向動き相関がない場合と、注目画素の物体ベクトルv2が、引き寄せ画素の背景ベクトルv1'、及び、引き寄せ画素の物体ベクトルv2'のいずれにも類似していない場合（注目画素がベクトル類似画素でない場合）にリセットされる。
【０７７９】
一方、物体回数カウント値は、物体順方向動き相関や物体逆方向動き相関の有無には関係なく、注目画素の物体ベクトルv2が、引き寄せ画素の背景ベクトルv1'、及び、引き寄せ画素の物体ベクトルv2'のいずれにも類似していない場合（注目画素がベクトル類似画素でない場合）と、引き寄せ画素が、画枠外の画素となる場合にリセットされる。
【０７８０】
ここで、図４１は、注目画素の背景ベクトルv1が、引き寄せ画素の背景ベクトルv1'、及び、引き寄せ画素の物体ベクトルv2'のいずれにも類似していないことに起因して、背景カウント値が０にリセットされた状態と、注目画素の物体ベクトルv2が、引き寄せ画素の背景ベクトルv1'、及び、引き寄せ画素の物体ベクトルv2'のいずれにも類似していないことに起因して、物体カウント値、及び、物体回数カウント値が０にリセットされた状態とを示している。
【０７８１】
以上のように、図２９の画素単位動き推定部１３では、背景について、背景ベクトルv1に従った動き、及び画像の相関（背景順方向動き相関、及び、背景逆方向動き相関）が連続している回数を表す背景カウント値をカウントし、背景カウント値のカウントとは別個に、物体について、物体ベクトルv2に従った動き、及び画像の相関（物体順方向動き相関、及び、物体逆方向動き相関）が連続している回数を表す物体カウント値をカウントするので、繰り返しパターンのテクスチャを有する背景や物体が写った入力画像について、動きベクトルの誤検出を防止することができ、ひいては、その動きベクトルを用い、フレーム補間において、高画質の補間フレームを生成することができる。
【０７８２】
すなわち、図４２は、繰り返しパターンのテクスチャを有する物体が移動している様子が写った入力画像の例を示している。
【０７８３】
なお、図４２において、横軸は、時間（フレーム数）を表し、縦軸は、画像の垂直方向を表す。
【０７８４】
また、図４２では、前述の図１の場合と同様に、入力画像において、背景は、ベクトルVBで表す動き背景動きをしており、物体（前景）は、ベクトルVFで表す物体動きをしている。
【０７８５】
ここで、図４２では、入力画像の第n-3フレームないし第nフレームだけを考慮するとする。
【０７８６】
また、入力画像の第n-3フレームないし第nフレームのうちの、例えば、第n-1フレームと第nフレームが、それぞれ、過去側フレームと未来側フレームとなっており、その第n-1フレームと第nフレームとの間に補間される補間フレームの、第nフレームの物体が写っている画素a0と同一の位置の画素が、注目画素となっているとする。
【０７８７】
さらに、注目画素については、背景ベクトルv1として、背景動きを表すベクトルVBが求められ、物体ベクトルv2として、物体動きを表すベクトルVFが求められていることとする。
【０７８８】
また、第n-1フレームの、画素a0の位置から背景ベクトルv1だけ逆方向に移動した位置を中心とする所定のエリアをサーチエリアとして行われる、第nフレームの画素a0を中心とするブロックのブロックマッチングを、背景ベクトルv1を用いるブロックマッチングということとする。
【０７８９】
さらに、第n-1フレームの、画素a0の位置から物体ベクトルv2だけ逆方向に移動した位置を中心とする所定のエリアをサーチエリアとして行われる、第nフレームの画素a0を中心とするブロックのブロックマッチングを、物体ベクトルv2を用いるブロックマッチングということとする。
【０７９０】
いま、背景ベクトルv1を用いるブロックマッチングと、物体ベクトルv2を用いるブロックマッチングとを行い、ブロックマッチングの結果得られる２つの評価値テーブルのうちの、最小の評価値が得られる評価値テーブルが求められるブロックマッチングで用いられるベクトル（背景ベクトルv1、及び、物体ベクトルv2のうちのいずれか）を、注目画素の順方向ベクトル（又は、逆方向ベクトル）として選択することとすると、図４２の入力画像については、物体ベクトルv2ではなく、背景ベクトルv1が、順方向ベクトルとして、誤って選択される可能性が高い（背景ベクトルv1、及び、物体ベクトルv2のいずれも、同程度の可能性で、順方向ベクトルとして選択されうる）。
【０７９１】
但し、画素単位動き推定部１３（図２９）では、図４２の入力画像については、注目画素の背景カウント値CBとして、4が得られ、物体カウント値CFとして、背景カウント値CBよりも大の6が得られる。したがって、値が大きい物体カウント値CFに対応する物体ベクトルv2を、順方向ベクトルとして、正確に選択することができる。
【０７９２】
ここで、繰り返しパターンのテクスチャを有する領域が、図４２に示したように、小さい領域になっている入力画像については、前述の図３で説明した、特許文献１に記載の方法を適用した動きベクトルの検出の方法によっても、物体の動きを表す動きベクトルを、正確に検出することができる。
【０７９３】
しかしながら、特許文献１に記載の方法を適用した動きベクトルの検出の方法では、前述の図４で説明したように、繰り返しパターンのテクスチャを有する領域が大きい領域になっている入力画像（繰り返しパターンが広い範囲に写っている入力画像）については、動きベクトルを誤検出する（順方向ベクトルの選択を誤る）可能性が高くなる。
【０７９４】
すなわち、図４３は、繰り返しパターンのテクスチャを有する領域が大きい領域になっている入力画像の例を示している。
【０７９５】
なお、図４３において、横軸は、時間を表し、縦軸は、画像の垂直方向を表す。
【０７９６】
また、図４３では、図１の場合と同様に、入力画像では、背景が、ベクトルVBで表す動き背景動きをしており、物体が、ベクトルVFで表す物体動きをしている。
【０７９７】
図４３の入力画像では、背景として、細かい繰り返しパターンが広い範囲に写っている。
【０７９８】
図４３の入力画像については、画素単位動き推定部１３（図２９）では、注目画素の背景カウント値CBとして、6が得られ、物体カウント値CFとしても、背景カウント値CBと同一の値の6が得られる。
【０７９９】
この場合、画素単位動き推定部１３では、背景ベクトルv1、及び、物体ベクトルv2のうちの、順方向動き判定情報（又は、逆方向動き判定情報）が表すベクトルが、順方向ベクトル（又は、逆方向ベクトル）として選択される。
【０８００】
すなわち、図４３の入力画像のように、細かい繰り返しパターンが広い範囲に写っている場合には、背景カウント値CBと、物体カウント値CFとは、多くのフレームにわたって、同一の値となる。
【０８０１】
したがって、背景カウント値CBと、物体カウント値CFとが、同一の値になっている場合には、入力画像において、細かい繰り返しパターンが広い範囲に写っている。
【０８０２】
そして、細かい繰り返しパターンが広い範囲に写っている入力画像については、サイズが大きいブロックを用いて、ブロックマッチングを行うことで、正確な動きベクトルを求めることができる傾向がある。
【０８０３】
一方、順方向動き判定情報は、上述したように、候補ベクトル算出部１２（図１８）で得られる情報であり、5×5の小ブロックから構成される、サイズが比較的大きい中ブロックのブロックマッチングの結果得られる中ブロック順方向ベクトルmvFの統計処理の結果としてのメディアンが、背景ベクトルv1、及び、物体ベクトルv2のうちのいずれに類似するかを表す。
【０８０４】
そして、背景ベクトルv1は、中ブロックよりもサイズが大きい大ブロックのブロックマッチングの結果得られる大ブロック双方向ベクトルmvLの統計処理の結果であり、物体ベクトルv2は、中ブロックのブロックマッチングの結果得られる中ブロック順方向ベクトルmvFの統計処理の結果である。
【０８０５】
したがって、背景カウント値CBと、物体カウント値CFとが、同一の値になっている場合に、サイズが大きい大ブロックや中ブロックのブロックマッチングの結果から得られる順方向動き判定情報が表すベクトル（背景ベクトルv1、又は、物体ベクトルv2）を、順方向ベクトルとして選択することにより、順方向ベクトルを正確に求めることができる（図３４のステップＳ１０４や、図３８のステップＳ１５４）。
【０８０６】
次に、図４４は、第n-3フレームないし第nフレームの入力画像の他の例を示している。
【０８０７】
なお、図４４において、横軸は、時間を表し、縦軸は、画像の垂直方向を表す。
【０８０８】
図４４では、入力画像では、背景が、ベクトルVBで表す動き背景動きをしており、物体が、ベクトルVFで表す物体動きをしている。
【０８０９】
図４４の入力画像では、物体の後ろ側から、細かい繰り返しパターンの背景が出現している。
【０８１０】
図４４の入力画像については、背景カウント値、及び、物体カウント値の大小関係に基づいて、背景ベクトルv1、又は、物体ベクトルv2を（値が大きい方のカウント値に対応するベクトルを）、順方向ベクトルとして選択すると、順方向ベクトルの選択を誤ることがある。すなわち、物体の後ろ側から出現する、細かい繰り返しパターンの背景の位置の補間画素について、順方向ベクトルとして、背景ベクトルv1を選択すべきであるのにもかかわらず、誤って、物体ベクトルv2が選択されることがある。
【０８１１】
そこで、図２９の画素単位動き推定部１３では、例えば、補間画素の背景カウント値が、シーンチェンジからのフレーム数を表す回数カウント値よりも小さいかどうか（、及び、物体カウント値が、物体回数カウント値よりも小さいかどうか）が判定される。
【０８１２】
そして、画素単位動き推定部１３では、補間画素の背景カウント値が、回数カウント値よりも小さい場合には、過去側フレームや未来側フレームの、補間画素の位置の画素に写るテクスチャが、シーンチェンジ直後から存在していたのではなく、シーンチェンジ直後より後で出現したとして、背景カウント値、及び、物体カウント値の大小関係ではなく、相関の有無の判定に用いられた評価値テーブルに基づいて、背景ベクトルv1、又は、物体ベクトルv2が、順方向ベクトルとして選択される（図３４のステップＳ１０７や、図３８のステップＳ１５７）。
【０８１３】
なお、評価値テーブルに基づいて、順方向ベクトルを選択する場合には、細かい繰り返しパターンの影響で、順方向ベクトルを正しく選択することができないことがあり得る。しかしながら、背景カウント値が、回数カウント値よりも小さい場合に、評価値テーブルに基づいて、順方向ベクトルを選択することで、背景カウント値、及び、物体カウント値の大小関係に基づいて、順方向ベクトルを選択する場合に比較して、順方向ベクトルを正しく選択することができないことがあり得る補間画素の範囲（数）を小さくすることができる。
【０８１４】
次に、図４５は、第n-3フレームないし第nフレームの入力画像の、さらに他の例を示している。
【０８１５】
なお、図４５において、横軸は、時間を表し、縦軸は、画像の垂直方向を表す。
【０８１６】
図４５の入力画像では、画枠外から、ベクトルVBで表す背景動きの、細かい繰り返しパターンの背景が出現している。
【０８１７】
過去側フレームや未来側フレームにおいて、画枠外から出現したテクスチャが写った画素の位置の補間画素の背景カウント値は、画枠外からの出現後にインクリメントが開始されるため、０を初期値としてインクリメントを開始すると、回数カウント値よりも小さくなる。
【０８１８】
この場合、図４４で説明したように、評価値テーブルに基づいて、順方向ベクトルが選択されることになり、細かい繰り返しパターンの影響で、順方向ベクトルを正しく選択することができないことがあり得る。
【０８１９】
そこで、画素単位動き推定部１３（図２９）では、過去側フレームや未来側フレームにおいて、画枠外から出現したテクスチャが写った画素の位置の補間画素の背景カウント値には、回数カウント値がセットされる。
【０８２０】
これにより、過去側フレームや未来側フレームにおいて、画枠外から出現したテクスチャが写った画素の位置の補間画素の背景カウント値は、回数カウント値と一致し、評価値テーブルに基づいて、順方向ベクトルが選択されるのではなく、背景カウント値、及び、物体カウント値の大小関係に基づいて、順方向ベクトルが選択される。
【０８２１】
すなわち、過去側フレームや未来側フレームにおいて、画枠外から出現するテクスチャが写った画素の位置の補間画素について、シーンチェンジ直後から存在するテクスチャが写った画素の位置の補間画素の場合と同様にして、順方向ベクトルを正確に求めることができる。
【０８２２】
以上のように、画素単位動き推定部１３では、背景カウント値、及び、物体カウント値の大小関係等に基づいて、順方向ベクトル、及び、逆方向ベクトルを求めるので、繰り返しパターンのテクスチャが写った入力画像に対して、誤った順方向ベクトルや逆方向ベクトルが求められる可能性を低くすることができる。
【０８２３】
［補間画素動き判定部１４の補間画素動き判定処理の説明］
【０８２４】
次に、図４６を参照して、図５の補間画素動き判定部１４が行う処理（補間画素動き判定処理）を説明する。
【０８２５】
図４６は、過去側フレームとしての第n-1フレームと、未来側フレームとしての第nフレームとを示している。
【０８２６】
補間画素動き判定部１４は、画素単位動き推定部１３からの順方向ベクトルや逆方向ベクトルと、候補ベクトル算出部１２からの背景ベクトルv1、若しくは物体ベクトルv2、又は０ベクトルとが類似しているかどうかによって、背景ベクトルv1、物体ベクトルv2、又は０ベクトルを、補間画素の動きベクトルに判定する動き判定を行う。
【０８２７】
さらに、補間画素動き判定部１４は、画素単位動き推定部１３からの順方向ベクトルや逆方向ベクトルと、候補ベクトル算出部１２からの背景ベクトルv1、若しくは物体ベクトルv2、又は０ベクトルとが類似しているかどうかによって、補間画素が、カバードバックグラウンド領域の画素、アンカバードバックグラウンド領域の画素、又は、カバードバックグラウンド領域、及び、アンカバードバックグラウンド領域のいずれの領域でもない領域の画素のうちのいずれであるかを判定するC/UC判定を行う。
【０８２８】
すなわち、補間画素動き判定部１４は、注目画素（補間画素）Pについて、注目画素P（を含む注目ブロック）の背景ベクトルv1に平行で、注目画素Pを通る直線L1（図中、太い実線で示す）上の、過去側フレーム（第n-1フレーム）の画素P1(n-1)についての順方向ベクトルv1(n-1)、及び、未来側フレーム（第nフレーム）の画素P1(n)についての逆方向ベクトルv1(n)を特定する。
【０８２９】
ここで、第n-1フレームの画素P1(n-1)についての順方向ベクトルv1(n-1)とは、第n-1フレームと第nフレームとの間に補間される補間フレームの、画素P1(n-1)の位置の補間画素の順方向ベクトルを意味する。
【０８３０】
同様に、第nフレームの画素P1(n)についての逆方向ベクトルv1(n)とは、第n-1フレームと第nフレームとの間に補間される補間フレームの、画素P1(n)の位置の補間画素の逆方向ベクトルを意味する。
【０８３１】
また、補間画素動き判定部１４は、注目画素Pについて、注目画素Pの物体ベクトルv2に平行で、注目画素Pを通る直線L2（図中、太い点線で示す）上の、過去側フレームの画素P2(n-1)についての順方向ベクトルv2(n-1)、及び、未来側フレームの画素P2(n)についての逆方向ベクトルv2(n)を特定する。
【０８３２】
さらに、補間画素動き判定部１４は、注目画素Pについて、注目画素Pの位置の、過去側フレームの画素P3(n-1)についての順方向ベクトルv3(n-1)、及び、未来側フレームの画素P3(n)についての逆方向ベクトルv3(n)を特定する。
【０８３３】
ここで、０ベクトルを、ベクトルv3と表すこととすると、順方向ベクトルv3(n-1)は、ベクトルv3に平行で、注目画素Pを通る直線L3（図中、一点鎖線で示す）上の、過去側フレームの画素P3(n-1)についての順方向ベクトルである。また、逆方向ベクトルv3(n)は、ベクトルv3に平行で、注目画素Pを通る直線L3上の、未来側フレームの画素P3(n)についての逆方向ベクトルである。
【０８３４】
補間画素動き判定部１４は、以上の、画素P1(n-1)についての順方向ベクトルv1(n-1)、画素P1(n)についての逆方向ベクトルv1(n)、画素P2(n-1)についての順方向ベクトルv2(n-1)、画素P2(n)についての逆方向ベクトルv2(n)、画素P3(n-1)についての順方向ベクトルv3(n-1)、及び、画素P3(n)についての逆方向ベクトルv3(n)の中の少なくとも１つ以上と、注目画素Pの背景ベクトルv1、物体ベクトルv2、又は０ベクトルv3とが類似しているかどうかによって、背景ベクトルv1、物体ベクトルv2、又は０ベクトルv3を、注目画素Pの動きベクトルに判定する動き判定を行う。
【０８３５】
さらに、補間画素動き判定部１４は、以上の、画素P1(n-1)についての順方向ベクトルv1(n-1)、画素P1(n)についての逆方向ベクトルv1(n)、画素P2(n-1)についての順方向ベクトルv2(n-1)、画素P2(n)についての逆方向ベクトルv2(n)、画素P3(n-1)についての順方向ベクトルv3(n-1)、及び、画素P3(n)についての逆方向ベクトルv3(n)の中の少なくとも１つ以上と、注目画素Pの背景ベクトルv1、物体ベクトルv2、又は０ベクトルv3とが類似しているかどうかによって、注目画素Pが、カバードバックグラウンド領域の画素、アンカバードバックグラウンド領域の画素、又は、カバードバックグラウンド領域、及び、アンカバードバックグラウンド領域のいずれの領域でもない領域の画素のうちのいずれであるかを判定するC/UC判定を行う。
【０８３６】
以上のように、補間画素動き判定部１４では、過去側フレームと未来側フレームとの２フレームという少ないフレームから得られる背景ベクトルv1、及び、物体ベクトルv2、並びに、順方向ベクトル、及び、逆方向ベクトル等から、注目画素Pが、カバードバックグラウンド領域の画素、アンカバードバックグラウンド領域の画素、又は、カバードバックグラウンド領域、及び、アンカバードバックグラウンド領域のいずれの領域でもない領域の画素のうちのいずれであるかを判定することができる。
【０８３７】
図４７は、図５の補間画素動き判定部１４が、図７のステップＳ１５で行う処理（補間画素動き判定処理）を説明するフローチャートである。
【０８３８】
補間画素動き判定部１４は、ステップＳ１７１において、注目フレーム（補間フレーム）の画素のうちの、まだ、注目画素としていない画素の１つを、注目画素に選択し、処理は、ステップＳ１７２に進む。
【０８３９】
ステップＳ１７２では、補間画素動き判定部１４は、注目画素Pについて、候補ベクトル算出部１２（図５）からの、注目画素Pの背景ベクトルv1に平行で、注目画素Pを通る直線L1上の、過去側フレームの画素P1(n-1)、及び、未来側フレームの画素P1(n)を特定する。
【０８４０】
さらに、補間画素動き判定部１４は、注目画素Pについて、候補ベクトル検出部１２からの、注目画素Pの物体ベクトルv2に平行で、注目画素Pを通る直線L2上の、過去側フレームの画素P2(n-1)、及び、未来側フレームの画素P2(n)を特定する。
【０８４１】
また、補間画素動き判定部１４は、注目画素Pについて、０ベクトルv3に平行で、注目画素Pを通る直線L3上の、過去側フレームの画素P3(n-1)、及び、未来側フレームの画素P3(n)を特定する。
【０８４２】
そして、処理は、ステップＳ１７２からステップＳ１７３に進み、補間画素動き判定部１４は、図４６で説明したように、注目画素Pについて、過去側フレームの画素P1(n-1)についての順方向ベクトルv1(n-1)、及び、未来側フレームの画素P1(n)についての逆方向ベクトルv1(n)を、画素単位動き推定部１３（図５）からの順方向ベクトル、及び、逆方向ベクトルから特定する。
【０８４３】
さらに、補間画素動き判定部１４は、図４６で説明したように、注目画素Pについて、過去側フレームの画素P2(n-1)についての順方向ベクトルv2(n-1)、及び、未来側フレームの画素P2(n)についての逆方向ベクトルv2(n)を、画素単位動き推定部１３からの順方向ベクトル、及び、逆方向ベクトルから特定する。
【０８４４】
また、補間画素動き判定部１４は、注目画素Pについて、過去側フレームの画素P3(n-1)についての順方向ベクトルv3(n-1)、及び、未来側フレームの画素P3(n)についての逆方向ベクトルv3(n)を、画素単位動き推定部１３からの順方向ベクトル、及び、逆方向ベクトルから特定する。
【０８４５】
その後、処理は、ステップＳ１７３からステップＳ１７４に進み、補間画素動き判定部１４は、順方向ベクトルv1(n-1)、逆方向ベクトルv1(n)、順方向ベクトルv2(n-1)、逆方向ベクトルv2(n)、順方向ベクトルv3(n-1)、及び、逆方向ベクトルv3(n)のうちの必要なベクトルを用いて、動き判定とC/UC判定を行う。
【０８４６】
さらに、補間画素動き判定部１４は、注目画素Pについての、動き判定の結果を表す動き情報と、C/UC判定の結果を表すC/UC情報とを、補間画像生成部１５（図５）に供給して、処理は、ステップＳ１７４からステップＳ１７５に進む。
【０８４７】
ステップＳ１７５では、補間画素動き判定部１４は、注目フレームの画素の中で、まだ、注目画素としていない画素があるかどうかを判定する。
【０８４８】
ステップＳ１７５において、注目フレームの画素の中に、まだ、注目画素としていない画素があると判定された場合、処理は、ステップＳ１７１に戻る。
【０８４９】
また、ステップＳ７１５において、注目フレームの画素の中に、注目画素としていない画素がないと判定された場合、処理は終了する（リターンする）。
【０８５０】
図４８は、図４７のステップＳ１７４で行われる動き判定とC/UC判定の処理（判定処理）を説明するフローチャートである。
【０８５１】
ステップＳ２０１において、補間画素動き判定部１４は、逆方向ベクトルv3(n)が、０ベクトルv3に類似し、かつ、順方向ベクトルv3(n-1)も、０ベクトルv3に類似するかどうかを判定する。
【０８５２】
ステップＳ２０１において、逆方向ベクトルv3(n)が、０ベクトルv3に類似し、かつ、順方向ベクトルv3(n-1)も、０ベクトルv3に類似すると判定された場合、処理は、ステップＳ２０２に進み、補間画素動き判定部１４は、注目画素Pの動きベクトルが、０ベクトルv3である旨の動き情報を出力する。
【０８５３】
さらに、ステップＳ２０２では、補間画素動き判定部１４は、注目画素Pが、カバードバックグラウンド領域、及び、アンカバードバックグラウンド領域のいずれの領域でもない領域の画素（以下、通常画素ともいう）である旨のC/UC情報を出力し、処理を終了する（リターンする）。
【０８５４】
なお、補間画素動き判定部１４が出力する動き情報、及び、C/UC情報は、補間画像生成部１５（図５）に供給される。
【０８５５】
ここで、逆方向ベクトルv3(n)が、０ベクトルv3に類似し、かつ、順方向ベクトルv3(n-1)も、０ベクトルv3に類似する場合（以下、ステップＳ２０１の判定結果が真の場合ともいう）、過去側フレームの画素P3(n-1)から、静止を表す０ベクトルv3だけ順方向に移動した位置の、未来側フレームの画素P3(n)についての逆方向ベクトルv3(n)が、０ベクトルv3に類似する。
【０８５６】
さらに、ステップＳ２０１の判定結果が真の場合、未来側フレームの画素P3(n)から、静止を表す０ベクトルv3だけ逆方向に移動した（戻った）位置の、過去側フレームの画素P3(n-1)についての順方向ベクトルv3(n-1)が、物体ベクトルv3に類似する。
【０８５７】
したがって、例えば、未来側フレームの画素P3(n)（に写るテクスチャ）が、逆方向に向かって静止していると仮定した場合に、未来側フレームの画素P3(n)と同一の位置の、過去側フレームの画素P3(n-1)は、順方向に向かって、静止している（０ベクトルv3で表される動きをしている）。
【０８５８】
よって、未来側フレームの画素P3(n)が、逆方向に向かって静止しているとの仮定は正しく、画素P3(n)とP3(n-1)とは、対応するテクスチャ（同一のテクスチャ）が写っていることになる。
【０８５９】
一方、ステップＳ２０１において、逆方向ベクトルv3(n)が、０ベクトルv3に類似しないか、又は、順方向ベクトルv3(n-1)が、０ベクトルv3に類似しない場合、処理は、ステップＳ２０３に進み、補間画素動き判定部１４は、逆方向ベクトルv2(n)が、物体ベクトルv2に類似し、かつ、順方向ベクトルv2(n-1)も、物体ベクトルv2に類似するかどうかを判定する。
【０８６０】
ステップＳ２０３において、逆方向ベクトルv2(n)が、物体ベクトルv2に類似し、かつ、順方向ベクトルv2(n-1)も、物体ベクトルv2に類似すると判定された場合、処理は、ステップＳ２０４に進み、補間画素動き判定部１４は、注目画素Pの動きベクトルが、物体ベクトルv2である旨の動き情報を出力する。
【０８６１】
さらに、ステップＳ２０４では、補間画素動き判定部１４は、注目画素Pが、通常画素である旨のC/UC情報を出力し、処理を終了する（リターンする）。
【０８６２】
ここで、逆方向ベクトルv2(n)が、物体ベクトルv2に類似し、かつ、順方向ベクトルv2(n-1)も、物体ベクトルv2に類似する場合（以下、ステップＳ２０３の判定結果が真の場合ともいう）、過去側フレームの画素P2(n-1)から、物体ベクトルv2だけ順方向に移動した位置の、未来側フレームの画素P2(n)についての逆方向ベクトルv2(n)が、物体ベクトルv2に類似する。
【０８６３】
さらに、ステップＳ２０３の判定結果が真の場合、未来側フレームの画素P2(n)から、物体動きを表す物体ベクトルv2だけ逆方向に移動した（戻った）位置の、過去側フレームの画素P2(n-1)についての順方向ベクトルv2(n-1)が、物体ベクトルv2に類似する。
【０８６４】
したがって、例えば、未来側フレームの画素P2(n)（に写るテクスチャ）が、逆方向に向かって物体ベクトルv2で表される物体動きをしている物体であると仮定した場合に、未来側フレームの画素P2(n)から、物体動きを表す物体ベクトルv2だけ逆方向に移動した（戻った）位置の、過去側フレームの画素P2(n-1)は、順方向に向かって物体ベクトルv2で表される物体動きをしている。
【０８６５】
よって、未来側フレームの画素P2(n)が、物体ベクトルv2で表される物体動きをしているとの仮定は正しく、画素P2(n)とP2(n-1)とは、対応する（物体の）テクスチャが写っていることになる。
【０８６６】
一方、ステップＳ２０３において、逆方向ベクトルv2(n)が、物体ベクトルv2に類似しないか、又は、順方向ベクトルv2(n-1)が、物体ベクトルv2に類似しない場合、処理は、ステップＳ２０５に進み、補間画素動き判定部１４は、逆方向ベクトルv1(n)が、背景ベクトルv1に類似し、かつ、順方向ベクトルv1(n-1)も、背景ベクトルv1に類似するかどうかを判定する。
【０８６７】
ステップＳ２０５において、逆方向ベクトルv1(n)が、背景ベクトルv1に類似し、かつ、順方向ベクトルv1(n-1)も、背景ベクトルv1に類似すると判定された場合、処理は、ステップＳ２０６に進み、補間画素動き判定部１４は、注目画素Pの動きベクトルが、背景ベクトルv1である旨の動き情報を出力する。
【０８６８】
さらに、ステップＳ２０６では、補間画素動き判定部１４は、注目画素Pが、通常画素である旨のC/UC情報を出力し、処理を終了する（リターンする）。
【０８６９】
ここで、逆方向ベクトルv1(n)が、背景ベクトルv1に類似し、かつ、順方向ベクトルv1(n-1)も、背景ベクトルv1に類似する場合（以下、ステップＳ２０５の判定結果が真の場合ともいう）、過去側フレームの画素P1(n-1)から、背景ベクトルv1だけ順方向に移動した位置の、未来側フレームの画素P1(n)についての逆方向ベクトルv1(n)が、背景ベクトルv1に類似する。
【０８７０】
さらに、ステップＳ２０５の判定結果が真の場合、未来側フレームの画素P1(n)から、背景動きを表す背景ベクトルv1だけ逆方向に移動した（戻った）位置の、過去側フレームの画素P1(n-1)についての順方向ベクトルv1(n-1)が、背景ベクトルv1に類似する。
【０８７１】
したがって、例えば、未来側フレームの画素P1(n)（に写るテクスチャ）が、背景ベクトルv1で表される背景動きをしている背景であると仮定した場合に、未来側フレームの画素P1(n)から背景ベクトルv1だけ逆方向に移動した（戻った）位置の、過去側フレームの画素P1(n-1)は、順方向に向かって背景ベクトルv1で表される背景動きをしている。
【０８７２】
よって、未来側フレームの画素P1(n)が、背景ベクトルv1で表される背景動きをしているとの仮定は正しく、画素P1(n)とP1(n-1)とは、対応する（背景の）テクスチャが写っていることになる。
【０８７３】
一方、ステップＳ２０５において、逆方向ベクトルv1(n)が、背景ベクトルv1に類似しないか、又は、順方向ベクトルv1(n-1)が、背景ベクトルv1に類似しないと判定された場合、処理は、図４９のステップＳ２１１に進む。
【０８７４】
すなわち、図４９は、図４８に続くフローチャートである。
【０８７５】
図４９のステップＳ２１１では、補間画像動き判定部１４は、順方向ベクトルv2(n-1)が、背景ベクトルv1に類似するかどうかを判定する。
【０８７６】
ステップＳ２１１において、順方向ベクトルv2(n-1)が、背景ベクトルv1に類似すると判定された場合、処理は、ステップＳ２１２に進み、補間画素動き判定部１４は、注目画素Pの動きベクトルが、背景ベクトルv1である旨の動き情報を出力する。
【０８７７】
さらに、ステップＳ２１２では、補間画素動き判定部１４は、注目画素Pが、アンカバードバックグラウンド領域の画素（以下、アンカバード画素ともいう）である旨のC/UC情報を出力し、処理を終了する（リターンする）。
【０８７８】
ここで、ステップＳ２１１（以降）の処理が行われる場合とは、図４８のステップＳ２０１，Ｓ２０３、及びＳ２０５の判定結果が、いずれも真ではない場合である。
【０８７９】
したがって、ステップＳ２１１の処理が行われる場合、未来側フレームの画素P1(n)と、過去側フレームの画素P1(n-1)とには、対応するテクスチャが写っていない。
【０８８０】
さらに、未来側フレームの画素P2(n)と、過去側フレームの画素P2(n-1)とにも、対応するテクスチャは写っておらず、未来側フレームの画素P3(n)と、過去側フレームの画素P3(n-1)とにも、対応するテクスチャは写っていない。
【０８８１】
ところで、順方向ベクトルv2(n-1)が、背景ベクトルv1に類似する場合（以下、ステップＳ２１１の判定結果が真の場合ともいう）とは、未来側フレームの画素P2(n)から、物体動きを表す物体ベクトルv2だけ逆方向に移動した（戻った）位置の、過去側フレームの画素P2(n-1)についての順方向ベクトルv2(n-1)が、背景ベクトルv1に類似する場合である。
【０８８２】
したがって、例えば、未来側フレームの画素P2(n)が、逆方向に、物体ベクトルv2で表される物体動きをしている物体が写っている画素（以下、物体画素ともいう）であると仮定した場合に、未来側フレームの画素P2(n)から、物体ベクトルv2だけ逆方向に移動した位置の、過去側フレームの画素P2(n-1)は、物体ベクトルv2で表される物体動きではなく、背景ベクトルv1で表される背景動きをしている（順方向ベクトルv2(n-1)が背景ベクトルv1に類似するため）。
【０８８３】
よって、過去側フレームの画素P2(n-1)は、背景が写っている画素（以下、背景画素ともいう）である。
【０８８４】
そして、未来側フレームの画素P2(n)から、物体ベクトルv2だけ逆方向に移動した（戻った）位置の、過去側フレームの画素P2(n-1)が背景画素なのであるから、未来側フレームの画素P2(n)が物体画素であるとの仮定は誤りであり、画素P2(n)は、背景画素である。
【０８８５】
しかしながら、ステップＳ２１１の処理が行われる場合とは、図４８のステップＳ２０１，Ｓ２０３、及びＳ２０５の判定結果が、いずれも真ではない場合であり、上述したように、未来側フレームの画素P2(n)と、過去側フレームの画素P2(n-1)とには、対応するテクスチャは写っていない。
【０８８６】
すなわち、未来側フレームの画素P2(n)に写っている背景（のテクスチャ）は、過去側フレームには写っていない。
【０８８７】
したがって、未来側フレームの画素P2(n)に写っている背景は、物体が、物体ベクトルv2だけ順方向に移動するとともに、背景が、背景ベクトルv1だけ順方向に移動することにより現れた、過去側フレームには写っていない背景である。
【０８８８】
以上のように、過去側フレームに写る物体及び背景が移動することにより、未来側フレームに現れる、過去側フレームには写っていない背景が写っている、未来側フレームの画素P2(n)の領域が、アンカバードバックグラウンド領域である。
【０８８９】
本明細書では、便宜的に、未来側フレームのアンカバードバックグラウンド領域の画素P2(n)に対して注目画素Pとなる補間フレームの画素も、アンカバードバックグラウンド領域の画素（アンカバード画素）という。
【０８９０】
ここで、順方向ベクトルv2(n-1)が、背景ベクトルv1に類似する場合（ステップＳ２１１の判定結果が真の場合）とは、上述したように、物体が、物体ベクトルv2だけ順方向に移動するとともに、背景が、背景ベクトルv1だけ順方向に移動することにより、物体ベクトルv2に従って移動する物体の後ろ側から、背景ベクトルv1に従って移動する背景が、未来側フレームの画素P2(n)に現れる場合であるが、本明細書では、この未来側フレームの画素P2(n)に現れる背景は、注目画素Pにも現れることとする。
【０８９１】
この場合、注目画素Pは、物体ベクトルv2に従って移動する物体の後ろ側から、背景ベクトルv1に従って移動する背景が現れ、その背景が写っているアンカバード画素ということができるが、このようなアンカバード画素を、以下、ベクトルv2に対するv1のアンカバード画素ともいう。
【０８９２】
補間画素動き判定部１４は、ステップＳ２１２において、注目画素Pが、ベクトルv2に対するv1のアンカバード画素である旨のC/UC情報を出力する。
【０８９３】
一方、ステップＳ２１１において、順方向ベクトルv2(n-1)が、背景ベクトルv1に類似しないと判定された場合、処理は、ステップＳ２１３に進み、補間画像動き判定部１４は、逆方向ベクトルv2(n)が、背景ベクトルv1に類似するかどうかを判定する。
【０８９４】
ステップＳ２１３において、逆方向ベクトルv2(n)が、背景ベクトルv1に類似すると判定された場合、処理は、ステップＳ２１４に進み、補間画素動き判定部１４は、注目画素Pの動きベクトルが、背景ベクトルv1である旨の動き情報を出力する。
【０８９５】
さらに、ステップＳ２１４では、補間画素動き判定部１４は、注目画素Pが、カバードバックグラウンド領域の画素（以下、カバード画素ともいう）である旨のC/UC情報を出力し、処理を終了する（リターンする）。
【０８９６】
ここで、ステップＳ２１１以降の処理が行われる場合とは、上述したように、図４８のステップＳ２０１，Ｓ２０３、及びＳ２０５の判定結果が、いずれも真ではない場合である。
【０８９７】
したがって、ステップＳ２１３の処理が行われる場合、未来側フレームの画素P1(n)と、過去側フレームの画素P1(n-1)とには、対応するテクスチャが写っていない。
【０８９８】
さらに、未来側フレームの画素P2(n)と、過去側フレームの画素P2(n-1)とにも、対応するテクスチャは写っておらず、未来側フレームの画素P3(n)と、過去側フレームの画素P3(n-1)とにも、対応するテクスチャは写っていない。
【０８９９】
ところで、逆方向ベクトルv2(n)が、背景ベクトルv1に類似する場合（以下、ステップＳ２１３の判定結果が真の場合ともいう）とは、過去側フレームの画素P2(n-1)から、物体動きを表す物体ベクトルv2だけ順方向に移動した位置の、未来側フレームの画素P2(n)についての逆方向ベクトルv2(n)が、背景ベクトルv1に類似する場合である。
【０９００】
したがって、例えば、過去側フレームの画素P2(n-1)が、物体ベクトルv2で表される物体動きをしている物体が写っている画素（物体画素）であると仮定した場合に、過去側フレームの画素P2(n-1)から、物体ベクトルv2だけ順方向に移動した位置の、未来側フレームの画素P2(n)は、物体ベクトルv2で表される物体動きではなく、背景ベクトルv1で表される背景動きをしている（逆方向ベクトルv2(n)が背景ベクトルv1に類似するため）。
【０９０１】
よって、未来側フレームの画素P2(n)は、背景が写っている画素（背景画素）である。
【０９０２】
そして、過去側フレームの画素P2(n-1)から、物体ベクトルv2だけ順方向に移動した位置の、未来側フレームの画素P2(n)が背景画素なのであるから、過去側フレームの画素P2(n-1)が物体画素であるとの仮定は誤りであり、画素P2(n-1)は、背景画素である。
【０９０３】
しかしながら、ステップＳ２１３の処理が行われる場合とは、図４８のステップＳ２０１，Ｓ２０３、及びＳ２０５の判定結果が、いずれも真ではない場合であり、上述したように、過去側フレームの画素P2(n-1)と、未来側フレームの画素P2(n)とには、対応するテクスチャは写っていない。
【０９０４】
すなわち、過去側フレームの画素P2(n-1)に写っている背景（のテクスチャ）は、未来側フレームには写っていない。
【０９０５】
したがって、過去側フレームの画素P2(n-1)に写っている背景は、物体が、物体ベクトルv2だけ順方向に移動するとともに、背景が、背景ベクトルv1だけ順方向に移動することにより（物体の後ろ側に）隠れてしまった、未来側フレームには写っていない背景である。
【０９０６】
以上のように、過去側フレームに写る物体及び背景が移動することにより、未来側フレームにおいて、物体の後ろ側に隠れる背景が写っている、過去側フレームの画素P2(n-1)の領域が、カバードバックグラウンド領域である。
【０９０７】
本明細書では、便宜的に、過去側フレームのカバードバックグラウンド領域の画素P2(n-1)に対して注目画素Pとなる補間フレームの画素も、カバードバックグラウンド領域の画素（カバード画素）という。
【０９０８】
ここで、逆方向ベクトルv2(n)が、背景ベクトルv1に類似する場合（ステップＳ２１３の判定結果が真の場合）とは、上述したように、物体が、物体ベクトルv2だけ順方向に移動するとともに、背景が、背景ベクトルv1だけ順方向に移動することにより、過去側フレームの画素P2(n-1)に写っている、背景ベクトルv1に従って移動する背景が、未来側フレームにおいて、物体ベクトルv2に従って移動する物体の後ろ側に隠れる場合であるが、本明細書では、この物体の後ろ側に隠れる背景は、注目画素Pには写っていることとする。
【０９０９】
この場合、注目画素Pは、物体ベクトルv2に従って移動する物体の後ろ側に隠れてしまう、背景ベクトルv1に従って移動する背景が写っているカバード画素ということができるが、このようなカバード画素を、以下、ベクトルv2に対するv1のカバード画素ともいう。
【０９１０】
補間画素動き判定部１４は、ステップＳ２１４において、注目画素Pが、ベクトルv2に対するv1のカバード画素である旨のC/UC情報を出力する。
【０９１１】
一方、ステップＳ２１３において、逆方向ベクトルv2(n)が、背景ベクトルv1に類似しないと判定された場合、処理は、ステップＳ２１５に進み、補間画素動き判定部１４は、順方向ベクトルv3(n-1)が、背景ベクトルv1に類似するかどうかを判定する。
【０９１２】
ステップＳ２１５において、順方向ベクトルv3(n-1)が、背景ベクトルv1に類似すると判定された場合、処理は、ステップＳ２１６に進み、補間画素動き判定部１４は、注目画素Pの動きベクトルが、背景ベクトルv1である旨の動き情報を出力する。
【０９１３】
さらに、ステップＳ２１６では、補間画素動き判定部１４は、注目画素Pが、ベクトルv3に対するv1のアンカバード画素である旨のC/UC情報を出力し、処理を終了する（リターンする）。
【０９１４】
また、ステップＳ２１５において、順方向ベクトルv3(n-1)が、背景ベクトルv1に類似しないと判定された場合、処理は、図５０のステップＳ２２１に進む。
【０９１５】
すなわち、図５０は、図４９に続くフローチャートである。
【０９１６】
図５０のステップＳ２２１では、補間画素動き判定部１４は、逆方向ベクトルv3(n)が、背景ベクトルv1に類似するかどうかを判定する。
【０９１７】
ステップＳ２２１において、逆方向ベクトルv3(n)が、背景ベクトルv1に類似すると判定された場合、処理は、ステップＳ２２２に進み、補間画素動き判定部１４は、注目画素Pの動きベクトルが、背景ベクトルv1である旨の動き情報を出力する。
【０９１８】
さらに、ステップＳ２２２では、補間画素動き判定部１４は、注目画素Pが、ベクトルv3に対するv1のカバード画素である旨のC/UC情報を出力し、処理を終了する（リターンする）。
【０９１９】
また、ステップＳ２２１において、逆方向ベクトルv3(n)が、背景ベクトルv1に類似しないと判定された場合、処理は、ステップＳ２２３に進み、補間画素動き判定部１４は、順方向ベクトルv3(n-1)が、物体ベクトルv2に類似するかどうかを判定する。
【０９２０】
ステップＳ２２３において、順方向ベクトルv3(n-1)が、物体ベクトルv2に類似すると判定された場合、処理は、ステップＳ２２４に進み、補間画素動き判定部１４は、注目画素Pの動きベクトルが、物体ベクトルv2である旨の動き情報を出力する。
【０９２１】
さらに、ステップＳ２２４では、補間画素動き判定部１４は、注目画素Pが、ベクトルv3に対するv2のアンカバード画素である旨のC/UC情報を出力し、処理を終了する（リターンする）。
【０９２２】
また、ステップＳ２２３において、順方向ベクトルv3(n-1)が、物体ベクトルv2に類似しないと判定された場合、処理は、ステップＳ２２５に進み、補間画素動き判定部１４は、逆方向ベクトルv3(n)が、物体ベクトルv2に類似するかどうかを判定する。
【０９２３】
ステップＳ２２５において、逆方向ベクトルv3(n)が、物体ベクトルv2に類似すると判定された場合、処理は、ステップＳ２２６に進み、補間画素動き判定部１４は、注目画素Pの動きベクトルが、物体ベクトルv2である旨の動き情報を出力する。
【０９２４】
さらに、ステップＳ２２６では、補間画素動き判定部１４は、注目画素Pが、ベクトルv3に対するv2のカバード画素である旨のC/UC情報を出力し、処理を終了する（リターンする）。
【０９２５】
また、ステップＳ２２５において、逆方向ベクトルv3(n)が、物体ベクトルv2に類似しないと判定された場合、処理は、ステップＳ２２７に進み、補間画素動き判定部１４は、注目画素Pの動きベクトルが、不明である旨の動き情報と、注目画素Pが、アンカバード画素か、又はカバード画素であるか不明である旨のC/UC情報とを出力し、処理を終了する（リターンする）。
【０９２６】
図５１は、注目画素Pが、ベクトルv2に対するv1のアンカバード画素となる場合を示している。
【０９２７】
すなわち、図５１は、背景ベクトルv1に従って移動する背景と、物体ベクトルv2に従って移動する物体とが写った入力画像の例を示している。
【０９２８】
なお、図５１において、横軸は、時間（フレーム数）を表し、縦軸は、画像の垂直方向を表す。
【０９２９】
また、図５１において、数字を付してある正方形は、背景の画像の１画素分を表しており、陰を付してある部分は、物体の画像を表している。
【０９３０】
図５１では、背景は、１フレームあたり、１画素分の距離を、上方向に移動しており、物体は、１フレームあたり、３画素分の距離を、下方向に移動している。
【０９３１】
さらに、図５１では、入力画像の第n-1フレームと第nフレームが、それぞれ、過去側フレームと未来側フレームとなっている。
【０９３２】
そして、図５１では、図４６で説明したように、過去側フレームの画素P1(n-1)は、注目画素Pの背景ベクトルv1に平行で、注目画素Pを通る直線L1上の、過去側フレームの画素になっており、未来側フレームの画素P1(n)は、注目画素Pの背景ベクトルv1に平行で、注目画素Pを通る直線L1上の、未来側フレームの画素になっている。
【０９３３】
さらに、図５１では、過去側フレームの画素P2(n-1)は、注目画素Pの物体ベクトルv2に平行で、注目画素Pを通る直線L2上の、過去側フレームの画素になっており、未来側フレームの画素P2(n)は、注目画素Pの物体ベクトルv2に平行で、注目画素Pを通る直線L2上の、未来側フレームの画素になっている。
【０９３４】
図５１では、未来側フレームの画素P1(n)と、過去側フレームの画素P1(n-1)とには、対応するテクスチャが写っておらず、未来側フレームの画素P2(n)と、過去側フレームの画素P2(n-1)とにも、対応するテクスチャは写っていない。
【０９３５】
また、過去側フレームの画素P2(n-1)の順方向ベクトルv2(n-1)が、背景ベクトルv1に類似しており、したがって、図５１は、図４９のステップＳ２１１の判定結果が真となる場合を表している。
【０９３６】
図５１において、未来側フレームの画素P2(n)が、物体ベクトルv2で表される物体動きをしている物体が写っている画素（物体画素）であると仮定した場合、未来側フレームの画素P2(n)から、物体ベクトルv2だけ逆方向に移動した位置の、過去側フレームの画素P2(n-1)は、物体ベクトルv2で表される物体動きではなく、背景ベクトルv1（に類似する順方向ベクトルv2(n-1)）で表される背景動きをしている。
【０９３７】
よって、過去側フレームの画素P2(n-1)は、背景が写っている画素（背景画素）である。
【０９３８】
そして、未来側フレームの画素P2(n)から、物体ベクトルv2だけ逆方向に移動した（戻った）位置の、過去側フレームの画素P2(n-1)が背景画素なのであるから、未来側フレームの画素P2(n)が物体画素であるとの仮定は誤りであり、画素P2(n)は、背景画素である。
【０９３９】
しかしながら、上述したように、未来側フレームの画素P2(n)と、過去側フレームの画素P2(n-1)とには、対応するテクスチャは写っていない。
【０９４０】
すなわち、未来側フレームの画素P2(n)に写っている背景（のテクスチャ）は、過去側フレームには写っていない。
【０９４１】
したがって、未来側フレームの画素P2(n)に写っている背景（図５１において、番号#11で表す画像）は、物体が、物体ベクトルv2だけ順方向に移動するとともに、背景が、背景ベクトルv1だけ順方向に移動することにより現れた、過去側フレームには写っていない背景であり、アンカバードバックグラウンド領域の画像である。
【０９４２】
この場合、補間画素動き判定部１４では、注目画素Pは、物体ベクトルv2に従って移動する物体の後ろ側から、背景ベクトルv1に従って移動する背景が現れ、その背景が写っているアンカバード画素、すなわち、ベクトルv2に対するv1のアンカバード画素であると判定される（図４９のステップＳ２１２）。
【０９４３】
図５２は、注目画素Pが、ベクトルv2に対するv1のカバード画素となる場合を示している。
【０９４４】
すなわち、図５２は、図５１と同一の入力画像を示している。
【０９４５】
そして、図５２でも、図５１と同様に、入力画像の第n-1フレームと第nフレームが、それぞれ、過去側フレームと未来側フレームとなっている。
【０９４６】
さらに、過去側フレームの画素P1(n-1)は、注目画素Pの背景ベクトルv1に平行で、注目画素Pを通る直線L1上の、過去側フレームの画素になっており、未来側フレームの画素P1(n)は、注目画素Pの背景ベクトルv1に平行で、注目画素Pを通る直線L1上の、未来側フレームの画素になっている。
【０９４７】
また、過去側フレームの画素P2(n-1)は、注目画素Pの物体ベクトルv2に平行で、注目画素Pを通る直線L2上の、過去側フレームの画素になっており、未来側フレームの画素P2(n)は、注目画素Pの物体ベクトルv2に平行で、注目画素Pを通る直線L2上の、未来側フレームの画素になっている。
【０９４８】
図５２では、未来側フレームの画素P1(n)と、過去側フレームの画素P1(n-1)とには、対応するテクスチャが写っておらず、未来側フレームの画素P2(n)と、過去側フレームの画素P2(n-1)とにも、対応するテクスチャは写っていない。
【０９４９】
そして、図５２では、未来側フレームの画素P2(n)の逆方向ベクトルv2(n)が、背景ベクトルv1に類似しており、したがって、図５２は、図４９のステップＳ２１３の判定結果が真となる場合を表している。
【０９５０】
図５２において、過去側フレームの画素P2(n-1)が、物体ベクトルv2で表される物体動きをしている物体が写っている画素（物体画素）であると仮定した場合、過去側フレームの画素P2(n-1)から、物体ベクトルv2だけ順方向に移動した位置の、未来側フレームの画素P2(n)は、物体ベクトルv2で表される物体動きではなく、背景ベクトルv1（に類似する逆方向ベクトルv2(n)）で表される背景動きをしている。
【０９５１】
よって、未来側フレームの画素P2(n)は、背景が写っている画素（背景画素）である。
【０９５２】
そして、過去側フレームの画素P2(n-1)から、物体ベクトルv2だけ順方向に移動した位置の、未来側フレームの画素P2(n)が背景画素なのであるから、過去側フレームの画素P2(n-1)が物体画素であるとの仮定は誤りであり、画素P2(n-1)は、背景画素である。
【０９５３】
しかしながら、上述したように、過去側フレームの画素P2(n-1)と、未来側フレームの画素P2(n)とには、対応するテクスチャは写っていない。
【０９５４】
すなわち、過去側フレームの画素P2(n-1)に写っている背景（のテクスチャ）は、未来側フレームには写っていない。
【０９５５】
したがって、過去側フレームの画素P2(n-1)に写っている背景（図５２において、番号#15で表す画像）は、物体が、物体ベクトルv2だけ順方向に移動するとともに、背景が、背景ベクトルv1だけ順方向に移動することにより物体の後ろ側に隠れてしまった、未来側フレームには写っていない背景であり、カバードバックグラウンド領域の画像である。
【０９５６】
この場合、補間画像動き判定部１４では、注目画素Pは、物体ベクトルv2に従って移動する物体の後ろ側に隠れてしまう、背景ベクトルv1に従って移動する背景が写っているカバード画素、すなわち、ベクトルv2に対するv1のカバード画素と判定される（図４９のステップＳ２１４）。
【０９５７】
なお、ここでは、補間画像動き判定部１４において、背景ベクトルv1、物体ベクトルv2、０ベクトルv3の３つのベクトルを、注目画素Pの動きを表す候補として、その３つのベクトルの候補の中から、注目画素Pの動きベクトルを判定することとしたが、注目画素Pの動きベクトルの判定は、注目画素Pの動きを表すベクトルの４個以上の候補を用いて行うことが可能である。
【０９５８】
但し、この場合、注目画素Pの動きベクトルの誤りを低減することができるが、処理量やハードウェアが増加する。
【０９５９】
［補間画像生成部１５の構成例］
【０９６０】
図５３は、図５の補間画像生成部１５の構成例を示すブロック図である。
【０９６１】
補間画像生成部１５は、候補ベクトル算出部１２からの背景ベクトルv1、若しくは物体ベクトルv2、又は０ベクトルのうちの、補間画素動き判定部１４からの動き情報が表す、注目画素の動きベクトルに従い、外部からの入力画像における過去側フレーム、及び未来側フレームのうちの少なくとも一方の動き補償を行う。
【０９６２】
さらに、補間画像生成部１５は、補間画素動き判定部１４からのC/UC情報に基づいて、動き補償によって得られる動き補償画像の画素から、注目画素の生成に用いる画素を選択し、その画素（の画素値）を用いて、注目画素（の画素値）を生成する。
【０９６３】
すなわち、図５３において、補間画像生成部１５は、動き補償部１１１、画素選択部１１２、及び、加算部１１３から構成される。
【０９６４】
動き補償部１１１には、外部からの入力画像と、候補ベクトル算出部１２からの注目画素の背景ベクトルv1及び物体ベクトルv2とが供給される。
【０９６５】
動き補償部１１１は、フィルタリングによって、画像の位相をシフトする位相シフトフィルタで構成される。動き補償部１１１は、外部からの入力画像の過去側フレーム、及び未来側フレームのそれぞれを、候補ベクトル算出部１２からの注目画素の背景ベクトルv1及びv2のそれぞれに従ってフィルタリングすることにより動き補償する。
【０９６６】
すなわち、動き補償部１１１は、過去側フレームを、候補ベクトル算出部１２からの注目画素の背景ベクトルv1に従って動き補償することにより、注目画素（補間画素）を通り、注目画素の背景ベクトルv1に平行な直線と交わる過去側フレーム上の画素の位置が、注目画素の位置に一致するように、過去側フレームの位相（画素の位置）をシフトした画像（以下、背景過去側動き補償画像ともいう）を生成する。
【０９６７】
さらに、動き補償部１１１は、未来側フレームを、候補ベクトル算出部１２からの注目画素の背景ベクトルv1に従って動き補償することにより、注目画素を通り、注目画素の背景ベクトルv1に平行な直線と交わる未来側フレーム上の画素の位置が、注目画素の位置に一致するように、未来側フレームの位相をシフトした画像（以下、背景未来側動き補償画像ともいう）を生成する。
【０９６８】
また、動き補償部１１１は、過去側フレームを、候補ベクトル算出部１２からの注目画素の物体ベクトルv2に従って動き補償することにより、注目画素を通り、注目画素の物体ベクトルv2に平行な直線と交わる過去側フレーム上の画素の位置が、注目画素の位置に一致するように、過去側フレームの位相をシフトした画像（以下、物体過去側動き補償画像ともいう）を生成する。
【０９６９】
さらに、動き補償部１１１は、未来側フレームを、候補ベクトル算出部１２からの注目画素の物体ベクトルv2に従って動き補償することにより、注目画素を通り、注目画素の物体ベクトルv2に平行な直線と交わる未来側フレーム上の画素の位置が、注目画素の位置に一致するように、未来側フレームの位相をシフトした画像（以下、物体未来側動き補償画像ともいう）を生成する。
【０９７０】
動き補償部１１１で生成された背景過去側動き補償画像、背景未来側動き補償画像、物体過去側動き補償画像、及び、物体未来側動き補償画像は、画素選択部１１２に供給される。
【０９７１】
画素選択部１１２には、動き補償部１１１からの背景過去側動き補償画像、背景未来側動き補償画像、物体過去側動き補償画像、及び、物体未来側動き補償画像が供給される他、外部からの入力画像と、補間画素動き判定部１４（図５）からの動き情報とが供給される。
【０９７２】
画素選択部１１２は、補間画素動き判定部１４からの動き情報に基づき、動き補償部１１１からの背景過去側動き補償画像、背景未来側動き補償画像、物体過去側動き補償画像、及び、物体未来側動き補償画像、並びに、外部からの入力画像の過去側フレーム、及び、未来側フレームから、注目画素（の画素値）の生成に用いる画素を選択する。
【０９７３】
すなわち、動き情報が、注目画素の動きベクトルが背景ベクトルv1である旨を表している場合、画素選択部１１２は、背景過去側動き補償画像の、注目画素の位置の画素（の画素値）を、注目画素の生成に用いる１つの画素としての過去側生成用画素として選択する。さらに、この場合、画素選択部１１２は、背景未来側動き補償画像の、注目画素の位置の画素を、注目画素の生成に用いる他の１つの画素としての未来側生成用画素として選択する。
【０９７４】
また、動き情報が、注目画素の動きベクトルが物体ベクトルv2である旨を表している場合、画素選択部１１２は、物体過去側動き補償画像の、注目画素の位置の画素を、過去側生成用画素として選択する。さらに、この場合、画素選択部１１２は、物体未来側動き補償画像の、注目画素の位置の画素を、未来側生成用画素として選択する。
【０９７５】
また、動き情報が、注目画素の動きベクトルが０ベクトルv3である旨を表している場合と、不明である旨を表している場合、画素選択部１１２は、過去側フレームの、注目画素の位置の画素を、過去側生成用画素として選択する。さらに、この場合、画素選択部１１２は、未来側フレームの、注目画素の位置の画素を、未来側生成用画素として選択する。
【０９７６】
画素選択部１１２で選択された過去側生成用画素、及び、未来側生成用画素は、加算部１１３に供給される。
【０９７７】
加算部１１３には、画素選択部１１２からの過去側生成用画素、及び、未来側生成用画素が供給される他、補間画素動き判定部１４（図５）からのC/UC情報が供給される。
【０９７８】
加算部１１３は、補間画素動き判定部１４からのC/UC情報に従い、画素選択部１１２からの過去側生成用画素、及び、未来側生成用画素のうちの一方を選択して、注目画素（補間画素）（の画素値）として、出力画像出力部１６（図５）に供給する。
【０９７９】
あるいは、加算部１１３は、補間画素動き判定部１４からのC/UC情報に従い、画素選択部１１２からの過去側生成用画素、及び、未来側生成用画素（の画素値どうし）の重み付け加算を行い、その結果得られる重み付け加算値を、注目画素として、出力画像出力部１６に供給する。
【０９８０】
図５４を参照して、図５３の補間画像生成部１５の処理（補間画像生成処理）の概要を説明する。
【０９８１】
図５４Ａは、C/UC情報が、注目画素が、通常画素（カバードバックグラウンド領域、及び、アンカバードバックグラウンド領域のいずれの領域でもない領域の画素）である旨を表している場合の補間画像生成処理を説明する図である。
【０９８２】
いま、説明を簡単にするために、注目画素の動き情報が、注目画素の動きベクトルが背景ベクトルv1である旨を表していることとし、背景ベクトルv1だけを考慮することとする。
【０９８３】
動き補償部１１１では、背景ベクトルv1に従い、過去側フレーム（第n-1フレーム）と、未来側フレーム（第nフレーム）との間の注目フレームの時間的位置に応じて、過去側フレーム、及び、未来側フレームのそれぞれの動き補償を行う。
【０９８４】
すなわち、過去側フレームと未来側フレームとの時間的距離（入力画像のフレーム周期）を、aで表し、注目フレームの、過去側フレームからの時間的距離を、bで表すこととする。
【０９８５】
この場合、動き補償部１１１は、過去側フレームを、ベクトルvf1＝(b/a)×v1に従って動き補償(MC)することで、注目画素を通り、注目画素の背景ベクトルv1に平行な直線と交わる過去側フレーム上の画素の位置が、注目画素の位置に一致するように、過去側フレームの位相をシフトした背景過去側動き補償画像を生成する。
【０９８６】
さらに、動き補償部１１１は、未来側フレームを、ベクトルvb1＝(a-b)/a×v1に従って動き補償することで、注目画素を通り、注目画素の背景ベクトルv1に平行な直線と交わる未来側フレーム上の画素の位置が、注目画素の位置に一致するように、未来側フレームの位相をシフトした背景未来側動き補償画像を生成する。
【０９８７】
背景過去側動き補償画像と、背景未来側動き補償画像は、動き補償部１１１から画素選択部１１２に供給される。
【０９８８】
画素選択部１１２では、背景過去側動き補償画像の、注目画素の位置の画素が、過去側生成用画素として選択されるとともに、背景未来側動き補償画像の、注目画素の位置の画素が、未来側生成用画素として選択され、加算部１１３に供給される。
【０９８９】
上述したように、C/UC情報が、注目画素が通常画素である旨を表している場合、加算部１１３では、過去側生成用画素、及び、未来側生成用画素の重み付け加算が、注目フレームの時間的位置に応じた重みを用いて行われ、その結果得られる重み付け加算値が、注目画素として、出力画像出力部１６に供給される。
【０９９０】
すなわち、加算部１１３は、過去側生成用画素と、未来側生成用画素とを、b/aと(a-b)/aとの比で加算することで、注目画素（の画素値）を生成する。
【０９９１】
図５４Ｂは、C/UC情報が、注目画素が、ベクトルv2に対するベクトルv1のアンカバード画素である旨を表している場合の補間画像生成処理を説明する図である。
【０９９２】
なお、図５４Ｂでも、図５４Ａと同様に、注目画素の動き情報が、注目画素の動きベクトルが背景ベクトルv1である旨を表していることとし、背景ベクトルv1だけを考慮することとする。
【０９９３】
動き補償部１１１では、図５４Ａの場合と同様に、背景ベクトルv1に従い、過去側フレーム（第n-1フレーム）と、未来側フレーム（第nフレーム）との間の注目フレームの時間的位置に応じて、過去側フレーム、及び、未来側フレームのそれぞれの動き補償を行う。
【０９９４】
すなわち、動き補償部１１１は、過去側フレームを、ベクトルvf1＝(b/a)×v1に従って動き補償することで、注目画素を通り、注目画素の背景ベクトルv1に平行な直線と交わる過去側フレーム上の画素の位置が、注目画素の位置に一致するように、過去側フレームの位相をシフトした背景過去側動き補償画像を生成する。
【０９９５】
さらに、動き補償部１１１は、未来側フレームを、ベクトルvb1＝(a-b)/a×v1に従って動き補償することで、注目画素を通り、注目画素の背景ベクトルv1に平行な直線と交わる未来側フレーム上の画素の位置が、注目画素の位置に一致するように、未来側フレームの位相をシフトした背景未来側動き補償画像を生成する。
【０９９６】
背景過去側動き補償画像と、背景未来側動き補償画像は、動き補償部１１１から画素選択部１１２に供給される。
【０９９７】
画素選択部１１２では、背景過去側動き補償画像の、注目画素の位置の画素が、過去側生成用画素として選択されるとともに、背景未来側動き補償画像の、注目画素の位置の画素が、未来側生成用画素として選択され、加算部１１３に供給される。
【０９９８】
上述したように、C/UC情報が、注目画素がアンカバード画素である旨を表している場合、加算部１１３では、過去側生成用画素、及び、未来側生成用画素のうちの、未来側生成用画素が、注目画素として選択され、出力画像出力部１６に供給される。
【０９９９】
ここで、上述したように、注目画素がアンカバード画素である場合とは、過去側フレームには現れていない背景が、未来側フレームにおいて、物体の後ろ側から現れる場合である。
【１０００】
この場合、加算部１１３では、上述したように、未来側生成用画素が、注目画素として選択されるので、注目画素は、未来側フレームにおいて、物体の後ろ側から現れる背景が写った画素となる。
【１００１】
なお、C/UC情報が、注目画素がカバード画素である旨を表している場合、加算部１１３では、過去側生成用画素、及び、未来側生成用画素のうちの、過去側生成用画素が、注目画素として選択され、出力画像出力部１６に供給される。
【１００２】
上述したように、注目画素がカバード画素である場合とは、過去側フレームに写っている背景が、未来側フレームにおいて、物体の後ろ側に隠れる場合である。
【１００３】
この場合、加算部１１３では、上述したように、過去側生成用画素が、注目画素として選択されるので、注目画素は、過去側フレームに写っている背景が写った画素となる。
【１００４】
以上のように、補間画像生成部１５において、補間画素動き判定部１４からのC/UC情報に基づいて、動き補償によって得られる動き補償画像の画素から、注目画素の生成に用いる画素を選択することにより、アンカバードバックグラウンド領域や、カバードバックグラウンド領域において、過去側フレームと未来側フレームとの両方の画素を用いて、補間画素（注目画素）が生成され、背景と物体のテクスチャが混合することによる、補間フレームの画質の劣化を防止することができる。
【１００５】
［補間画像生成処理の説明］
【１００６】
図５５は、図５３の補間画像生成部１５が、図７のステップＳ１６で行う処理（補間画像生成処理）を説明するフローチャートである。
【１００７】
補間画像生成部１５において、動き補償部１１１には、外部からの入力画像と、候補ベクトル算出部１２からの背景ベクトルv1及び物体ベクトルv2とが供給される。
【１００８】
また、画素選択部１１２には、外部からの入力画像と、補間画素動き判定部１４（図５）からの動き情報とが供給される。
【１００９】
さらに、加算部１１３には、補間画素動き判定部１４からのC/UC情報が供給される。
【１０１０】
動き補償部１１１は、ステップＳ２５１において、注目フレームの画素（補間画素）のうちの、まだ、注目画素としていない画素の１つを、注目画素に選択し、処理は、ステップＳ２５２に進む。
【１０１１】
ステップＳ２５２では、動き補償部１１１が、注目フレームの時間的位置に基づき、候補ベクトル算出部１２からの注目画素の背景ベクトルv1及び物体ベクトルv2から、外部からの入力画像の過去側フレームと未来側フレームの動き補償に用いるベクトルを求める。
【１０１２】
すなわち、図５４で説明したように、過去側フレームと未来側フレームとの時間的距離を、aと表すとともに、注目フレームの、過去側フレームからの時間的距離を、bで表すこととすると、動き補償部１１１は、ベクトルvf1＝(b/a)×v1を、過去側フレームの動き補償に用いるベクトルの１つである背景順方向ベクトルとして求める。
【１０１３】
さらに、動き補償部１１１は、ベクトルvb1＝(a-b)/a×v1を、未来側フレームの動き補償に用いるベクトルの１つである背景逆方向ベクトルとして求める。
【１０１４】
また、動き補償部１１１は、ベクトルvf2＝(b/a)×v2を、過去側フレームの動き補償に用いるベクトルの他の１つである物体順方向ベクトルとして求める。
【１０１５】
さらに、動き補償部１１１は、ベクトルvb2＝(a-b)/a×v2を、未来側フレームの動き補償に用いるベクトルの他の１つである物体逆方向ベクトルとして求める。
【１０１６】
その後、処理は、ステップＳ２５２からステップＳ２５３に進み、動き補償部１１１は、過去側フレームを、背景順方向ベクトルvf1に従って動き補償することにより、背景過去側動き補償画像を生成する。
【１０１７】
さらに、動き補償部１１１は、未来側フレームを、背景逆方向ベクトルvb1に従って動き補償することにより、背景未来側動き補償画像を生成する。
【１０１８】
また、動き補償部１１１は、過去側フレームを、物体順方向ベクトルvf2に従って動き補償することにより、物体過去側動き補償画像を生成する。
【１０１９】
さらに、動き補償部１１１は、未来側フレームを、物体逆方向ベクトルvb2に従って動き補償することにより、物体未来側動き補償画像を生成する。
【１０２０】
そして、動き補償部１１１は、背景過去側動き補償画像、背景未来側動き補償画像、物体過去側動き補償画像、及び、物体未来側動き補償画像を、画素選択部１１２に供給して、処理は、ステップＳ２５３からステップＳ２５４に進む。
【１０２１】
ステップＳ２５４では、画素選択部１１２は、上述したように、補間画素動き判定部１４（図５）からの動き情報に基づき、動き補償部１１１からの背景過去側動き補償画像、背景未来側動き補償画像、物体過去側動き補償画像、及び、物体未来側動き補償画像、並びに、外部からの入力画像の過去側フレーム、及び、未来側フレームから、注目画素の生成に用いる画素としての過去側生成用画素と、未来側生成用画素とを選択する。
【１０２２】
そして、画素選択部１１２は、過去側生成用画素と、未来側生成用画素とを、加算部１１３に供給して、処理は、ステップＳ２５４からステップＳ２５５に進む。
【１０２３】
ステップＳ２５５では、加算部１１３は、補間画素動き判定部１４（図５）からのC/UC情報に基づき、注目画素がカバード画素であるかどうかを判定する。
【１０２４】
ステップＳ２５５において、注目画素がカバード画素であると判定された場合、処理は、ステップＳ２５６に進み、加算部１１３は、画素選択部１１２からの過去側生成用画素、及び、未来側生成用画素のうちの、過去側生成用画素を、注目画素として選択する。
【１０２５】
そして、加算部１１３は、注目画素（の画素値）を、出力画像出力部１６（図５）に供給して、処理は、ステップＳ２５６からステップＳ２６０に進む。
【１０２６】
また、ステップＳ２５６において、注目画素がカバード画素でないと判定された場合、処理は、ステップＳ２５７に進み、加算部１１３は、補間画素動き判定部１４（図５）からのC/UC情報に基づき、注目画素がアンカバード画素であるかどうかを判定する。
【１０２７】
ステップＳ２５７において、注目画素がアンカバード画素であると判定された場合、処理は、ステップＳ２５８に進み、加算部１１３は、画素選択部１１２からの過去側生成用画素、及び、未来側生成用画素のうちの、未来側生成用画素を、注目画素として選択する。
【１０２８】
そして、加算部１１３は、注目画素を、出力画像出力部１６（図５）に供給して、処理は、ステップＳ２５８からステップＳ２６０に進む。
【１０２９】
また、ステップＳ２５７において、注目画素がアンカバード画素でないと判定された場合、すなわち、注目画素が、通常画素であるか、又は、C/UC情報が不明である旨を表している場合、処理は、ステップＳ２５９に進み、加算部１１３は、画素選択部１１２からの過去側生成用画素、及び、未来側生成用画素の重み付け加算を、注目フレームの時間的位置に応じた重みを用いて行う。
【１０３０】
そして、加算部１１３は、重み付け加算の結果得られる重み付け加算値を、注目画素として、出力画像出力部１６（図５）に供給して、処理は、ステップＳ２５９からステップＳ２６０に進む。
【１０３１】
ステップＳ２６０では、動き補償部１１１が、注目フレームの画素の中に、まだ、注目画素としていない画素があるかどうかを判定する。
【１０３２】
ステップＳ２６０において、注目フレームの画素の中に、まだ、注目画素としていない画素があると判定された場合、処理は、ステップＳ２５１に戻り、以下、同様の処理が繰り返される。
【１０３３】
また、ステップＳ２６０において、注目フレームの画素の中に、注目画素としていない画素がないと判定された場合、処理は終了する。
【１０３４】
ところで、図５３の動き補償部１１１において生成される背景過去側動き補償画像、背景未来側動き補償画像、物体過去側動き補償画像、及び、物体未来側動き補償画像のうちの、例えば、背景過去側動き補償画像だけを考えると、画素選択部１１２では、背景過去側動き補償画像の、注目画素の位置の画素が、注目画素の生成に用いる過去側生成用画素として選択され（得）るが、動き補償によって得られる背景過去側動き補償画像において、注目フレーム（補間フレーム）の注目画素の位置と完全に同一の位置（空間的位置）に、画素（画素値のサンプリング点）が存在するとは限らない。
【１０３５】
そこで、画素選択部１１２では、背景過去側動き補償画像において、注目画素の位置と完全に同一の位置に、画素が存在しない場合には、背景過去側動き補償画像において、注目画素の位置に最も近い位置の画素を、過去側生成用画素として選択することができる。
【１０３６】
但し、この場合、そのような過去側生成用画素を用いて生成される注目画素としての補間画素、ひいては、補間フレームの精度が、多少なりとも劣化する。
【１０３７】
このことは、背景過去側動き補償画像以外の、背景未来側動き補償画像、物体過去側動き補償画像、及び、物体未来側動き補償画像についても同様である。
【１０３８】
そこで、動き補償部１１１では、空間的な補間を行うことで、注目画素の位置と完全に同一の位置に、画素（画素値のサンプリング点）が存在する背景過去側動き補償画像を生成することができる。
【１０３９】
空間的な補間としては、例えば、バイキュービックフィルタでのフィルタリングによるバイキュービック補間等を採用することができる。
【１０４０】
図５６を参照して、バイキュービック補間について説明する。
【１０４１】
いま、動き補償部１１１において、過去側フレームを、注目画素の背景ベクトルv1に従って動き補償することにより得られる画像を、補償画像と呼ぶこととする。
【１０４２】
図５６は、注目画素の位置Aと、補償画像の、位置Aの近傍の画素（の画素値）f(x,y)とを示している。
【１０４３】
なお、図５６では、補償画像の画素のうちの、位置Aに最も近い左上方向の画素の位置を原点(0,0)とし、右方向をx軸とするとともに、下方向をy軸とする２次元座標系を考えた場合に、画素f(x,y)は、位置(x,y)にある補償画像の画素を表す。
【１０４４】
但し、隣接する画素どうしの距離は、1であるとする。
【１０４５】
バイキュービック補間では、位置Aの近傍の、横×縦が4×4画素f(x,y)を用いて、位置Aの画素（の画素値）P(A)が補間される。ここで、4×4画素f(x,y)のうちの、位置Aにより近い4画素f(x,y)（図中、黒丸印（●）で示す）は、第１次近傍と呼ばれ、残りの12画素f(x,y)（図中、白丸印（○）で示す）は、第２次近傍と呼ばれる。
【１０４６】
いま、補償画像の画素f(x,y)の、位置Aからのx方向の距離をdと表すこととすると、バイキュービック補間では、x方向の重みWxが、第１次近傍の画素f(x,y)については、式Wx(x,y)＝(d-1)×(d2-d-1)に従って求められ、第２次近傍の画素f(x,y)については、式Wx(x,y)=-(d-1)×(d-2)2に従って求められる。
【１０４７】
同様に、補償画像の画素f(x,y)の、位置Aからのy方向の距離をdと表すこととすると、バイキュービック補間では、y方向の重みWyが、第１次近傍の画素f(x,y)については、式Wy(x,y)＝(d-1)×(d2-d-1)に従って求められ、第２次近傍の画素f(x,y)については、式Wy(x,y)=-(d-1)×(d-2)2に従って求められる。
【１０４８】
さらに、バイキュービック補間では、画素f(x,y)と乗算するフィルタ係数としての重みW(x,y)が、式W(x,y)＝Wx(x,y)×Wy(x,y)に従って求められる。
【１０４９】
そして、位置Aの画素P(A)が、式P(A)＝ΣxΣy{W(x,y)×f(x,y)}に従って求められる。
【１０５０】
ここで、Σxは、変数xを、-1ないし+2の範囲の整数値に変えてのサメーションを表し、Σyは、変数yを、-1ないし+2の範囲の整数値に変えてのサメーションを表す。
【１０５１】
［補間画像生成部１５の他の構成例］
【１０５２】
図５７は、図５の補間画像生成部１５の他の構成例を示すブロック図である。
【１０５３】
図５７の補間画像生成部１５では、本件出願人が先に提案しているクラス分類適応処理を利用して、入力画像から、補間フレーム（注目フレーム）が生成される。
【１０５４】
ここで、第１の画像データ（画像信号）を第２の画像データ（画像信号）に変換する画像変換処理を例に、クラス分類適応処理について説明する。
【１０５５】
第１の画像データを第２の画像データに変換する画像変換処理は、その第１と第２の画像データの定義によって様々な信号処理となる。
【１０５６】
すなわち、例えば、第１の画像データを低空間解像度の画像データとするとともに、第２の画像データを高空間解像度の画像データとすれば、画像変換処理は、空間解像度を向上させる空間解像度創造（向上）処理ということができる。
【１０５７】
また、例えば、第１の画像データを低S/N(Siginal/Noise)の画像データとするとともに、第２の画像データを高S/Nの画像データとすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。
【１０５８】
さらに、例えば、第１の画像データを所定の画素数（サイズ）の画像データとするとともに、第２の画像データを、第１の画像データの画素数を多くまたは少なくした画像データとすれば、画像変換処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理ということができる。
【１０５９】
また、例えば、第１の画像データを低時間解像度（低フレームレート）の画像データとするとともに、第２の画像データを高時間解像度（高フレームレート）の画像データとすれば、画像変換処理は、時間解像度を向上させる時間解像度創造（向上）処理ということができる。
【１０６０】
さらに、例えば、第１の画像データを、MPEG(Moving Picture Experts Group)符号化などのブロック単位で符号化された画像データを復号することによって得られる復号画像データとするとともに、第２の画像データを、符号化前の画像データとすれば、画像変換処理は、MPEG符号化および復号によって生じるブロック歪み等の各種の歪みを除去する歪み除去処理ということができる。
【１０６１】
なお、空間解像度創造処理において、低空間解像度の画像データである第１の画像データを、高空間解像度の画像データである第２の画像データに変換するにあたっては、第２の画像データを、第１の画像データと同一の画素数の画像データとすることもできるし、第１の画像データよりも画素数が多い画像データとすることもできる。第２の画像データを、第１の画像データよりも画素数が多い画像データとする場合、空間解像度創造処理は、空間解像度を向上させる処理であるとともに、画像サイズ（画素数）を拡大するリサイズ処理でもある。
【１０６２】
以上のように、画像変換処理によれば、第１および第２の画像データをどのように定義するかによって、様々な信号処理を実現することができる。
【１０６３】
以上のような画像変換処理としてのクラス分類適応処理では、第２の画像データのうちの注目している注目画素（の画素値）を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、注目画素に対して選択される第１の画像データの画素（の画素値）とを用いた演算により、注目画素（の画素値）が求められる。
【１０６４】
図５７の補間画像生成部１５では、第１の画像データを低フレームレートの画像データとするとともに、第２の画像データを高フレームレートの画像データとするクラス分類適応処理を利用して、入力画像から、入力画像よりも高フレームレートの出力画像（図５）の補間フレームが生成される。
【１０６５】
すなわち、図５７の補間画像生成部１５では、第１の画像データとしての外部からの入力画像は、動き補償部２０２と、タップ選択部２０３及び２０４とに供給される。
【１０６６】
また、候補ベクトル算出部１２（図５）からの背景ベクトルv1、及び、物体ベクトルv2が、動き補償部２０２に供給される。
【１０６７】
さらに、補間画素動き判定部１４（図５）からの動き情報、及び、C/UC情報が、タップ選択部２０３及び２０４と、クラス分類部２０５とに供給される。
【１０６８】
注目画素選択部２０１は、第２の画像データとしての注目フレーム（補間フレーム）を構成する画素を、順次、注目画素とし、その注目画素を表す情報を、必要なブロックに供給する。
【１０６９】
動き補償部２０２は、図５３の動き補償部１１１と同様に、外部からの入力画像の過去側フレーム、及び未来側フレームのそれぞれを、候補ベクトル算出部１２からの注目画素の背景ベクトルv1及びv2のそれぞれに従ってフィルタリングすることにより動き補償する。
【１０７０】
そして、動き補償部２０２は、動き補償によって得られる背景過去側動き補償画像、背景未来側動き補償画像、物体過去側動き補償画像、及び、物体未来側動き補償画像（以下、まとめて、動き補償画像ともいう）を、タップ選択部２０３及び２０４に供給する。
【１０７１】
なお、動き補償部２０２では、図５３の動き補償部１１１と同様に、バイキュービック補間を行わずに、動き補償画像を求めることもできるし、バイキュービック補間を行って動き補償画像を求めることもできる。
【１０７２】
タップ選択部２０３は、注目フレーム（補間フレーム）の注目画素（の画素値）を求める予測演算に用いられる予測タップとなる画素として、動き補償部２０２からの動き補償画像の、注目画素の位置に近い画素と、外部からの入力画像の過去側フレーム、及び、未来側フレームの、注目画素の位置に近い画素とを選択し、予測タップとして、予測演算部２０７に供給する。
【１０７３】
ここで、タップ選択部２０３では、動き補償画像、並びに、過去側フレーム、及び、未来側フレームからの予測タップの選択は、補間画素動き判定部１４からの動き情報、及び、C/UC情報に基づいて行われる。
【１０７４】
タップ選択部２０４は、注目画素を、複数のクラスのうちのいずれかのクラスに分類する（クラスタリングする）クラス分類に用いられるクラスタップとなる画素として、動き補償部２０２からの動き補償画像の、注目画素の位置に近い画素と、外部からの入力画像の過去側フレーム、及び、未来側フレームの、注目画素の位置に近い画素とを選択し、クラスタップとして、クラス分類部２０５に供給する。
【１０７５】
ここで、タップ選択部２０４では、動き補償画像、並びに、過去側フレーム、及び、未来側フレームからの予測タップの選択は、タップ選択部２０３と同様に、補間画素動き判定部１４からの動き情報、及び、C/UC情報に基づいて行われる。
【１０７６】
クラス分類部２０５は、タップ選択部２０４からのクラスタップである画素の、少なくともレベル分布（例えば、輝度の分布）によって、注目画素のクラス分類を行い、注目画素のクラス（クラスタ）を表すクラスコードを、係数出力部２０６に供給する。
【１０７７】
ここで、レベル分布によって、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【１０７８】
ADRCを用いるクラス分類では、クラスタップを構成する画素（の画素値）が、ADRC処理され、その結果得られるADRCコードが、注目画素のクラスコードとされる。
【１０７９】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各画素の画素値がKビットに再量子化される。すなわち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（再量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。したがって、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【１０８０】
なお、クラス分類部２０５には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、クラス分類部２０５が出力するクラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
【１０８１】
したがって、クラス分類部２０５においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
【１０８２】
なお、図５７のクラス分類部２０５では、クラス分類を、レベル分布によって行う他、補間画素動き判定部１４からの動き情報、及び、C/UC情報によっても行うことができる。
【１０８３】
すなわち、いま、クラスタップのレベル分布によって得られるクラスコード（例えば、ADRCコード）を、レベルコードと呼ぶこととする。
【１０８４】
補間画素動き判定部１４からの動き情報とC/UC情報との組み合わせとしては、補間画素動き判定部１４が、図４８のステップＳ２０２，Ｓ２０４，Ｓ２０６、図４９のステップＳ２１２，Ｓ２１４，Ｓ２１６、図５０のステップＳ２２２，Ｓ２２４，Ｓ２２６，Ｓ２２７で出力する１０種類の組み合わせが存在する。
【１０８５】
そこで、クラス分類部２０５は、補間画素動き判定部１４からの動き情報とC/UC情報との組み合わせによって、注目画素を、１０種類の組み合わせに対応する１０個のクラスのうちの、いずれかのクラスに分類するクラス分類を行い、注目画素のクラスを表すクラスコードを求める。
【１０８６】
いま、動き情報とC/UC情報との組み合わせによって得られるクラスコードを、動き判定コードと呼ぶこととすると、クラス分類部２０５は、レベルコードと動き判定コードとを組み合わせて、注目画素の、いわば最終的なクラスを表すクラスコードとする。
【１０８７】
すなわち、クラス分類部２０５は、例えば、２進数で表現したレベルコードと動き判定コードとのうちの一方を、他方の上位ビットとして付加し、その結果得られるビット列を、注目画素のクラスコードとする。
【１０８８】
なお、クラス分類部２０５では、その他、例えば、背景ベクトルv1と物体ベクトルv2との差分のx成分及びy成分それぞれのADRC処理を行い、その結果得られるx成分及びy成分それぞれのADRCコードを、レベルコード、さらには、動き判定コードと組み合わせて、注目画素のクラスコードとすることができる。
【１０８９】
係数出力部２０６は、クラスごとのタップ係数を記憶している。係数出力部２０６は、クラスごとのタップ係数のうちの、クラス分類部２０５から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラス分類部２０５から供給されるクラスコードが表すクラスのタップ係数）を出力する。このタップ係数は、予測演算部２０７に供給され、予測演算に用いられる。
【１０９０】
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。
【１０９１】
また、タップ係数は、入力画像に相当する生徒画像から得られる動き補償画像を用いた予測演算の結果と、補間フレーム（注目フレーム）に相当する教師画像との誤差を最小にする学習により求められる。タップ係数の学習については、後述する。
【１０９２】
予測演算部２０７は、タップ選択部２０３が出力する予測タップと、係数出力部２０６が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部２０７は、注目画素の画素値（の予測値）、すなわち、第２の画像データとしての補間フレーム（注目フレーム）を構成する注目画素（の画素値）を求めて出力する。
【１０９３】
図５８は、図５７のタップ選択部２０３で得られる予測タップ、及び、タップ選択部２０４で得られるクラスタップのタップ構造を説明する図である。
【１０９４】
ここで、以下、予測タップとクラスタップとを、まとめて、単に、タップともいう。タップ構造とは、注目画素から見た、タップ（予測タップ、クラスタップ）を構成する画素の位置関係を意味する。
【１０９５】
図５８Ａは、注目画素と、入力画像の過去側フレーム（第n-1フレーム）、及び、未来側フレーム（第nフレーム）とを示している。
【１０９６】
タップ選択部２０３及び２０４（図５７）は、過去側フレーム、及び、未来側フレームの、注目画素の位置に近い位置の１以上の画素を、タップを構成する一部の画素である静止タップとして選択する。
【１０９７】
さらに、タップ選択部２０３及び２０４は、注目画素を通り、注目画素の背景ベクトルv1に平行な直線と過去側フレームとが交わる位置に近い過去側フレームの１以上の画素と、注目画素を通り、注目画素の背景ベクトルv1に平行な直線と未来側フレームとが交わる位置に近い未来側フレームの１以上の画素とを、タップを構成する残りの画素である引き寄せタップ（以下、背景ベクトルv1に基づく引き寄せタップともいう）として選択する。
【１０９８】
あるいは、タップ選択部２０３及び２０４は、注目画素を通り、注目画素の物体ベクトルv2に平行な直線と過去側フレームとが交わる位置に近い過去側フレームの１以上の画素と、注目画素を通り、注目画素の物体ベクトルv2に平行な直線と未来側フレームとが交わる位置に近い未来側フレームの１以上の画素とを、引き寄せタップ（以下、物体ベクトルv2に基づく引き寄せタップともいう）として選択する。
【１０９９】
そして、タップ選択部２０３及び２０４は、それぞれ、静止タップと引き寄せタップとによって、予測タップ及びクラスタップを構成する。
【１１００】
なお、タップ選択部２０３及び２０４は、補間画素動き判定部１４からの動き情報が、注目画素の動きベクトルが背景ベクトルv1である旨を表している場合、引き寄せタップとして、背景ベクトルv1に基づく引き寄せタップを採用する。
【１１０１】
また、タップ選択部２０３及び２０４は、補間画素動き判定部１４からの動き情報が、注目画素の動きベクトルが物体ベクトルv2である旨を表している場合、引き寄せタップとして、物体ベクトルv2に基づく引き寄せタップを採用する。
【１１０２】
さらに、タップ選択部２０３及び２０４は、補間画素動き判定部１４からのC/UC情報が、注目画素が通常画素である旨を表している場合と、不明である旨を表している場合には、過去側フレームと未来側フレームとの両方の画素を、静止タップ及び引き寄せタップとして採用するが、その他の場合には、過去側フレーム及び未来側フレームのうちの一方のフレームの画素を、静止タップ及び引き寄せタップとして採用せずに、タップを構成する。
【１１０３】
すなわち、C/UC情報が、注目画素がアンカバード画素である旨を表している場合、タップ選択部２０３及び２０４は、過去側フレーム及び未来側フレームのうちの過去側フレームの画素を、静止タップ及び引き寄せタップとして採用せず、未来側フレームの画素だけを用いて、タップを構成する。
【１１０４】
また、C/UC情報が、注目画素がカバード画素である旨を表している場合、タップ選択部２０３及び２０４は、過去側フレーム及び未来側フレームのうちの未来側フレームの画素を、静止タップ及び引き寄せタップとして採用せず、過去側フレームの画素だけを用いて、タップを構成する。
【１１０５】
ここで、過去側フレーム（又は、未来側フレーム）の画素を、静止タップ及び引き寄せタップとして採用せずに構成されるタップは、実装上は、過去側フレーム（又は、未来側フレーム）の静止タップ及び引き寄せタップとしての画素値が、例えば、０とされる。
【１１０６】
図５８Ｂは、予測タップ、及び、クラスタップを構成する静止タップの例を示している。
【１１０７】
いま、過去側フレーム（第n-1フレーム）、及び、未来側フレーム（第nフレーム）の、注目画素の位置の画素を、対応画素ということとする。
【１１０８】
予測タップについては、過去側フレーム、及び、未来側フレームそれぞれの対応画素と、対応画素の上下左右に隣接する４画素との、合計５×２画素が、静止タップとされる。
【１１０９】
また、クラスタップについては、過去側フレーム、及び、未来側フレームそれぞれの対応画素の、合計２画素が、静止タップとされる。
【１１１０】
図５８Ｃは、予測タップ、及び、クラスタップを構成する引き寄せタップの例を示している。
【１１１１】
いま、注目画素を通り、注目画素の背景ベクトルv1に平行な直線と過去側フレームとが交わる位置の過去側フレームの画素、注目画素を通り、注目画素の背景ベクトルv1に平行な直線と未来側フレームとが交わる位置の未来側フレームの画素、注目画素を通り、注目画素の物体ベクトルv2に平行な直線と過去側フレームとが交わる位置の過去側フレームの画素、及び、注目画素を通り、注目画素の物体ベクトルv2に平行な直線と未来側フレームとが交わる位置の未来側フレームの画素を、いずれも、対応画素ということとする。
【１１１２】
予測タップについては、過去側フレーム、及び、未来側フレームそれぞれの対応画素と、対応画素の上下左右に隣接する４画素との、合計５×２画素が、引き寄せタップとされる。
【１１１３】
また、クラスタップについては、過去側フレーム、及び、未来側フレームそれぞれの対応画素の、合計２画素が、引き寄せタップとされる。
【１１１４】
なお、予測タップ、及び、クラスタップのタップ構造は、図５８に示したタップ構造に限定されるものではない。
【１１１５】
また、補間画素動き判定部１４からの動き情報が、注目画素の動きベクトルが０ベクトルv3である旨を表している場合と、不明である旨を表している場合には、タップ選択部２０３では、例えば、過去側フレーム（第n-1フレーム）、及び、未来側フレーム（第nフレーム）の、注目画素の位置の画素（対応画素）と、対応画素の上下左右に隣接する４画素との、合計５×２画素が、予測タップの静止タップ、及び、引き寄せタップの両方として採用される。
【１１１６】
さらに、この場合、タップ選択部２０４では、例えば、過去側フレーム（第n-1フレーム）、及び、未来側フレーム（第nフレーム）の、注目画素の位置の画素（対応画素）の、合計２画素が、クラスタップの静止タップ、及び、引き寄せタップの両方として採用される。
【１１１７】
次に、図５９は、図５７の補間画像生成部１５による、クラス分類適応処理を利用した補間画像生成処理を説明するフローチャートである。
【１１１８】
図５７の補間画像生成部１５では、第１の画像データとしての外部からの入力画像が、動き補償部２０２と、タップ選択部２０３及び２０４とに供給される。
【１１１９】
また、候補ベクトル算出部１２からの背景ベクトルv1、及び、物体ベクトルv2が、動き補償部２０２に供給される。
【１１２０】
さらに、補間画素動き判定部１４からの動き情報、及び、C/UC情報が、タップ選択部２０４及び２０４と、クラス分類部２０５とに供給される。
【１１２１】
そして、ステップＳ３０１において、注目画素選択部２０１は、第２の画像データとしての注目フレームを構成する画素（補間画素）のうち、まだ、注目画素とされていないものの１つを、注目画素として選択し、処理は、ステップＳ３０２に進む。
【１１２２】
ステップＳ３０２では、動き補償部２０２は、外部からの入力画像の過去側フレーム、及び未来側フレームのそれぞれを、候補ベクトル算出部１２からの注目画素の背景ベクトルv1及びv2のそれぞれに従ってフィルタリングすることにより動き補償する。
【１１２３】
そして、動き補償部２０２は、動き補償によって生成される動き補償画像（背景過去側動き補償画像、背景未来側動き補償画像、物体過去側動き補償画像、及び、物体未来側動き補償画像）を、タップ選択部２０３及び２０４に供給し、処理は、ステップＳ３０２からステップＳ３０３に進む。
【１１２４】
ステップＳ３０３では、タップ選択部２０３及び２０４が、外部からの入力画像の過去側フレーム、及び、未来側フレーム、並びに、動き補償部２０２からの動き補償画像から、注目画素の予測タップ及びクラスタップとする画素を、それぞれ選択することにより、予測タップ及びクラスタップを構成する。
【１１２５】
すなわち、タップ選択部２０３は、図５８で説明したように、過去側フレーム、及び、未来側フレームそれぞれから、注目画素の位置に近い１以上の画素を、予測タップの静止タップとなる画素として選択する。
【１１２６】
さらに、タップ選択部２０３は、図５８で説明したように、補間画素動き判定部１４からの動き情報に基づき、動き補償部２０２からの動き補償画像から、予測タップの引き寄せタップとなる画素を選択する。
【１１２７】
すなわち、動き情報が、注目画素の動きベクトルが背景ベクトルv1である旨を表している場合、タップ選択部２０３は、背景ベクトルv1に基づく引き寄せタップとして、注目画素を通り、注目画素の背景ベクトルv1に平行な直線と過去側フレームとが交わる位置に近い過去側フレームの１以上の画素と、注目画素を通り、注目画素の背景ベクトルv1に平行な直線と未来側フレームとが交わる位置に近い未来側フレームの１以上の画素、つまり、動き補償画像のうちの、背景過去側動き補償画像、及び、背景未来側動き補償画像それぞれの、注目画素の位置に近い１以上の画素を、図５８で説明したように選択する。
【１１２８】
さらに、動き情報が、注目画素の動きベクトルが物体ベクトルv2である旨を表している場合、タップ選択部２０３は、物体ベクトルv2に基づく引き寄せタップとして、注目画素を通り、注目画素の物体ベクトルv2に平行な直線と過去側フレームとが交わる位置に近い過去側フレームの１以上の画素と、注目画素を通り、注目画素の物体ベクトルv2に平行な直線と未来側フレームとが交わる位置に近い未来側フレームの１以上の画素、つまり、動き補償画像のうちの、物体過去側動き補償画像、及び、物体未来側動き補償画像それぞれの、注目画素の位置に近い１以上の画素を、図５８で説明したように選択する。
【１１２９】
また、動き情報が、注目画素の動きベクトルが０ベクトルv3である旨を表している場合と、不明である旨を表している場合には、タップ選択部２０３は、図５８で説明したように、過去側フレーム、及び、未来側フレームそれぞれの、注目画素の位置に近い１以上の画素を、引き寄せタップとして選択する。
【１１３０】
そして、タップ選択部２０３は、静止タップと引き寄せタップとしての画素（の画素値）を、所定の順番に並べることで、予測タップを構成する。
【１１３１】
さらに、タップ選択部２０３は、補間画素動き判定部１４からのC/UC情報に基づき、必要に応じて、予測タップが、過去側フレーム（ここでは、背景過去側動き補償画像、及び、物体過去側動き補償画像を含む）の画素、又は、未来側フレーム（ここでは、背景未来側動き補償画像、及び、物体未来側動き補償画像を含む）の画素だけで構成されるように、予測タップを加工する。
【１１３２】
すなわち、C/UC情報が、注目画素がアンカバード画素である旨を表している場合、タップ選択部２０３は、予測タップを構成する画素のうちの、過去側フレームの画素の画素値を０とする。
【１１３３】
また、C/UC情報が、注目画素がカバード画素である旨を表している場合、タップ選択部２０３は、予測タップを構成する画素のうちの、未来側フレームの画素の画素値を０とする。
【１１３４】
タップ選択部２０４も、タップ選択部２０３と同様にして、クラスタップを構成する。
【１１３５】
そして、予測タップは、タップ選択部２０３から予測演算部２０７に供給される。また、クラスタップは、タップ選択部２０４からクラス分類部２０５に供給され、処理は、ステップＳ３０３からステップＳ３０４に進む。
【１１３６】
ステップＳ３０４では、クラス分類部２０５が、タップ選択部２０４からの、注目画素のクラスタップ、並びに、補間画像動き判定部１４（図５）からの注目画素の動き情報、及び、C/UC情報によって、注目画素を、上述したように、クラス分類する。さらに、クラス分類部２０５は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数出力部２０６に出力し、処理は、ステップＳ３０４からステップＳ３０５に進む。
【１１３７】
ステップＳ３０５では、係数出力部２０６が、クラス分類部２０５から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を取得して出力する。さらに、ステップＳ３０５では、予測演算部２０７が、係数出力部２０６が出力するタップ係数を取得し、ステップＳ３０６に進む。
【１１３８】
ステップＳ３０６では、予測演算部２０７が、タップ選択部２０３が出力する予測タップと、係数出力部２０６から取得したタップ係数とを用いて、所定の予測演算を行う。これにより、予測演算部２０７は、注目画素の画素値を求めて、出力画像出力部１６（図５）に供給し、処理は、ステップＳ３０６からステップＳ３０７に進む。
【１１３９】
ステップＳ３０７では、注目画素選択部２０１が、注目フレームの中に、まだ、注目画素としていない画素があるかどうかを判定する。ステップＳ３０７において、注目フレームの中に、まだ、注目画素としていない画素があると判定された場合、処理は、ステップＳ３０１に戻り、以下、同様の処理が繰り返される。
【１１４０】
また、ステップＳ３０７において、注目フレームの中に、注目画素とされていない画素がないと判定された場合、処理は終了する（リターンする）。
【１１４１】
次に、図５７の予測演算部２０７における予測演算と、係数出力部２０６に記憶されたタップ係数の学習について説明する。
【１１４２】
いま、例えば、高フレームレートの画像データ等の、高画質の画像データ（高画質画像データ）を第２の画像データとするとともに、その高画質画像データのフレームを間引くことによってその画質（時間解像度）を低下させた低フレームレートの画像データ等の、低画質の画像データ（低画質画像データ）を第１の画像データとして、低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像データの画素（高画質画素）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【１１４３】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
【１１４４】
【数１】
2010219715.tif 000003
・・・（１）
【１１４５】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【１１４６】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【１１４７】
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【１１４８】
【数２】
2010219715.tif 000004
・・・（２）
【１１４９】
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【１１５０】
【数３】
2010219715.tif 000005
・・・（３）
【１１５１】
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【１１５２】
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【１１５３】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【１１５４】
【数４】
2010219715.tif 000006
・・・（４）
【１１５５】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【１１５６】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするタップ係数ｗnによって与えられる。
【１１５７】
【数５】
2010219715.tif 000007
・・・（５）
【１１５８】
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【１１５９】
【数６】
2010219715.tif 000008
・・・（６）
【１１６０】
式（５）と（６）から、次式が得られる。
【１１６１】
【数７】
2010219715.tif 000009
・・・（７）
【１１６２】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【１１６３】
【数８】
2010219715.tif 000010
・・・（８）
【１１６４】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【１１６５】
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
【１１６６】
次に、図６０は、式（８）の正規方程式をたてて解くことによりタップ係数ｗnを求める学習を行う学習装置の構成例を示している。
【１１６７】
学習用画像記憶部２３１は、タップ係数ｗnの学習に用いられる学習用画像データを記憶している。ここで、学習用画像データとしては、例えば、高フレームレートの高画質画像データを用いることができる。
【１１６８】
教師データ生成部２３２は、学習用画像記憶部２３１から学習用画像データを読み出す。さらに、教師データ生成部２３２は、学習用画像データから、タップ係数の学習の教師（真値）、すなわち、式（１）による予測演算としての写像の写像先の画素値となる教師データ（教師画像）を生成し、教師データ記憶部２３３に供給する。
【１１６９】
ここでは、教師データ生成部２３２は、例えば、学習用画像データとしての高画質画像データを、そのまま教師データとして、教師データ記憶部２３３に供給する。
【１１７０】
なお、教師データとしては、出力画像に相当する画像（出力画像と同様のフレームレートの画像）を採用する必要がある。
【１１７１】
教師データ記憶部２３３は、教師データ生成部２３２から供給される教師データとしての高画質画像データを記憶する。
【１１７２】
生徒データ生成部２３４は、学習用画像記憶部２３１から学習用画像データを読み出す。さらに、生徒データ生成部２３４は、学習用画像データから、タップ係数の学習の生徒、すなわち、式（１）による予測演算としての写像による変換対象の画素値となる生徒データを生成し、生徒データ記憶部２３５に供給する。
【１１７３】
ここでは、生徒データ生成部２３４は、例えば、学習用画像データとしての高画質画像データのフレームを間引くことにより、そのフレームレートを低下させることで、低画質画像データを生成し、この低画質画像データを、生徒データとして、生徒データ記憶部２３５に供給する。
【１１７４】
なお、生徒データとしては、入力画像に相当する画像（入力画像と同様のフレームレートの画像）を採用する必要がある。
【１１７５】
生徒データ記憶部２３５は、生徒データ生成部２３４から供給される生徒データを記憶する。
【１１７６】
学習部２３６は、教師データ記憶部２３３に記憶された教師データとしての高画質画像データを構成する画素を、順次、注目画素とし、その注目画素について、生徒データ記憶部２３５に記憶された生徒データとしての低画質画像データを構成する低画質画素のうちの、図５７のタップ選択部２０３が選択するのと同一のタップ構造の低画質画素を、予測タップとして選択する。さらに、学習部２３６は、教師データを構成する各画素と、その画素が注目画素とされたときに選択された予測タップとを用い、クラスごとに、式（８）の正規方程式をたてて解くことにより、クラスごとのタップ係数を求める学習を行う。
【１１７７】
図６１は、図６０の学習装置で用いられる教師データと生徒データの例を示している。
【１１７８】
すなわち、図６１Ａは、図５の画像処理装置において、図６で説明したように、フレームレートが60Hzの入力画像から、そのフレーム間に、２つの補間フレームを補間して、フレームレートが180Hzの出力画像を生成する場合の、教師データと生徒データの例を示している。
【１１７９】
図５の画像処理装置において、図６で説明したように、フレームレートが60Hzの入力画像から、そのフレーム間に、２つの補間フレームを補間して、フレームレートが180Hzの出力画像を生成する場合には、教師データとして、フレームレートが180Hzの高フレームレートの画像が採用される。
【１１８０】
そして、例えば、教師データとしての高フレームレートの画像の、連続する３フレームごとに、その３フレームのうちの２フレームが間引かれた、フレームレートが、教師データの1/3の60Hzの低フレームレートの画像が、生徒データとして採用される。
【１１８１】
図６１Ｂは、図５の画像処理装置において、フレームレートが60Hzの入力画像から、フレームレートが、入力画像の２倍である120Hzの画像を、出力画像として生成する場合の、教師データと生徒データの例を示している。
【１１８２】
フレームレートが60Hzの入力画像から、フレームレート120Hzの出力画像を生成する場合には、教師データとして、フレームレートが120Hzの高フレームレートの画像が採用される。
【１１８３】
そして、例えば、教師データとしての高フレームレートの画像の、２フレームごとに、その２フレームの同一の位置の画素どうしの画素値の平均値を１フレームの画素値とする、フレームレートが、教師データの1/2の60Hzの低フレームレートの画像が、生徒データとして採用される。
【１１８４】
なお、図６１Ｂでは、生徒データの各フレームの時間的位置は、そのフレームを生成するのに用いる教師データの２フレームの間の中点の位置になっている。
【１１８５】
ここで、図６１Ｂに示したように、教師データとしての高フレームレートの画像の、２フレームごとに、その２フレームの同一の位置の画素どうしの画素値の平均値を１フレームの画素値とする画像を、生徒データとする場合には、生徒データが、所定のシャッタスピードで撮影した画像に相当すると考えると、教師データは、所定のシャッタスピードの２倍のシャッタスピード（１／２の露光時間）で撮影した画像に相当する。
【１１８６】
この場合、教師データは、生徒データに比較して、動きボケの少ない鮮明な画像になっており、図６０の学習部２３６において、このような教師データと生徒データとのセットを用いて学習を行うことにより、第１の画像データから、その第１の画像データの２倍のフレームレートの、動きボケが少ない鮮明な画像を、第２の画像データとして生成することができるタップ係数を求めることができる。
【１１８７】
すなわち、このタップ係数を用いたクラス分類適応処理によれば、動きボケの少ない鮮明な、高画質の画像を生成することができる。
【１１８８】
図６２は、図６０の学習部２３６の構成例を示している。
【１１８９】
図６２の学習部２３６においては、生徒データ記憶部２３５（図６０）に記憶された、入力画像に対応（相当）する生徒データが、動き検出部２４０、タップ選択部２４３及び２４４に供給される。
【１１９０】
また、教師データ記憶部２３３（図６０）に記憶された、出力画像に対応（相当）する教師データが、足し込み部２４６に供給される。
【１１９１】
動き検出部２４０は、図５の画像処理装置の動きベクトル検出部１１、候補ベクトル算出部１２、画素単位動き推定部１３、及び、補間画素動き判定部１４と同様に構成される。
【１１９２】
動き検出部２４０は、生徒データ記憶部２３５（図６０）に記憶された、入力画像に対応する生徒データの過去側フレーム、及び、未来側フレームから、図５の画像処理装置と同様にして、背景ベクトルv1、及び、物体ベクトルv2、並びに、動き情報、及び、C/UC情報を求める。
【１１９３】
そして、動き検出部２４０は、背景ベクトルv1、及び、物体ベクトルv2を、動き補償部２４２に供給し、動き情報、及び、C/UC情報を、タップ選択部２４３及び２４４、並びに、クラス分類部２４５に供給する。
【１１９４】
注目画素選択部２４１は、教師データ記憶部２３３（図６０）に記憶されている教師データを構成する画素を、順次、注目画素として選択し、その注目画素を表す情報を、必要なブロックに供給する。
【１１９５】
動き補償部２４２は、図５３の動き補償部１１１と同様に、生徒データ記憶部２３５（図６０）に記憶された、入力画像に対応する生徒データの過去側フレーム、及び、未来側フレームのそれぞれを、動き検出部２４０からの注目画素の背景ベクトルv1及びv2のそれぞれに従ってフィルタリングすることにより動き補償する。
【１１９６】
そして、動き補償部２３２は、動き補償によって得られる動き補償画像（背景過去側動き補償画像、背景未来側動き補償画像、物体過去側動き補償画像、及び、物体未来側動き補償画像）を、タップ選択部２４３及び２４４に供給する。
【１１９７】
タップ選択部２４３は、動き検出部２４０からの動き情報、及び、C/UC情報に基づき、注目画素について、生徒データ記憶部２３５に記憶された生徒データ、及び、動き補償部２４２からの動き補償画像から、図５７のタップ選択部２０３が選択するの同一の画素を、予測タップとして選択し、これにより、タップ選択部２０３で得られるのと同一のタップ構造の予測タップを得て、足し込み部２４６に供給する。
【１１９８】
タップ選択部２４４は、動き検出部２４０からの動き情報、及び、C/UC情報に基づき、注目画素について、生徒データ記憶部２３５に記憶された生徒データ、及び、動き補償部２４２からの動き補償画像から、図５７のタップ選択部２０４が選択するのと同一の画素を、クラスタップとして選択し、これにより、タップ選択部２０４で得られるのと同一のタップ構造のクラスタップを得て、クラス分類部２４５に供給する。
【１１９９】
クラス分類部２４５は、タップ選択部２４４が出力するクラスタップと、動き検出部２４０からの動き情報及びC/UC情報とに基づき、図５７のクラス分類部２０５と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部２４６に出力する。
【１２００】
足し込み部２４６は、教師データ記憶部２３３（図６０）から、注目画素となっている教師データ（画素）を読み出し、その注目画素と、タップ選択部２４３から供給される注目画素の予測タップを構成する生徒データ（画素）とを対象とした足し込みを、クラス分類部２４５から供給されるクラスコードごとに行う。
【１２０１】
すなわち、足し込み部２４６には、教師データ記憶部２３３に記憶された教師データｙk、タップ選択部２４３が出力する予測タップｘn,k、クラス分類部２４５が出力するクラスコードが供給される。
【１２０２】
そして、足し込み部２４６は、クラス分類部２４５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【１２０３】
さらに、足し込み部２４６は、やはり、クラス分類部２４５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【１２０４】
すなわち、足し込み部２４６は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【１２０５】
そして、足し込み部２４６は、教師データ記憶部２３３（図６０）に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部２４７に供給する。
【１２０６】
タップ係数算出部２４７は、足し込み部２４６から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求めて出力する。
【１２０７】
図５７の補間画像生成部１５における係数出力部２０６には、タップ係数算出部２４７が出力するクラスごとのタップ係数ｗnが記憶されている。
【１２０８】
次に、図６３は、図６０の学習装置が行う処理（学習処理）を説明するフローチャートである。
【１２０９】
まず最初に、ステップＳ３２１において、教師データ生成部２３２と生徒データ生成部２３４が、学習用画像記憶部２３１に記憶された学習用画像データから、教師データと生徒データを生成し、教師データ記憶部２３３と生徒データ記憶部２３５にそれぞれ供給して記憶させる。
【１２１０】
その後、処理は、ステップＳ３２１からステップＳ３２２に進み、学習部２３６（図６２）において、注目画素選択部２４１が、教師データ記憶部２３３に記憶された教師データのフレームのうちの、まだ、注目フレームとしていないフレームを、注目フレームに選択して、処理は、ステップＳ３２３に進む。
【１２１１】
ステップＳ３２３では、動き検出部２４０が、生徒データ記憶部２３５に記憶された生徒データから、注目フレームの過去側フレームと未来側フレームとを読み出す。そして、動き検出部２４０は、過去側フレームと未来側フレームを用いて、注目フレームの画素（を含む小ブロック）ごとに、背景ベクトルv1、物体ベクトルv2、動き情報、及び、C/UC情報を求める。
【１２１２】
さらに、動き検出部２４０は、背景ベクトルv1、及び、物体ベクトルv2を、動き補償部２４２に供給し、動き情報、及び、C/UC情報を、タップ選択部２４３及び２４４、並びに、クラス分類部２４５に供給して、処理は、ステップＳ３２３からステップＳ３２４に進む。
【１２１３】
ステップＳ３２４では、注目画素選択部２４１は、教師データ記憶部２３３に記憶された教師データとしての注目フレームの画素の中から、まだ、注目画素としていないものを、注目画素として選択し、処理は、ステップＳ３２５に進む。
【１２１４】
ステップＳ３２５では、動き補償部２４２が、動き検出部２４０からの注目画素の背景ベクトルv1及びv2に基づき、生徒データ記憶部２３５（図６０）に記憶された、入力画像に対応する生徒データの過去側フレーム、及び、未来側フレームから、動き補償画像を生成する。そして、動き補償部２４２は、動き補償画像を、タップ選択部２４３及び２４４に供給して、処理は、ステップＳ３２５からステップＳ３２６に進む。
【１２１５】
ステップＳ３２６では、タップ選択部２４３が、動き検出部２４０からの動き情報、及び、C/UC情報に基づき、注目画素について、生徒データ記憶部２３５に記憶された生徒データの過去側フレーム、及び、未来側フレーム、並びに、動き補償部２４２からの動き補償画像から、予測タップとする画素を選択し、足し込み部２４６に供給する。
【１２１６】
さらに、タップ選択部２４４が、動き検出部２４０からの動き情報、及び、C/UC情報に基づき、注目画素について、生徒データ記憶部２３５に記憶された生徒データの過去側フレーム、及び、未来側フレーム、並びに、動き補償部２４２からの動き補償画像から、クラスタップとする画素を選択し、クラス分類部２４５に供給する。
【１２１７】
そして、処理は、ステップＳ３２６からステップＳ３２７に進み、クラス分類部２４５は、注目画素についてのクラスタップと、動き検出部２４０からの動き情報、及び、C/UC情報とに基づき、注目画素のクラス分類を行う。
【１２１８】
さらに、クラス分類部２４５は、クラス分類の結果得られるクラスに対応するクラスコードを、足し込み部２４６に出力して、処理は、ステップＳ３２７からステップＳ３２８に進む。
【１２１９】
ステップＳ３２８では、足し込み部２４６は、教師データ記憶部２３３（図６０）から、注目画素を読み出す。さらに、足し込み部２４６は、注目画素と、タップ選択部２４３から供給される注目画素について選択された予測タップを構成する生徒データとを対象とした式（８）の足し込みを、クラス分類部２４５から供給されるクラスコードごとに行う。
【１２２０】
そして、処理は、ステップＳ３２８からステップＳ３２９に進み、注目画素選択部２４１が、注目フレームの中に、まだ、注目画素としていない画素があるかどうかを判定する。ステップＳ３２９において、注目画素としていない教師データが、まだ、注目フレームの中にあると判定された場合、処理は、ステップＳ３２４に戻り、以下、同様の処理が繰り返される。
【１２２１】
また、ステップＳ３２９において、注目画素としていない画素が、注目フレームの中にないと判定された場合、処理は、ステップＳ３３０に進み、注目画素選択部２４１は、教師データ記憶部２３３（図６０）に記憶された、出力画像に対応する教師データのフレームの中に、まだ、注目フレームとして選択していないフレームがあるかどうかを判定する。
【１２２２】
ステップＳ３３０において、教師データ記憶部２３３に記憶された教師データのフレームの中に、まだ、注目フレームとして選択していないフレームがあると判定された場合、処理は、ステップＳ３２２に戻り、以下、同様の処理が繰り返される。
【１２２３】
また、ステップＳ３３０において、教師データ記憶部２３３に記憶された教師データのフレームの中に、注目フレームとして選択していないフレームがないと判定された場合、足し込み部２４６は、いままでのステップＳ３２２ないしＳ３３０の処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、タップ係数算出部２４７に供給し、処理は、ステップＳ３３０からステップＳ３３１に進む。
【１２２４】
ステップＳ３３１では、タップ係数算出部２４７は、足し込み部２４６から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数ｗnを求めて出力し、処理を終了する。
【１２２５】
なお、学習用画像データの数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部２４７は、例えば、デフォルトのタップ係数を出力するようになっている。
【１２２６】
［本発明を適用したコンピュータの説明］
【１２２７】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【１２２８】
そこで、図６４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【１２２９】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク３０５やROM３０３に予め記録しておくことができる。
【１２３０】
あるいはまた、プログラムは、リムーバブル記録媒体３１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体３１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体３１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【１２３１】
なお、プログラムは、上述したようなリムーバブル記録媒体３１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク３０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【１２３２】
コンピュータは、CPU(Central Processing Unit)３０２を内蔵しており、CPU３０２には、バス３０１を介して、入出力インタフェース３１０が接続されている。
【１２３３】
CPU３０２は、入出力インタフェース３１０を介して、ユーザによって、入力部３０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)３０３に格納されているプログラムを実行する。あるいは、CPU３０２は、ハードディスク３０５に格納されたプログラムを、RAM(Random Access Memory)３０４にロードして実行する。
【１２３４】
これにより、CPU３０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース３１０を介して、出力部３０６から出力、あるいは、通信部３０８から送信、さらには、ハードディスク３０５に記録等させる。
【１２３５】
なお、入力部３０７は、キーボードや、マウス、マイク等で構成される。また、出力部３０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【１２３６】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【１２３７】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【１２３８】
なお、画素単位動き推定部１３が行う画素単位動き推定処理（図３１ないし図３８）では、例えば、注目画素の物体ベクトルv2が、注目画素の位置から物体ベクトルv2に従って逆方向に移動した位置の、注目フレームの前の補間フレームの前フレーム画素の背景ベクトル又は物体ベクトルに類似し、かつ、注目画素についての物体逆方向動き相関がある場合には、画素単位動き推定部１３（図２９）の逆方向物体相関判定部８２において、背景カウンタ７８のバンク#1の、注目画素の位置から、物体ベクトルv2だけ逆方向に移動した位置に対応するアドレスの背景カウント値、又は、物体カウンタ８５のバンク#1の、注目画素の位置から、物体ベクトルv2だけ逆方向に移動した位置に対応するアドレスの背景カウント値のうちの、物体ベクトルv2が類似するベクトルに対応するカウント値をインクリメントし、そのインクリメント後のカウント値を、物体カウンタ８５のバンク#2の、注目画素の位置に対応するアドレスに、物体カウント値として書き込むことができる。逆方向背景相関判定部７５でも同様である。
【１２３９】
ここで、背景カウント値、又は、背景カウント値のうちの、物体ベクトルv2が類似するベクトルに対応するカウント値とは、注目画素の物体ベクトルv2が、注目画素の位置から物体ベクトルv2に従って逆方向に移動した位置の、注目フレームの前の補間フレームの前フレーム画素の背景ベクトルに類似する場合には、背景カウント値であり、物体ベクトルv2が、前フレーム画素の物体ベクトルに類似する場合には、物体カウント値である。
【１２４０】
以上のように、背景カウント値、又は、背景カウント値のうちの、物体ベクトルv2が類似するベクトルに対応するカウント値をインクリメントし、そのインクリメント後のカウント値を、物体カウント値として書き込むことで、例えば、飛行機が、手前側から奥側に飛んでいくことにより、入力画像のフレームに写る飛行機の領域が、大きな領域から小さな領域になり、当初、背景ブロックとして扱われていたが、その後、物体ブロックとして扱われるようになっても、飛行機の動き、及び飛行機の画像の相関が連続している回数を、物体カウント値としてカウントすることができる。
【１２４１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【１２４２】
１１  動きベクトル検出部，  １２  候補ベクトル算出部，  １３  画素単位動き推定部，  １４  補間画素動き判定部，  １５  補間画像生成部，  １６  出力画像出力部，  ２１  メモリ，  ２２  小ブロック評価値テーブル生成部，  ２３  小ブロック評価値テーブル記憶部，  ２４  大ブロック双方向評価値テーブル生成部，  ２５  大ブロック双方向ベクトル検出部，  ２６  中ブロック双方向評価値テーブル生成部，  ２７  中ブロック双方向ベクトル検出部，  ２８  中ブロック順方向評価値テーブル生成部，  ２９  中ブロック順方向ベクトル検出部，  ３０  中ブロック逆方向評価値テーブル生成部，  ３１  中ブロック逆方向ベクトル検出部，  ５１  全画面ヒストグラム生成部，  ５２  シーンチェンジ判定部，  ５３  背景物体ブロック検出部，  ５４  射影ヒストグラム生成部，  ５５  背景ベクトル第２候補算出部，  ５６  背景ベクトル選択部，  ５７  周辺ヒストグラム生成部，  ５８  背景ベクトル候補算出用ベクトル算出部，  ５９  背景ベクトル第１候補算出部，  ６０  周辺ヒストグラム生成部，  ６１  物体ベクトル候補算出用ベクトル算出部，  ６２  物体ベクトル算出部，  ６３  メディアンフィルタ，  ６４  比較判定部，  ６５  メディアンフィルタ，  ６６  比較判定部，  ７１  フレーム回数カウンタ，  ７２  静止相関判定部，  ７３  静止カウンタ，  ７４  順方向背景相関判定部，  ７５  逆方向背景相関判定部，  ７６  背景情報記憶部，  ７７  背景ベクトルメモリ，  ７８  背景カウンタ，  ８１  順方向物体相関判定部，  ８２  逆方向物体相関判定部，  ８３  物体情報記憶部，  ８４  物体ベクトルメモリ，  ８５  物体カウンタ，  ８６  物体回数カウンタ，  ９１  順方向動き推定部，  ９２  逆方向動き推定部，  １１１  動き補償部，  １１２  画素選択部，  １１３  加算部，  ２０１  注目画素選択部，  ２０２  動き補償部，  ２０３，２０４  タップ選択部，  ２０５  クラス分類部，  ２０６  係数出力部，  ２０７  予測演算部，  ２３１  学習用画像記憶部，  ２３２  教師データ生成部，  ２３３  教師データ記憶部，  ２３４  生徒データ生成部，  ２３５  生徒データ記憶部，  ２３６  学習部，  ２４０  動き検出部，  ２４１  注目画素選択部，  ２４２  動き補償部，  ２４３，２４４  タップ選択部，  ２４５  クラス分類部，  ２４６  足し込み部，  ２４７  タップ係数算出部，  ３０１  バス，  ３０２  CPU，  ３０３  ROM，  ３０４  RAM，  ３０５  ハードディスク，  ３０６  出力部，  ３０７  入力部，  ３０８  通信部，  ３０９  ドライブ，  ３１０  入出力インタフェース，  ３１１  リムーバブル記録媒体
【図１】
2010219715.tif 000011
【図２】
2010219715.tif 000012
【図３】
2010219715.tif 000013
【図４】
2010219715.tif 000014
【図５】
2010219715.tif 000015
【図６】
2010219715.tif 000016
【図７】
2010219715.tif 000017
【図８】
2010219715.tif 000018
【図９】
2010219715.tif 000019
【図１０】
2010219715.tif 000020
【図１１】
2010219715.tif 000021
【図１２】
2010219715.tif 000022
【図１３】
2010219715.tif 000023
【図１４】
2010219715.tif 000024
【図１５】
2010219715.tif 000025
【図１６】
2010219715.tif 000026
【図１７】
2010219715.tif 000027
【図１８】
2010219715.tif 000028
【図１９】
2010219715.tif 000029
【図２０】
2010219715.tif 000030
【図２１】
2010219715.tif 000031
【図２２】
2010219715.tif 000032
【図２３】
2010219715.tif 000033
【図２４】
2010219715.tif 000034
【図２５】
2010219715.tif 000035
【図２６】
2010219715.tif 000036
【図２７】
2010219715.tif 000037
【図２８】
2010219715.tif 000038
【図２９】
2010219715.tif 000039
【図３０】
2010219715.tif 000040
【図３１】
2010219715.tif 000041
【図３２】
2010219715.tif 000042
【図３３】
2010219715.tif 000043
【図３４】
2010219715.tif 000044
【図３５】
2010219715.tif 000045
【図３６】
2010219715.tif 000046
【図３７】
2010219715.tif 000047
【図３８】
2010219715.tif 000048
【図３９】
2010219715.tif 000049
【図４０】
2010219715.tif 000050
【図４１】
2010219715.tif 000051
【図４２】
2010219715.tif 000052
【図４３】
2010219715.tif 000053
【図４４】
2010219715.tif 000054
【図４５】
2010219715.tif 000055
【図４６】
2010219715.tif 000056
【図４７】
2010219715.tif 000057
【図４８】
2010219715.tif 000058
【図４９】
2010219715.tif 000059
【図５０】
2010219715.tif 000060
【図５１】
2010219715.tif 000061
【図５２】
2010219715.tif 000062
【図５３】
2010219715.tif 000063
【図５４】
2010219715.tif 000064
【図５５】
2010219715.tif 000065
【図５６】
2010219715.tif 000066
【図５７】
2010219715.tif 000067
【図５８】
2010219715.tif 000068
【図５９】
2010219715.tif 000069
【図６０】
2010219715.tif 000070
【図６１】
2010219715.tif 000071
【図６２】
2010219715.tif 000072
【図６３】
2010219715.tif 000073
【図６４】
2010219715.tif 000074