(57)【特許請求の範囲】
【請求項１】
画像の動きを表す動き情報を求める画像処理装置において、
注目している注目ピクチャの画素のうちの、注目している注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求めて出力する一方、
前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求めるとともに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求め、前記評価値を用いて、前記注目画素の動き情報の信頼性を判定して、その信頼性を表す信頼性情報を出力する
動き推定手段を備える画像処理装置。
【請求項２】
前記動き推定手段は、
注目ピクチャについて、画素の動きベクトルを検出する１個の動きベクトル検出手段と、
過去に注目ピクチャであった複数のピクチャについて検出された画素の動きベクトルを記憶する複数の動きベクトル記憶手段と、
前記動きベクトル検出手段において検出された注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求める動き情報算出手段と、
前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトル、並びに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求める複数の評価値演算手段と、
動き情報の信頼性を判定する信頼性判定の途中結果である判定途中結果を記憶する判定途中結果記憶手段と、
前記複数の評価値演算手段で求められた評価値と、前記判定途中結果記憶手段に記憶された過去の信頼性判定の判定途中結果とを用いて、前記注目画素の動き情報の信頼性を判定する信頼性判定を行うとともに、その信頼性判定の判定途中結果を、前記判定途中結果記憶手段に記憶させる信頼性判定手段と
を有する
請求項１に記載の画像処理装置。
【請求項３】
前記動き推定手段は、
注目ピクチャと、前記注目ピクチャに隣接する１以上の他のピクチャとの複数のピクチャについて、画素の動きベクトルを検出する複数の動きベクトル検出手段と、
前記複数の動きベクトル検出手段のうちの、前記注目ピクチャについての動きベクトル検出手段において検出された注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求める動き情報算出手段と、
前記複数の動きベクトル検出手段において検出された、前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトル、並びに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求める複数の評価値演算手段と、
前記複数の評価値演算手段で求められた評価値を用いて、前記注目画素の動き情報の信頼性を判定する信頼性判定手段と
を有する
請求項１に記載の画像処理装置。
【請求項４】
前記動き推定手段は、
注目ピクチャと、前記注目ピクチャに隣接する１以上の他のピクチャとの複数のピクチャについて、画素の動きベクトルを検出する複数の動きベクトル検出手段と、
前記複数の動きベクトル検出手段のうちの、前記注目ピクチャについての動きベクトル検出手段において検出された注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求める動き情報算出手段と、
前記複数の動きベクトル検出手段において検出された、前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトル、並びに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求める複数の評価値演算手段と、
動き情報の信頼性を判定する信頼性判定の途中結果である判定途中結果を記憶する判定途中結果記憶手段と、
前記複数の評価値演算手段で求められた評価値と、前記判定途中結果記憶手段に記憶された過去の信頼性判定の判定途中結果とを用いて、前記注目画素の動き情報の信頼性を判定する信頼性判定を行うとともに、その信頼性判定の判定途中結果を、前記判定途中結果記憶手段に記憶させる信頼性判定手段と
を有する
請求項１に記載の画像処理装置。
【請求項５】
前記動き推定手段は、
注目ピクチャについて、画素の動きベクトルを検出する１個の動きベクトル検出手段と、
過去に注目ピクチャであった複数のピクチャについて検出された画素の動きベクトルを記憶する複数の動きベクトル記憶手段と、
前記動きベクトル検出手段において検出された注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求める動き情報算出手段と、
前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトル、並びに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求める複数の評価値演算手段と、
前記複数の評価値演算手段で求められた評価値を用いて、前記注目画素の動き情報の信頼性を判定する信頼性判定手段と
を有する
請求項１に記載の画像処理装置。
【請求項６】
前記動き推定手段は、複数の動きベクトルの平均値と分散とのうちの一方、又は両方を、前記評価値として求める
請求項１に記載の画像処理装置。
【請求項７】
前記動き推定手段は、
注目ピクチャを含む連続する複数のピクチャにおいて隣接する２つのピクチャのセットすべてに関して、隣接する２つのピクチャについて求められた前記評価値どうしの差分が所定の閾値以下であるかを判定する評価値判定の判定結果が真である場合に、前記注目画素の動き情報の信頼性があると判定し、
少なくとも１つのセットに関しての評価値判定の判定結果が偽である場合に、前記注目画素の動き情報の信頼性がないと判定する
請求項１に記載の画像処理装置。
【請求項８】
前記注目画素について、前記注目ピクチャの他の画素の画素値を用いて第１の補間値を求める第１の補間手段と、
前記注目画素について、前記注目ピクチャに隣接するピクチャの画素の画素値と動き情報とを用いて第２の補間値を求める第２の補間手段と、
前記信頼性情報が、前記動き情報の信頼性がないことを表している場合、前記第１の補間値を選択して、前記注目画素の画素値として出力し、前記信頼性情報が、前記動き情報の信頼性があることを表している場合、前記第２の補間値を選択して、前記注目画素の画素値として出力する選択手段と
を有し、インターレース画像から、プログレッシブ画像を生成するプログレッシブ画像生成手段をさらに備える
請求項１に記載の画像処理装置。
【請求項９】
画像の動きを表す動き情報を求める画像処理装置の画像処理方法において、
注目している注目ピクチャの画素のうちの、注目している注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求めて出力する一方、
前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求めるとともに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求め、前記評価値を用いて、前記注目画素の動き情報の信頼性を判定して、その信頼性を表す信頼性情報を出力する
ステップを含む画像処理方法。
【請求項１０】
画像の動きを表す動き情報を求める画像処理装置として、コンピュータを機能させるプログラムにおいて、
注目している注目ピクチャの画素のうちの、注目している注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求めて出力する一方、
前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求めるとともに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求め、前記評価値を用いて、前記注目画素の動き情報の信頼性を判定して、その信頼性を表す信頼性情報を出力する
動き推定手段として、コンピュータを機能させるプログラム。
【請求項１１】
放送番組としての画像を表示する表示装置において、
前記放送番組を受信する受信手段と、
前記放送番組としての画像を構成するピクチャにおいて注目している注目ピクチャの画素のうちの、注目している注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求めて出力する一方、
前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求めるとともに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求め、前記評価値を用いて、前記注目画素の動き情報の信頼性を判定して、その信頼性を表す信頼性情報を出力する
動き推定手段と、
前記注目画素について、前記注目ピクチャの他の画素の画素値を用いて第１の補間値を求めるとともに、前記注目ピクチャに隣接するピクチャの画素の画素値と動き情報とを用いて第２の補間値を求め、
前記信頼性情報が、前記動き情報の信頼性がないことを表している場合、前記第１の補間値を選択して、前記注目画素の画素値として出力し、前記信頼性情報が、前記動き情報の信頼性があることを表している場合、前記第２の補間値を選択して、前記注目画素の画素値として出力することにより、インターレース画像から、プログレッシブ画像を生成する
プログレッシブ画像生成手段と、
前記プログレッシブ画像を表示する表示手段と
を備える表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラム、並びに表示装置に関し、特に、例えば、画像の動きを表す動き情報の信頼性を表す信頼性情報を、より正確に、かつ低コストで求めることができるようにする画像処理装置、画像処理方法、及びプログラム、並びに表示装置に関する。
【背景技術】
【０００２】
例えば、インターレース走査されるインターレース画像を、ノンインターレース走査されるプログレッシブ画像に変換するIP(Interlace Progressive)変換においては、インターレース画像の各フィールドにおいて、画素値が存在しない画素の補間が行われ、これにより、奇数ライン（奇数番目の水平ライン）、又は偶数ライン（偶数番目の水平ライン）のうちの一方にしか画素値が存在しないフィールドが、奇数ライン、及び偶数ラインの両方に画素値が存在するフレームに変換される。
【０００３】
IP変換における画素の補間の方法としては、フィールド内補間と、フィールド間補間と呼ばれる方法がある。
【０００４】
フィールド内補間、及びフィールド間補間では、インターレース画像のフィールドの、画素値が存在しない画素を、補間の対象の補間対象画素として、その補間対象画素の画素値（の補間値）が、画素値が存在する画素の画素値を用いて求められる。
【０００５】
ここで、本明細書では、垂直同期信号から、次の垂直同期信号まで、つまり、フィールドとフレームを、両方まとめて、ピクチャともいう。
【０００６】
また、以下、適宜、補間対象画素のうちの、注目している補間対象画素を、注目画素といい、注目画素のピクチャ（フィールド、フレーム）を、注目ピクチャという。
【０００７】
フィールド内補間では、注目画素の画素値が、注目ピクチャの画素のうちの、注目画素の近傍の画素の画素値を用いて求められる。
【０００８】
一方、フィールド間補間では、注目画素の画素値が、注目ピクチャの１ピクチャだけ前（時間的に過去）の前ピクチャの画素の画素値、及び、注目ピクチャの１ピクチャだけ後（時間的に未来）の後ピクチャの画素の画素値、並びに、注目画素の動きベクトルを用いて求められる。
【０００９】
すなわち、フィールド間補間では、注目画素の画素値が、前ピクチャの画素のうちの、注目画素の位置から注目画素の動きベクトルの分だけ移動した位置の画素の画素値と、後ピクチャの画素のうちの、注目画素の位置から注目画素の動きベクトルの分だけ移動した位置の画素の画素値とを用いて求められる。
【００１０】
以上のように、フィールド間補間では、注目画素（の画素値）の補間に、注目画素の動きベクトルが用いられる。したがって、注目画素の動きベクトルが、間違った動きを表している場合には、注目画素の画素値として、適切な補間値を求めることができず、その結果、プログレッシブ画像の画質が劣化する。
【００１１】
そこで、注目している注目ブロックについて検出された動きベクトルと、その注目ブロックの周囲のブロックについて検出された動きベクトルとを用い、それらの動きベクトルの一致性に基づいて、注目ブロックについて検出された動きベクトルの信頼性（正確さ）を表す信頼性情報を求め、その信頼性情報に応じて、フィールド内補間で得られる補間値と、フィールド間補間で得られる補間値とを混合し、その混合結果を、注目画素の画素値とするIP変換がある（例えば、特許文献１を参照）。
【００１２】
【特許文献１】特公平08-015334号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
ところで、動きベクトルを検出する方法としては、複数の画素の集まりを用いるブロックマッチングと呼ばれる方法がある。いま、動きベクトルの検出に用いられる複数の画素の集まりをマクロブロック(MB)と呼ぶこととすると、ブロックマッチングでは、あるピクチャのマクロブロックを構成する画素の画素値と、他のピクチャのマクロブロックを構成する画素の画素値との差分（差の絶対値）の総和（以下、動き誤差という）が、マクロブロックを移動しながら求められる。そして、動き誤差が最小になるときの、あるピクチャのマクロブロックと、他のピクチャのマクロブロックとの位置関係が、動きベクトルとして求められる。
【００１４】
ブロックマッチングでは、マクロブロックのサイズが大であるほど（マクロブロックの画素数が多いほど）、信頼性の高い動きベクトルを求めることができる可能性が高い。
【００１５】
しかしながら、マクロブロックのサイズを大にすると、動き誤差を求めるのに必要な計算量が大となり、リアルタイムで処理を行うためには、高速で処理を行うことができるハードウェアが必要となって、装置が高コスト化する。
【００１６】
一方、マクロブロックのサイズを小にすると、動き誤差を求めるのに必要な計算量は小となり、低コスト化を図ることができるが、信頼性の低い動きベクトルが求められる可能性が高くなる。
【００１７】
そして、信頼性が低い可能性が高い動きベクトルの中で、注目ブロックについて検出された動きベクトルと、その注目ブロックの周囲のブロックについて検出された動きベクトルとだけを用いて、注目ブロックについて検出された動きベクトルの信頼性情報を求めるのでは、その信頼性情報が、動きベクトルの信頼性を正確に表していないことがある。
【００１８】
本発明は、このような状況に鑑みてなされたものであり、画像の動きを表す動き情報の信頼性を表す信頼性情報を、より正確に、かつ低コストで求めることができるようにするものである。
【課題を解決するための手段】
【００１９】
本発明の第１の側面の画像処理装置、又はプログラムは、画像の動きを表す動き情報を求める画像処理装置、又は画像処理装置としてコンピュータを機能させるプログラムであり、注目している注目ピクチャの画素のうちの、注目している注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求めて出力する一方、前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求めるとともに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求め、前記評価値を用いて、前記注目画素の動き情報の信頼性を判定して、その信頼性を表す信頼性情報を出力する動き推定手段を備える画像処理装置、又は画像処理装置としてコンピュータを機能させるプログラムである。
【００２０】
本発明の第１の側面の画像処理方法は、画像の動きを表す動き情報を求める画像処理装置の画像処理方法であり、注目している注目ピクチャの画素のうちの、注目している注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求めて出力する一方、前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求めるとともに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求め、前記評価値を用いて、前記注目画素の動き情報の信頼性を判定して、その信頼性を表す信頼性情報を出力するステップを含む。
【００２１】
本発明の第２の側面の表示装置は、放送番組としての画像を表示する表示装置であり、前記放送番組としての画像を構成するピクチャにおいて注目している注目ピクチャの画素のうちの、注目している注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報を求めて出力する一方、前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求めるとともに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値を求め、前記評価値を用いて、前記注目画素の動き情報の信頼性を判定して、その信頼性を表す信頼性情報を出力する動き推定手段を備える。
【００２２】
本発明の第１及び第２の側面においては、注目している注目ピクチャの画素のうちの、注目している注目画素の動きベクトルと、前記注目画素の近傍の画素の動きベクトルとを用いて、前記注目画素の動き情報が求められる。また、前記注目ピクチャの前記注目画素の動きベクトル、及び、前記注目画素の近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値が求められるとともに、前記注目ピクチャに連続する複数のピクチャそれぞれにおける前記注目画素の位置近傍の複数の画素それぞれの動きベクトルを用いて、前記注目画素の動き情報を評価するための評価値が求められる。そして、前記評価値を用いて、前記注目画素の動き情報の信頼性が判定され、その信頼性を表す信頼性情報が出力される。
【００２３】
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００２４】
また、プログラムは、伝送媒体を介して伝送し、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００２５】
本発明の第１及び第２の側面によれば、画像の動きを表す動き情報の信頼性を表す信頼性情報を、より正確に、かつ低コストで求めることができる。
【発明を実施するための最良の形態】
【００３５】
以下、図面を参照して、本発明の実施の形態について説明する。
【００３６】
図１は、本発明を適用した表示装置としてのTV（テレビジョン受像機）の一実施の形態の構成例を示すブロック図である。
【００３７】
チューナ１１には、例えば、地上ディジタル放送の放送信号が、アンテナから供給される。
【００３８】
チューナ１１は、そこに供給される放送信号から、所定の周波数帯域の信号となっている、例えば、トランスポートストリームを抽出し、デスクランブラ１２に供給する。
【００３９】
デスクランブラ１２は、チューナ１１からのトランスポートストリームにかかっているスクランブルを解き、デマルチプレクサ１３に供給する。
【００４０】
デマルチプレクサ１３は、デスクランブラ１２からのトランスポートストリームから、所定の放送番組としての画像データや音声データが含まれるTS(Transport Stream)パケットを分離して出力する。
【００４１】
デマルチプレクサ１３が出力する音声データのTSパケットは、図示せぬデコーダでデコードされる。そして、そのデコードの結果得られる音声データは、図示せぬスピーカに供給され、スピーカから、対応する音声が出力される。
【００４２】
また、デマルチプレクサ１３が出力する画像データのTSパケットは、デコーダ１４に供給される。デコーダ１４は、デマルチプレクサ１３からのTSパケットをデコードし、その結果得られるインターレース画像の画像データを、IP変換部１５に供給する。
【００４３】
IP変換部１５は、デコーダ１４からのインターレース画像を対象として、画像処理を行う画像処理装置であり、デコーダ１４からのインターレース画像（の画像データ）を、プログレッシブ画像にIP変換する。IP変換部１５におけるIP変換によって得られたプログレッシブ画像は、表示パネル１６に供給される。
【００４４】
表示パネル１６は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等で構成され、IP変換部１５からのプログレッシブ画像を表示する。
【００４５】
図２は、図１のIP変換部１５の構成例を示している。
【００４６】
IP変換部１５は、メモリ部２１、動き推定部２２、及びプログレッシブ画像生成部２３から構成される。
【００４７】
メモリ部２１は、デコーダ１４から供給されるインターレース画像をピクチャ（フィールド）単位で一時記憶し、必要に応じて、動き推定部２２、及びプログレッシブ画像生成部２３に供給する。
【００４８】
動き推定部２２は、メモリ部２１に記憶された（インターレース画像の）ピクチャを、順次、注目している注目ピクチャとして、注目ピクチャの画素のうちの、注目している注目画素の動きベクトルと、注目画素の近傍の画素の動きベクトルとを用いて、注目画素の動き情報を求めて出力する。
【００４９】
さらに、動き推定部２２は、注目ピクチャの複数の画素の動きベクトルを用いて、注目画素の動き情報を評価するための評価値を求めるとともに、注目ピクチャに隣接する他のピクチャの複数の画素の動きベクトルを用いて、注目画素の動き情報を評価するための評価値を求める。そして、動き推定部２２は、評価値を用いて、注目画素の動き情報の信頼性を判定して、その信頼性を表す信頼性情報を出力する。
【００５０】
動き推定部２２が出力する動き情報、及び信頼性情報は、プログレッシブ画像生成部２３に供給される。
【００５１】
プログレッシブ画像生成部２３は、動き推定部２２からの動き情報、及び信頼性情報を用い、メモリ部２１に記憶されたインターレース画像から、プログレッシブ画像を生成して出力する。
【００５２】
すなわち、プログレッシブ画像生成部２３は、注目ピクチャの他の画素の画素値を用いて、フィールド内補間を行うことによって、フィールド内補間値（第１の補間値）を求めるとともに、注目ピクチャに隣接するピクチャの画素の画素値と、動き推定部２２からの注目画素の動き情報とを用いて、フィールド間補間を行うことによって、フィールド間補間値（第２の補間値）を求める。
【００５３】
そして、プログレッシブ画像生成部２３は、動き推定部２２からの信頼性情報が、注目画素の動き情報の信頼性がないことを表している場合、フィールド内補間値を、注目画素の画素値として選択する。
【００５４】
一方、プログレッシブ画像生成部２３は、動き推定部２２からの信頼性情報が、注目画素の動き情報の信頼性があることを表している場合、フィールド間補間値を、注目画素の画素値として選択する。
【００５５】
プログレッシブ画像生成部２３は、メモリ部２１に記憶された注目ピクチャにおいて画素値が存在しない画素を補間対象画素とし、その補間対象画素を、順次、注目画素として、注目画素、つまり、補間対象画素の画素値を求める。
【００５６】
そして、プログレッシブ画像生成部２３は、注目ピクチャにおいて画素値がある画素と、画素値を求めた補間対象画素とから、プログレッシブ画像を生成する。
【００５７】
次に、図３は、インターレース画像を示している。
【００５８】
インターレース画像のピクチャには、奇数ライン（の画素値）のみ存在し、偶数ライン（の画素値）が存在しないピクチャと、偶数ラインのみ存在し、奇数ラインが存在しないピクチャとがある。そして、奇数ラインのみ存在するピクチャ（奇数フィールド）と、偶数ラインのみ存在するピクチャ（偶数フィールド）とが交互に並んでいる。
【００５９】
ここで、図３では（後述する図４、図６、図７、及び図１１においても同様）、奇数ラインを実線で表し、偶数ラインを点線で表してある。
【００６０】
さらに、図３では（後述する図４、図６、図７、及び図１１においても同様）、奇数ラインの画素を丸印で表し、偶数ラインの画素を矩形（正方形）で表してある。
【００６１】
なお、奇数ラインの画素を表す丸印のうちの、画素値が存在する画素を表す丸印は実線になっており、画素値が存在しない画素を表す丸印は点線になっている。偶数ラインの画素についても同様に、偶数ラインの画素を表す矩形のうちの、画素値が存在する画素を表す矩形は実線になっており、画素値が存在しない画素を表す矩形は点線になっている。
【００６２】
図３では、第N-1ピクチャ、及び第N+1ピクチャが、偶数ラインのみ存在する偶数フィールドで、第Nピクチャが、奇数ラインのみ存在する奇数フィールドになっている。
【００６３】
ここで、第Nピクチャとは、例えば、ある放送番組としての画像の先頭からN番目のピクチャである。したがって、第N-1ピクチャは、第Nピクチャより１ピクチャ分だけ過去のピクチャ（以下、前ピクチャともいう）であり、第N+1ピクチャは、第Nピクチャより１ピクチャ分だけ未来のピクチャ（以下、後ピクチャともいう）である。
【００６４】
図４は、プログレッシブ画像を示している。
【００６５】
プログレッシブ画像のピクチャには、奇数ライン、及び偶数ラインの両方が存在する。
【００６６】
図２のIP変換部１５では、図３に示したインターレース画像の・・・、第N-1ピクチャ、第Nピクチャ、第N+1ピクチャ、・・・を、図４のプログレッシブ画像の・・・、第N-1ピクチャ、第Nピクチャ、第N+1ピクチャ、・・・に変換するIP変換が行われる。
【００６７】
図５は、図２のIP変換部１５で行われるIP変換の処理（IP変換処理）を説明するフローチャートである。
【００６８】
IP変換部１５では、デコーダ１４（図１）からインターレース画像の新たなピクチャが供給されるのを待って、メモリ部２１が、ステップＳ１１において、デコーダ１４からのインターレース画像のピクチャを一時記憶して、処理は、ステップＳ１２に進む。
【００６９】
ステップＳ１２では、動き推定部２２が、メモリ部２１に記憶された（インターレース画像の）ピクチャのうちの所定のピクチャを、注目ピクチャとして、その注目ピクチャの補間対象画素（画素値が存在しない画素）の動き情報と、その動き情報の信頼性を表す信頼性情報を求める動き推定処理を行う。
【００７０】
そして、動き推定部２２が、動き推定処理によって得られた動き情報、及び信頼性情報を、プログレッシブ画像生成部２３に供給して、処理は、ステップＳ１２からステップＳ１３に進む。
【００７１】
ステップＳ１３では、プログレッシブ画像生成部２３は、動き推定部２２からの動き情報、及び信頼性情報に基づき、メモリ部２１に記憶された注目ピクチャのインターレース画像を用いて、注目ピクチャのプログレッシブ画像を生成するプログレッシブ画像生成処理を行い、その結果得られるプログレッシブ画像を、表示パネル１６（図１）に供給する。
【００７２】
その後、処理は、ステップＳ１３からステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００７３】
次に、IP変換部１５で行われるIP変換処理について、さらに説明するが、その前に、ブロックマッチングによる動きベクトルの検出の方法について説明する。
【００７４】
まず、図６を参照して、プログレッシブ画像の動きベクトルの検出の方法について説明する。
【００７５】
なお、ここでは、動きベクトルとしては、例えば、未来方向に向かうベクトル（過去側を始点とし、未来側を終点とするベクトル）を検出することとする。
【００７６】
図６は、プログレッシブ画像の連続する３つの第N-1ピクチャ、第Nピクチャ、及び第N+1ピクチャを示している。
【００７７】
いま、プログレッシブ画像の第Nピクチャを注目ピクチャとし、さらに、その注目ピクチャの、ある画素を注目画素として、注目画素の動きベクトルを検出する場合には、注目ピクチャと、注目ピクチャの１ピクチャだけ後の後ピクチャである第N+1ピクチャとを用いて、動きベクトルが検出される。
【００７８】
すなわち、注目ピクチャである第Nピクチャにおいて、注目画素を中心とする所定のサイズのマクロブロック（以下、適宜、単にブロックという）が設定される。図６では、注目画素を中心とする横×縦が３×３画素のブロックMBNが設定されている。
【００７９】
さらに、注目画素を始点とし、後ピクチャである第N+1ピクチャの画素の位置を終点とする複数のベクトルを、動きベクトルの候補である候補ベクトルとして、複数の候補ベクトルのうちの、１つの候補ベクトルv1が、注目候補ベクトルとして選択される。
【００８０】
そして、第N+1ピクチャにおいて、注目候補ベクトルv1の終点の位置の画素を中心として、ブロックMBNと同一のサイズのブロック、すなわち、横×縦が３×３画素のブロックMBN+1,1が、ブロックMBNに対応する対応ブロックとして設定され、ブロックMBNの各画素の画素値と、対応ブロックMBN+1,1の同一の位置の画素の画素値との、例えば、差分（差の絶対値）の総和等である動き誤差が求められる。
【００８１】
他の候補ベクトルについても、同様にして、動き誤差が求められ、候補ベクトルのすべてについて動き誤差が求められると、最小の動き誤差を与える候補ベクトルが、注目画素の動きベクトルとして検出される。
【００８２】
したがって、例えば、いま、候補ベクトルとして、２つのベクトルv1及びv2があるとすると、第N+1ピクチャにおいて、候補ベクトルv1の終点の位置の画素を中心とする対応ブロックMBN+1,1と、第Nピクチャにおいて、注目画素を中心とするブロックMBNとの、画素値の差分の総和が、候補ベクトルv1についての動き誤差として求められる。
【００８３】
さらに、第N+1ピクチャにおいて、候補ベクトルv2の終点の位置の画素を中心とする対応ブロックMBN+1,2と、第Nピクチャにおいて、注目画素を中心とするブロックMBNとの、画素値の差分の総和が、候補ベクトルv2についての動き誤差として求められる。
【００８４】
そして、候補ベクトルv1についての動き誤差と、候補ベクトルv2についての動き誤差とのうちの、候補ベクトルv1についての動き誤差の方が小さければ、候補ベクトルv1が、注目画素の動きベクトルとして検出される。一方、候補ベクトルv2についての動き誤差の方が小さければ、候補ベクトルv2が、注目画素の動きベクトルとして検出される。
【００８５】
以上のように、プログレッシブ画像の動きベクトルを検出する場合には、注目ピクチャと、その後ピクチャ（又は前ピクチャ）とが必要となる。
【００８６】
次に、図７を参照して、インターレース画像の動きベクトルの検出の方法について説明する。
【００８７】
図７は、インターレース画像の連続する３つの第N-1ピクチャ、第Nピクチャ、及び第N+1ピクチャを示している。
【００８８】
インターレース画像についても、プログレッシブ画像と同様に、複数の候補ベクトルのすべてについて動き誤差が求められ、最小の動き誤差を与える候補ベクトルが、注目画素の動きベクトルとして検出される。
【００８９】
但し、インターレース画像においては、図３で説明したように、奇数ラインのみ存在するピクチャ（奇数フィールド）と、偶数ラインのみ存在するピクチャ（偶数フィールド）とが交互に並んでいる。
【００９０】
このため、注目ピクチャである第Nピクチャと、後ピクチャである第N+1ピクチャとでは、画素値が存在する画素の位置がずれている。
【００９１】
そこで、インターレース画像については、動きベクトルの検出が、プログレッシブ画像のように、注目ピクチャである第Nピクチャと、後ピクチャである第N+1ピクチャとを用いて行われるのではなく、後ピクチャである第N+1ピクチャと、注目ピクチャの１ピクチャだけ前の前ピクチャである第N-1ピクチャとを用いて行われる。
【００９２】
すなわち、注目画素を通り、かつ、前ピクチャである第N-1ピクチャの画素の位置を始点とするとともに、後ピクチャである第N+1ピクチャの画素の位置を終点とする複数のベクトルを、動きベクトルの候補である候補ベクトルとして、複数の候補ベクトルのうちの、１つの候補ベクトルv1が、注目候補ベクトルとして選択される。
【００９３】
そして、第N-1ピクチャにおいて、注目候補ベクトルv1の始点の位置の画素を中心とする、注目画素のブロックMBNと同一のサイズのブロックMBN-1,1と、第N+1ピクチャにおいて、注目候補ベクトルv1の終点の位置の画素を中心とする、注目画素のブロックMBNと同一のサイズのブロックMBN+1,1との２つが、注目画素のブロックMBNに対応する対応ブロックとして設定され、２つの対応ブロックMBN-1,1とMBN+1,1との同一の位置の画素の画素値との差分の総和等が、注目候補ベクトルv1についての動き誤差として求められる。
【００９４】
他の候補ベクトルについても、同様にして、動き誤差が求められ、候補ベクトルのすべてについて動き誤差が求められると、最小の動き誤差を与える候補ベクトルが、注目画素の動きベクトルとして検出される。
【００９５】
したがって、例えば、いま、候補ベクトルとして、注目画素を通る２つのベクトルv1及びv2があるとすると、候補ベクトルv1の始点の位置の画素を中心とする第N-1ピクチャの対応ブロックMBN-1,1と、候補ベクトルv1の終点の位置の画素を中心とする第N+1ピクチャの対応ブロックMBN+1,1との、画素値の差分の総和が、候補ベクトルv1についての動き誤差として求められる。
【００９６】
さらに、候補ベクトルv2の始点の位置の画素を中心とする第N-1ピクチャの対応ブロックMBN-1,2と、候補ベクトルv2の終点の位置の画素を中心とする第N+1ピクチャの対応ブロックMBN+1,2との、画素値の差分の総和が、候補ベクトルv2についての動き誤差として求められる。
【００９７】
そして、候補ベクトルv1についての動き誤差と、候補ベクトルv2についての動き誤差とのうちの、候補ベクトルv1についての動き誤差の方が小さければ、候補ベクトルv1が、注目画素の動きベクトルとして検出される。一方、候補ベクトルv2についての動き誤差の方が小さければ、候補ベクトルv2が、注目画素の動きベクトルとして検出される。
【００９８】
以上のように、インターレース画像の動きベクトルを検出する場合には、注目ピクチャの前ピクチャと、その後ピクチャとが必要となる。
【００９９】
次に、図８は、図２のメモリ部２１の構成例を示している。
【０１００】
図８において、メモリ部２１は、６個のフレーム（フィールド）メモリ３１0，３１1，３１2，３１3，３１4、及び３１5が、シリーズに接続されて構成されている。メモリ３１i(i=0,1,・・・,5)は、少なくとも、１フィールド分の画素値を記憶することができる記憶容量を有する。
【０１０１】
メモリ部２１には、デコーダ１４（図１）からインターレース画像のピクチャ（フィールド）が供給される。
【０１０２】
デコーダ１４からメモリ部２１に供給されたピクチャは、動き推定部２２、及びプログレッシブ画像生成部２３（図２）に供給されるとともに、フレームメモリ３１0に供給される。
【０１０３】
フレームメモリ３１0は、デコーダ１４からメモリ部２１に供給されるピクチャを、次のピクチャ（後ピクチャ）が供給されるまで記憶し、すなわち、１ピクチャ分の時間だけ遅延し、後段のフレームメモリ３１1に供給するとともに、動き推定部２２、及びプログレッシブ画像生成部２３（図２）に供給する。
【０１０４】
フレームメモリ３１1は、フレームメモリ３１0と同様に、前段のフレームメモリ３１0から供給されるピクチャを記憶することにより、１ピクチャ分の時間だけ遅延し、後段のフレームメモリ３１2に供給するとともに、動き推定部２２、及びプログレッシブ画像生成部２３に供給する。
【０１０５】
フレームメモリ３１2は、フレームメモリ３１0と同様に、前段のフレームメモリ３１1から供給されるピクチャを記憶することにより、１ピクチャ分の時間だけ遅延し、後段のフレームメモリ３１3に供給するとともに、動き推定部２２に供給する。
【０１０６】
フレームメモリ３１3は、フレームメモリ３１0と同様に、前段のフレームメモリ３１2から供給されるピクチャを記憶することにより、１ピクチャ分の時間だけ遅延し、後段のフレームメモリ３１4に供給するとともに、動き推定部２２に供給する。
【０１０７】
フレームメモリ３１4は、フレームメモリ３１0と同様に、前段のフレームメモリ３１3から供給されるピクチャを記憶することにより、１ピクチャ分の時間だけ遅延し、後段のフレームメモリ３１5に供給するとともに、動き推定部２２に供給する。
【０１０８】
フレームメモリ３１5は、フレームメモリ３１0と同様に、前段のフレームメモリ３１4から供給されるピクチャを記憶することにより、１ピクチャ分の時間だけ遅延し、動き推定部２２に供給する。
【０１０９】
したがって、ある時刻tにおいて、デコーダ１４からメモリ部２１に供給されたピクチャが、第N+1ピクチャであるとすると、メモリ部２１では、そのとき、フレームメモリ３１0ないし３１5に、第Nピクチャ、第N-1ピクチャ、第N-2ピクチャ、第N-3ピクチャ、第N-4ピクチャ、及び第N-5ピクチャがそれぞれ記憶されているから、第N+1ピクチャないし第N-5ピクチャの、連続する６ピクチャが出力される。
【０１１０】
上述したように、動き推定部２２（図２）には、メモリ部２１が出力する６つの第N+1ピクチャないし第N-5ピクチャのすべてが供給され、プログレッシブ画像生成部２３（図２）には、メモリ部２１が出力する６つの第N+1ピクチャないし第N-5ピクチャのうちの、３つの第N+1ピクチャないし第N-1ピクチャが供給される。
【０１１１】
そして、動き推定部２２、及びプログレッシブ画像生成部２３では、フレームメモリ３１0に記憶されたピクチャ、すなわち、フレームメモリ３１0ないし３１5に、第Nピクチャないし第N-5ピクチャがそれぞれ記憶されている場合には、第Nピクチャを、注目ピクチャとして処理が行われる。
【０１１２】
次に、図９は、図２の動き推定部２２の第１の構成例を示すブロック図である。
【０１１３】
図９において、動き推定部２２は、５個の動きベクトル検出部５１0，５１1，５１2，５１3、及び５１4、５つの評価値演算部５２0，５２1，５２2，５２3、及び５２4、動き情報算出部５３、並びに信頼性判定部５４から構成される。
【０１１４】
動きベクトル検出部５１0ないし５１4は、注目ピクチャと、注目ピクチャに隣接する１以上の他のピクチャとの複数のピクチャについて、画素の動きベクトルを検出し、評価値演算部５２0ないし５２4に、それぞれ供給する。
【０１１５】
すなわち、例えば、いま、メモリ部２１（図８）のフレームメモリ３１0に、第Nピクチャが記憶されているとすると、そのフレームメモリ３１0に記憶されている第Nピクチャを、注目ピクチャとして、動きベクトル検出部５１0ないし５１4は、注目ピクチャである第Nピクチャと、注目ピクチャに隣接する１以上の他のピクチャとしての、フレームメモリ３１1ないし３１4に記憶された第N-1ピクチャないし第N-4ピクチャとの５つの第Nピクチャないし第N-4ピクチャについて、画素の動きベクトルを検出し、評価値演算部５２0ないし５２4に、それぞれ供給する。
【０１１６】
具体的には、動きベクトル検出部５１0には、デコーダ１４（図１）からメモリ部２１に供給された最新の第N+1ピクチャと、フレームメモリ３１1（図８）に記憶された第N-1ピクチャとが、メモリ部２１から供給される。
【０１１７】
動きベクトル検出部５１0は、注目ピクチャである第Nピクチャの前ピクチャである第N-1ピクチャと、後ピクチャである第N+1ピクチャとを用いて、注目ピクチャである第Nピクチャの補間対象画素の動きベクトルmv0を、図７で説明したようにして検出し、評価値演算部５２0と、動き情報算出部５３とに供給する。
【０１１８】
動きベクトル検出部５１1には、フレームメモリ３１0（図８）に記憶された第Nピクチャと、フレームメモリ３１2に記憶された第N-2ピクチャとが、メモリ部２１から供給される。
【０１１９】
動きベクトル検出部５１1は、注目ピクチャに連続して隣接する４つの第N-1ピクチャないし第N-4ピクチャのうちの、注目ピクチャの１ピクチャ前の第N-1ピクチャの前ピクチャである第N-2ピクチャと、後ピクチャである第Nピクチャとを用いて、第N-1ピクチャの補間対象画素の動きベクトルmv1を、図７で説明したようにして検出し、評価値演算部５２1に供給する。
【０１２０】
動きベクトル検出部５１2には、フレームメモリ３１1（図８）に記憶された第N-1ピクチャと、フレームメモリ３１3に記憶された第N-3ピクチャとが、メモリ部２１から供給される。
【０１２１】
動きベクトル検出部５１2は、注目ピクチャに連続して隣接する４つの第N-1ピクチャないし第N-4ピクチャのうちの、注目ピクチャの２ピクチャ前の第N-2ピクチャの前ピクチャである第N-3ピクチャと、後ピクチャである第N-1ピクチャとを用いて、第N-2ピクチャの補間対象画素の動きベクトルmv2を、図７で説明したようにして検出し、評価値演算部５２2に供給する。
【０１２２】
動きベクトル検出部５１3には、フレームメモリ３１2（図８）に記憶された第N-2ピクチャと、フレームメモリ３１4に記憶された第N-4ピクチャとが、メモリ部２１から供給される。
【０１２３】
動きベクトル検出部５１3は、注目ピクチャに連続して隣接する４つの第N-1ピクチャないし第N-4ピクチャのうちの、注目ピクチャの３ピクチャ前の第N-3ピクチャの前ピクチャである第N-4ピクチャと、後ピクチャである第N-2ピクチャとを用いて、第N-3ピクチャの補間対象画素の動きベクトルmv3を、図７で説明したようにして検出し、評価値演算部５２3に供給する。
【０１２４】
動きベクトル検出部５１4には、フレームメモリ３１3（図８）に記憶された第N-3ピクチャと、フレームメモリ３１5に記憶された第N-5ピクチャとが、メモリ部２１から供給される。
【０１２５】
動きベクトル検出部５１4は、注目ピクチャに連続して隣接する４つの第N-1ピクチャないし第N-4ピクチャのうちの、注目ピクチャの４ピクチャ前の第N-4ピクチャの前ピクチャである第N-5ピクチャと、後ピクチャである第N-3ピクチャとを用いて、第N-4ピクチャの補間対象画素の動きベクトルmv4を、図７で説明したようにして検出し、評価値演算部５２4に供給する。
【０１２６】
評価値演算部５２k(k=0,1,・・・,4)は、動きベクトル検出部５１kから供給される動きベクトルmvkを用いて、注目ピクチャの注目画素の動き情報を評価するための評価値を求め、信頼性判定部５４に供給する。
【０１２７】
動き情報算出部５３は、５個の動きベクトル検出部５１0ないし５１4のうちの、注目ピクチャである第Nピクチャについての動きベクトル検出部５１0から供給される注目画素の動きベクトルと、注目画素の近傍の画素の動きベクトルとを用いて、注目画素の動き情報を求めて、プログレッシブ画像生成部２３（図２）に供給する。
【０１２８】
信頼性判定部５４は、評価値演算部５２0ないし５２4から供給される評価値を用いて、動き情報算出部５３で求められる注目画素の動き情報の信頼性を判定し、その信頼性を表す信頼性情報を、プログレッシブ画像生成部２３（図２）に供給する。
【０１２９】
次に、図１０を参照して、図９の動きベクトル検出部５１kの処理についてさらに説明する。
【０１３０】
動きベクトル検出部５１kは、注目ピクチャのｋピクチャ前の第N-kピクチャを、動きベクトルの検出の対象のピクチャ（以下、検出対象ピクチャともいう）として、その検出対象ピクチャの補間対象画素の動きベクトルmvkを、前ピクチャである第N-k-1ピクチャと、後ピクチャである第N-k+1ピクチャとを用いて、図７で説明したようにして検出する。
【０１３１】
すなわち、動きベクトル検出部５１kでは、図７で説明したように、複数の候補ベクトルそれぞれについて、動き誤差が求められ、その動き誤差が最小の候補ベクトルが、動きベクトルとして検出される。
【０１３２】
ここで、図１０は、複数の候補ベクトルの例を示している。
【０１３３】
動きベクトル検出部５１kでは、例えば、図１０に示す４９個のベクトルv(-3,-3)ないしv(3,3)を候補ベクトルとして、動きベクトルが検出される。
【０１３４】
いま、検出対象ピクチャである第N-kピクチャの補間対象画素の中で、動きベクトル検出部５１kが動きベクトルを検出しようとする画素を、検出対象画素ということとする。また、ピクチャの左から右方向にx軸をとり、上から下方向にy軸をとることとする。
【０１３５】
この場合、図１０において、候補ベクトルv(x,y)は、検出対象画素を通り、かつ、検出対象ピクチャの後ピクチャである第N-k+1ピクチャの、検出対象画素の位置から(x,y)だけ移動した位置を終点とするとともに、検出対象ピクチャの前ピクチャである第N-k-1ピクチャの、検出対象画素の位置から(-x,-y)だけ移動した位置を終点とするベクトルである。
【０１３６】
動きベクトル検出部５１kは、検出対象ピクチャである第N-kピクチャの検出対象画素について、図１０の４９個の候補ベクトルv(x,y)を、順次、注目候補ベクトルとする。
【０１３７】
さらに、動きベクトル検出部５１kは、検出対象ピクチャの前ピクチャである第N-k-1ピクチャにおいて、注目候補ベクトルの始点の位置の画素を中心とする、例えば、横×縦が３×３画素の対応ブロックと、検出対象ピクチャの後ピクチャである第N-k+1ピクチャにおいて、注目候補ベクトルの終点の位置の画素を中心とする、横×縦が３×３画素の対応ブロックとを設定し、第N-k-1ピクチャの対応ブロックと、第N-k+1ピクチャの対応ブロックとの同一の位置の画素の画素値との差分の総和を、注目候補ベクトルについての動き誤差として求める。
【０１３８】
そして、動きベクトル検出部５１kは、図１０に示した４９個の候補ベクトルv(-3,-3)ないしv(3,3)のうちの、動き誤差が最小の候補ベクトルv(x,y)を、検出対象画素の動きベクトルmvkとして検出する。
【０１３９】
なお、候補ベクトルは、図１０に示した４９個のベクトルに限定されるものではない。
【０１４０】
また、対応ブロックのサイズも、横×縦が３×３画素のブロックに限定されるものではない。
【０１４１】
次に、図１１を参照して、図９の評価値演算部５２kの処理についてさらに説明する。
【０１４２】
図１１は、第Nピクチャが注目ピクチャである場合に、図９の動きベクトル検出部５１0ないし５１4で動きベクトルが検出されるインターレース画像の第Nピクチャないし第N-4ピクチャを示している。
【０１４３】
評価値演算部５２0は、動きベクトル検出部５１0から供給される注目ピクチャである第Nピクチャの補間対象画素の動きベクトルmv0を用いて、注目ピクチャの注目画素の動き情報を評価するための第０の評価値を求める。
【０１４４】
すなわち、評価値演算部５２0は、注目ピクチャの、注目画素p0,0の動きベクトルmv0,0と、注目画素の近傍の複数の画素の動きベクトルとしての、例えば、注目画素p0,0の左隣の画素p0,-1の動きベクトルmv0,-1、注目画素p0,0から２画素分だけ左にある画素p0,-2の動きベクトルmv0,-2、注目画素p0,0の右隣の画素p0,1の動きベクトルmv0,1、及び注目画素p0,0から２画素分だけ右にある画素p0,2の動きベクトルmv0,2との、合計で５個の補間対象画素の動きベクトルmv0,0，mv0,-1，mv0,-2，mv0,1、及びmv0,2の、例えば、平均値ave0と分散dis0を、第０の評価値として求める。
【０１４５】
ここで、平均値ave0は、式（１）に従って計算される。
【０１４６】
ave0=(mv0,0+mv0,-1+mv0,-2+mv0,1+mv0,2)/M
・・・（１）
【０１４７】
また、分散dis0は、例えば、式（２）に従って、いわば簡易的に計算される。
【０１４８】
dis0=(|mv0,0-ave0|+|mv0,-1-ave0|+|mv0,-2-ave0|+|mv0,1-ave0|+|mv0,2-ave0|)/M
・・・（２）
【０１４９】
なお、式（１）及び式（２）において、Mは、正規化のための正規化係数であり、計算に用いられる動きベクトルの数である。したがって、式（１）及び式（２）における正規化係数Mは、5である。
【０１５０】
評価値演算部５２1は、動きベクトル検出部５１1から供給される注目ピクチャの１ピクチャだけ前の第N-1ピクチャの補間対象画素の動きベクトルmv1を用いて、注目ピクチャの注目画素の動き情報を評価するための第１の評価値を求める。
【０１５１】
すなわち、評価値演算部５２1は、注目ピクチャの１ピクチャだけ前の第N-1ピクチャの、注目画素の位置の近傍の位置の複数の画素の動きベクトルの、例えば、平均値ave1と分散dis1を、第１の評価値として求める。
【０１５２】
ここで、動きベクトル検出部５１kでは、動きベクトルmvkが、ピクチャの補間対象画素についてだけ検出される。また、動きベクトル検出部５１kが動きベクトルmvkの検出の対象とするピクチャ（検出対象ピクチャ）は、インターレース画像である。したがって、注目ピクチャと、注目ピクチャから偶数のピクチャ数だけ離れたピクチャとでは、動きベクトルが検出される画素（補間対象画素）の位置が一致するが、注目ピクチャと、注目ピクチャから奇数のピクチャ数だけ離れたピクチャとでは、動きベクトルが検出される画素の位置が１ラインだけずれる。
【０１５３】
このため、注目ピクチャの１ピクチャだけ前の第N-1ピクチャにおいては、注目画素の位置のラインの画素については、動きベクトルが検出されない。また、注目ピクチャの１ピクチャだけ前の第N-1ピクチャにおいては、注目画素の位置の１ラインだけ下のラインや、上のラインの画素については、動きベクトルが検出される。
【０１５４】
そこで、評価値演算部５２1は、注目ピクチャの１ピクチャだけ前の第N-1ピクチャの、注目画素の位置の近傍の位置の複数の画素の動きベクトルとして、例えば、注目画素p0,0の位置の１ラインだけ下のラインにおける、水平方向の位置が注目画素p0,0と一致する画素pd1,0の動きベクトルmvd1,0、画素pd1,0の左隣の画素pd1,-1の動きベクトルmvd1,-1、画素pd1,0から２画素分だけ左にある画素pd1,-2の動きベクトルmvd1,-2、画素pd1,0の右隣の画素pd1,1の動きベクトルmvd1,1、及び画素pd1,0から２画素分だけ右にある画素pd1,2の動きベクトルmvd1,2と、注目画素p0,0の位置の１ラインだけ上のラインにおける、水平方向の位置が注目画素p0,0と一致する画素pu1,0の動きベクトルmvu1,0、画素pu1,0の左隣の画素pu1,-1の動きベクトルmvu1,-1、画素pu1,0から２画素分だけ左にある画素pu1,-2の動きベクトルmvu1,-2、画素pu1,0の右隣の画素pu1,1の動きベクトルmvu1,1、及び画素pu1,0から２画素分だけ右にある画素pu1,2の動きベクトルmvu1,2との、合計で１０個の補間対象画素の動きベクトルmvd1,0，mvd1,-1，mvd1,-2，mvd1,1，mvd1,2，mvu1,0，mvu1,-1，mvu1,-2，mvu1,1、及びmvu1,2を用い、その平均値ave1と分散dis1を、第１の評価値として求める。
【０１５５】
ここで、平均値ave1は、式（１）と同様の式（３）に従って計算される。
【０１５６】
ave1=(mvd1,0+mvd1,-1+mvd1,-2+mvd1,1+mvd1,2+mvu1,0+mvu1,-1+mvu1,-2+mvu1,1+mvu1,2)/M
・・・（３）
【０１５７】
また、分散dis1は、式（２）と同様の式（４）に従って計算される。
【０１５８】
dis1=(|mvd1,0-ave1|+|mvd1,-1-ave1|+|mvd1,-2-ave1|+|mvd1,1-ave1|+|mvd1,2-ave1|
+|mvu1,0-ave1|+|mvu1,-1-ave1|+|mvu1,-2-ave1|+|mvu1,1-ave1|+|mvu1,2-ave1|)/M
・・・（４）
【０１５９】
なお、式（３）及び式（４）において、正規化係数Mは、10である。
【０１６０】
評価値演算部５２2は、動きベクトル検出部５１2から供給される注目ピクチャの２ピクチャだけ前の第N-2ピクチャの補間対象画素の動きベクトルmv2を用いて、注目ピクチャの注目画素の動き情報を評価するための第２の評価値を求める。
【０１６１】
すなわち、評価値演算部５２2は、注目ピクチャの２ピクチャだけ前の第N-2ピクチャの、注目画素の位置の近傍の位置の複数の画素の動きベクトルの平均値ave2と分散dis2を、第２の評価値として求める。
【０１６２】
ここで、注目ピクチャの２ピクチャだけ前の第N-2ピクチャでは、動きベクトルが検出される画素（補間対象画素）の位置が、注目ピクチャの場合と一致する。
【０１６３】
そこで、評価値演算部５２2は、注目ピクチャの２ピクチャだけ前の第N-2ピクチャの、注目画素の位置の近傍の位置の複数の画素の動きベクトルとして、評価値演算部５２0と同様に、第N-2ピクチャにおいて、注目画素の位置を中心として水平方向に並ぶ５画素の動きベクトルを用いて、式（１）及び式（２）と同様の計算を行うことにより、その５画素の動きベクトルの平均値ave2と分散dis2を、第２の評価値として求める。
【０１６４】
評価値演算部５２3は、動きベクトル検出部５１3から供給される注目ピクチャの３ピクチャだけ前の第N-3ピクチャの補間対象画素の動きベクトルmv3を用いて、注目ピクチャの注目画素の動き情報を評価するための第３の評価値を求める。
【０１６５】
すなわち、評価値演算部５２3は、注目ピクチャの３ピクチャだけ前の第N-3ピクチャの、注目画素の位置の近傍の位置の複数の画素の動きベクトルの平均値ave3と分散dis3を、第３の評価値として求める。
【０１６６】
ここで、注目ピクチャの３ピクチャだけ前の第N-3ピクチャでは、動きベクトルが検出される画素（補間対象画素）の位置が、第N-1ピクチャと同様に、注目ピクチャと一致しない。
【０１６７】
そこで、評価値演算部５２3は、注目ピクチャの３ピクチャだけ前の第N-3ピクチャの、注目画素の位置の近傍の位置の複数の画素の動きベクトルとして、評価値演算部５２1と同様に、第N-3ピクチャにおいて、注目画素の位置の１ラインだけ下のラインにおける、水平方向の位置が注目画素と一致する画素の位置を中心として水平方向に並ぶ５画素の動きベクトルと、注目画素の位置の１ラインだけ上のラインにおける、水平方向の位置が注目画素と一致する画素の位置を中心として水平方向に並ぶ５画素の動きベクトルとの、合計で１０画素の動きベクトルを用いて、式（３）及び式（４）と同様の計算を行うことにより、その１０画素の動きベクトルの平均値ave3と分散dis3を、第３の評価値として求める。
【０１６８】
評価値演算部５２4は、動きベクトル検出部５１4から供給される注目ピクチャの４ピクチャだけ前の第N-4ピクチャの補間対象画素の動きベクトルmv4を用いて、注目ピクチャの注目画素の動き情報を評価するための第４の評価値を求める。
【０１６９】
すなわち、評価値演算部５２4は、注目ピクチャの４ピクチャだけ前の第N-4ピクチャの、注目画素の位置の近傍の位置の複数の画素の動きベクトルの平均値ave4と分散dis4を、第４の評価値として求める。
【０１７０】
ここで、注目ピクチャの４ピクチャだけ前の第N-4ピクチャでは、動きベクトルが検出される画素（補間対象画素）の位置が、注目ピクチャと一致する。
【０１７１】
そこで、評価値演算部５２4は、注目ピクチャの４ピクチャだけ前の第N-4ピクチャの、注目画素の位置の近傍の位置の複数の画素の動きベクトルとして、評価値演算部５２0と同様に、第N-4ピクチャにおいて、注目画素の位置を中心として水平方向に並ぶ５画素の動きベクトルを用いて、式（１）及び式（２）と同様の計算を行うことにより、その５画素の動きベクトルの平均値ave4と分散dis4を、第４の評価値として求める。
【０１７２】
ここで、以下、適宜、注目画素の評価値（第０ないし第４の評価値）を求めるのに用いられる動きベクトルを、評価値演算用動きベクトルという。
【０１７３】
なお、評価値演算用動きベクトルとしては、注目画素の位置に対して、空間的や時間的に近い位置の動きベクトルを採用することができ、図１１で説明した動きベクトルに限定されるものではない。
【０１７４】
また、上述の場合には、評価値演算部５２kにおいて、評価値演算用動きベクトルの平均値と分散の両方を、評価値として求めるようにしたが、評価値としては、評価値演算用動きベクトルの平均値、又は分散のうちのいずれか一方だけを求めるようにすることができる。
【０１７５】
さらに、上述の場合には、評価値演算部５２0において、注目ピクチャの注目画素を含む複数の画素の動きベクトルを、評価値演算用動きベクトルとして用いるようにしたが、注目ピクチャについては、その他、例えば、注目画素の動きベクトルの１つだけを、評価値演算用動きベクトルとすることが可能である。
【０１７６】
同様に、注目ピクチャの１ないし４ピクチャだけ前のピクチャについても、注目画素の位置、又は注目画素の位置に近い位置の１画素の動きベクトルだけを、評価値演算用動きベクトルとすることが可能である。
【０１７７】
ピクチャの１個の動きベクトルだけを、評価値演算用動きベクトルとする場合には、例えば、その評価値演算用動きベクトルが、そのまま評価値となる。
【０１７８】
次に、図１２のフローチャートを参照して、図９の動き推定部２２が行う動き推定処理について説明する。
【０１７９】
動き推定処理では、ステップＳ３１において、動きベクトル検出部５１0ないし５１4が、メモリ部２１（図８）のフレームメモリ３１0に記憶されたピクチャを、注目ピクチャとし、さらに、その注目ピクチャと、注目ピクチャの１ないし４ピクチャ前の４つのピクチャのそれぞれとの５ピクチャを、検出対象ピクチャとして、その５つの検出対象ピクチャの補間対象画素の動きベクトルを、メモリ部２１から供給される注目ピクチャを含む７つのピクチャを用いて検出する。
【０１８０】
すなわち、例えば、フレームメモリ３１0に記憶された注目ピクチャが、第Nピクチャである場合には、メモリ部２１から動き推定部２２には、注目ピクチャを含む７つの第N+1ピクチャないし第N-5ピクチャが供給される。
【０１８１】
動き推定部２２では、動きベクトル検出部５１kが、第N-kピクチャの補間対象画素の動きベクトルmvkを、メモリ部２１から供給される、第N-kピクチャの前ピクチャである第N-k-1ピクチャと、後ピクチャである第N-k+1ピクチャとを用いて、図７で説明したようにして検出し、評価値演算部５２kに供給する。
【０１８２】
なお、動きベクトル検出部５１0ないし５１4のうちの、注目ピクチャである第Nピクチャの動きベクトルmv0を検出する動きベクトル検出部５１0では、注目ピクチャの動きベクトルmv0が、評価値演算部５２0の他、動き情報算出部５３にも供給される。
【０１８３】
ステップＳ３１の後、処理は、ステップＳ３２に進み、動き情報算出部５３は、注目ピクチャの補間対象画素のうちの、まだ、注目画素としていない画素のうちの１つを、注目画素に選択し、動きベクトル検出部５１0からの注目ピクチャ（の補間対象画素）の動きベクトルmv0を用いて、注目画素の動き情報を求める。
【０１８４】
すなわち、動き情報算出部５３は、動きベクトル検出部５１0からの注目ピクチャの動きベクトルmv0のうちの、注目画素の動きベクトルと、注目画素の近傍の画素の動きベクトルとを用いて、具体的には、例えば、注目ピクチャにおいて、注目画素についての評価値演算用動きベクトルとなる、図１１で説明した式（１）の５個の動きベクトルmv0,0，mv0,-1，mv0,-2，mv0,1、及びmv0,2を用いて、例えば、式（１）の平均値ave0を、注目画素の動き情報として求める。
【０１８５】
なお、注目画素の動き情報としては、平均値ave0の他、例えば、平均値ave0と、注目ピクチャの前ピクチャ（第N-1ピクチャ）において、注目画素についての評価値演算用動きベクトルとなる、図１１で説明した式（３）の１０個の動きベクトルmvd1,0，mvd1,-1，mvd1,-2，mvd1,1，mvd1,2，mvu1,0，mvu1,-1，mvu1,-2，mvu1,1、及びmvu1,2の平均値ave1との平均値(ave0+ave1)/2等を採用することが可能である。
【０１８６】
ステップＳ３２の後、処理は、ステップＳ３３に進み、評価値演算部５２0ないし５２4は、５つの検出対象ピクチャの動きベクトルを用いて、第０ないし第４の評価値を求める。
【０１８７】
すなわち、評価値演算部５２kは、動きベクトル検出部５１kからの、注目ピクチャのｋピクチャ前のピクチャである検出対象ピクチャの動きベクトルmvkのうちの、図１１で説明した評価値演算用動きベクトルの平均値avekと分散diskとを、第ｋの評価値として求める。
【０１８８】
そして、評価値演算部５２kは、第ｋの評価値としての平均値avek及び分散diskを、信頼性判定部５４に供給して、処理は、ステップＳ３３からステップＳ３４に進む。
【０１８９】
ステップＳ３４では、信頼性判定部５４が、評価値演算部５２0ないし５２4から供給される第０ないし第４の評価値としての平均値ave0ないしave4及び分散dis0ないしdis4を用いて、動き情報算出部５３が求めた注目画素の動き情報の信頼性を判定する信頼性判定を行い、その信頼性を表す信頼性情報を求める。
【０１９０】
ここで、信頼性判定部５４において、信頼性判定は、例えば、以下の制御文（５）に従って行われる。
【０１９１】
If{(ABS(ave0-ave1)<=A) && (ABS(ave1-ave2)<=A) && (ABS(ave2-ave3)<=A) && (ABS(ave3-ave4)<=A) && (ABS(dis0-dis1)<=B) && (ABS(dis1-dis2)<=B) && (ABS(dis2-dis3)<=B) && (ABS(dis3-dis4)<=B)}
{Me_valid = 1}
Else
{Me_valid = 0}
・・・（５）
【０１９２】
なお、制御文（５）において、ABS()は、括弧内の値の絶対値を表す。また、A及びBは、定数であり、定数Aは、平均値用の閾値で、定数Bは、分散用の閾値である。さらに、&&は、論理積を表し、Me_validは、信頼性情報を表す。
【０１９３】
信頼性情報Me_validが1であることは、動き情報の信頼性があること、つまり、動き情報が表す動きが、注目画素の動きを正しく表している可能性が高いことを表す。一方、信頼性情報Me_validが0であることは、動き情報の信頼性がないこと、つまり、動き情報が表す動きが、注目画素の誤った動き表している可能性が高いことを表す。
【０１９４】
制御文"If{X}{Y}Else{Z}"は、Xが真であれば、Yをし、Xが偽であれば、Zをすることを意味する。
【０１９５】
したがって、制御文（５）による信頼性判定によれば、注目ピクチャを含む連続する５ピクチャにおいて隣接する２つのピクチャのセットすべてに関して、隣接する２つのピクチャについて求められた評価値どうしの差分が所定の閾値以下（又は未満）であるかを判定する評価値判定の判定結果が真である場合に、注目画素の動き情報の信頼性があると判定される。
【０１９６】
すなわち、制御文（５）による信頼性判定によれば、注目ピクチャについて求められた第０の評価値としての平均値ave0と、注目ピクチャの１ピクチャ前のピクチャについて求められた第１の評価値としての平均値ave0との差分（差の絶対値）ABS(ave0-ave1)が、閾値A以下であるかを判定する評価値判定（以下、適宜、平均値についての第１の評価値判定という）が行われる。
【０１９７】
同様に、制御文（５）による信頼性判定によれば、注目ピクチャの１ピクチャ前のピクチャについて求められた第１の評価値としての平均値ave1と、注目ピクチャの２ピクチャ前のピクチャについて求められた第２の評価値としての平均値ave2との差分ABS(ave1-ave2)が、閾値A以下であるかを判定する評価値判定（以下、適宜、平均値についての第２の評価値判定という）、注目ピクチャの２ピクチャ前のピクチャについて求められた第２の評価値としての平均値ave2と、注目ピクチャの３ピクチャ前のピクチャについて求められた第３の評価値としての平均値ave3との差分ABS(ave2-ave3)が、閾値A以下であるかを判定する評価値判定（以下、適宜、平均値についての第３の評価値判定という）、及び、注目ピクチャの３ピクチャ前のピクチャについて求められた第３の評価値としての平均値ave3と、注目ピクチャの４ピクチャ前のピクチャについて求められた第４の評価値としての平均値ave4との差分ABS(ave3-ave4)が、閾値A以下であるかを判定する評価値判定（以下、適宜、平均値についての第４の評価値判定という）が行われる。
【０１９８】
また、制御文（５）による信頼性判定によれば、注目ピクチャについて求められた第０の評価値としての分散dis0と、注目ピクチャの１ピクチャ前のピクチャについて求められた第１の評価値としての分散dis0との差分ABS(dis0-dis1)が、閾値B以下であるかを判定する評価値判定（以下、適宜、分散についての第１の評価値判定という）が行われる。
【０１９９】
同様に、制御文（５）による信頼性判定によれば、注目ピクチャの１ピクチャ前のピクチャについて求められた第１の評価値としての分散dis1と、注目ピクチャの２ピクチャ前のピクチャについて求められた第２の評価値としての分散dis2との差分ABS(dis1-dis2)が、閾値B以下であるかを判定する評価値判定（以下、適宜、分散についての第２の評価値判定という）、注目ピクチャの２ピクチャ前のピクチャについて求められた第２の評価値としての分散dis2と、注目ピクチャの３ピクチャ前のピクチャについて求められた第３の評価値としての分散dis3との差分ABS(dis2-dis3)が、閾値B以下であるかを判定する評価値判定（以下、適宜、分散についての第３の評価値判定という）、及び、注目ピクチャの３ピクチャ前のピクチャについて求められた第３の評価値としての分散dis3と、注目ピクチャの４ピクチャ前のピクチャについて求められた第４の評価値としての分散dis4との差分ABS(dis3-dis4)が、閾値B以下であるかを判定する評価値判定（以下、適宜、分散についての第４の評価値判定という）が行われる。
【０２００】
そして、信頼性判定によれば、平均値についての第１ないし第４の評価値判定、及び分散についての第１ないし第４の評価値判定の判定結果が、すべて真である場合に、注目画素の動き情報の信頼性があると判定される。
【０２０１】
なお、信頼性判定は、評価値としての平均値ave0ないしave4と、分散dis0ないしdis4との両方ではなく、いずれか一方だけを用いて行うことが可能である。
【０２０２】
信頼性判定を、平均値ave0ないしave4だけを用いて行う場合には、平均値についての第１ないし第４の評価値判定の判定結果が、すべて真である場合に、注目画素の動き情報の信頼性があると判定される。そして、この場合、評価値演算部５２0ないし５２4では、評価値として、平均値ave0ないしave4だけを求めれば済む。
【０２０３】
また、信頼性判定を、分散dis0ないしdis4だけを用いて行う場合には、分散についての第１ないし第４の評価値判定の判定結果が、すべて真である場合に、注目画素の動き情報の信頼性があると判定される。そして、この場合、評価値演算部５２0ないし５２4では、評価値として、分散dis0ないしdis4だけを求めれば済む。
【０２０４】
ステップＳ３４において、信頼性判定部５４が、注目画素の動き情報についての信頼性信頼性判定を行い、信頼性情報を求めると、処理は、ステップＳ３５に進み、動き情報算出部５３（又は、信頼性判定部５４）は、注目ピクチャの補間対象画素すべてについて、動き情報、及び信頼性情報を求めたかどうかを判定する。
【０２０５】
ステップＳ３５において、注目ピクチャの補間対象画素すべてについて、まだ、動き情報、及び信頼性情報が求められていないと判定された場合、すなわち、注目ピクチャの補間対象画素の中に、まだ、動き情報、及び信頼性情報が求められていない画素がある場合、処理は、ステップＳ３２に戻り、注目ピクチャの補間対象画素の中の、まだ、動き情報、及び信頼性情報が求められていない画素の１つが、新たな注目画素とされ、その新たな注目画素について、以下、同様の処理が行われる。
【０２０６】
また、ステップＳ３５において、注目ピクチャの補間対象画素すべてについて、動き情報、及び信頼性情報が求められたと判定された場合、処理は、ステップＳ３６に進み、動き情報算出部５３が、注目ピクチャの各補間対象画素の動き情報を、順次、プログレッシブ画像生成部２３に出力するとともに、信頼性判定部５４が、動き情報算出部５３が出力する動き情報の信頼性情報を、順次、プログレッシブ画像生成部２３に出力して、動き推定処理は終了する。
【０２０７】
次に、図１３は、図２のプログレッシブ画像生成部２３の構成例を示すブロック図である。
【０２０８】
図１３において、プログレッシブ画像生成部２３は、フィールド間補間部６１、フィールド内補間部６２、選択部６３、及び合成部６４から構成される。
【０２０９】
フィールド間補間部６１には、メモリ部２１（図２）から、注目ピクチャの前ピクチャと後ピクチャとが供給される。したがって、注目ピクチャが第Nピクチャである場合には、フィールド間補間部６１には、メモリ部２１から、注目ピクチャの前ピクチャである第N-1ピクチャと、注目ピクチャの後ピクチャである第N+1ピクチャとが供給される。
【０２１０】
さらに、フィールド間補間部６１には、動き推定部２２（図２）から、注目画素の動き情報が供給される。
【０２１１】
フィールド間補間部６１は、メモリ部２１からの前ピクチャと後ピクチャの画素の画素値と、動き推定部２２からの注目画素の動き情報とを用いて、フィールド間補間、又は動き補償（Motion Compensation）補間と呼ばれる補間を行うことによって、補間対象画素である注目画素（の画素値）の補間値の候補の１つとしてのフィールド間補間値（第２の補間値）を求めて、選択部６３に供給する。
【０２１２】
すなわち、フィールド間補間部６１は、例えば、前ピクチャの画素のうちの、注目画素の動き情報としてのベクトルの始点に位置する画素の画素値と、後ピクチャの画素のうちの、注目画素の動き情報としてのベクトルの終点に位置する画素の画素値との平均値を、フィールド間補間値としてを求め、選択部６３に供給する。
【０２１３】
フィールド内補間部６２には、メモリ部２１（図２）から、注目ピクチャが供給される。
【０２１４】
フィールド内補間部６２は、メモリ部２１からの注目ピクチャの画素の画素値を用いて、フィールド内補間を行うことによって、補間対象画素である注目画素の補間値の候補の他の１つとしてのフィールド内補間値（第１の補間値）を求めて、選択部６３に供給する。
【０２１５】
すなわち、フィールド内補間部６２は、例えば、注目ピクチャの画素のうちの、注目画素の上に隣接する画素の画素値と、下に隣接する画素の画素値との平均値を、フィールド内補間値としてを求め、選択部６３に供給する。
【０２１６】
選択部６３には、上述したように、フィールド間補間部６１からフィールド間補間値が供給されるとともに、フィールド内補間部６２からフィールド内補間値が供給される他、動き推定部２２（図２）から注目画素の動き情報の信頼性情報Me_validが供給される。
【０２１７】
選択部６３は、注目画素の補間値として、フィールド間補間部６１からのフィールド間補間値と、フィールド内補間部６２からのフィールド内補間値とのうちの一方を、動き推定部２２からの信頼性情報Me_validに従って選択する。
【０２１８】
すなわち、選択部６３は、動き推定部２２からの信頼性情報Me_validが、注目画素の動き情報の信頼性がないことを表している場合、つまり、信頼性情報Me_validが0である場合、フィールド間補間部６１からのフィールド間補間値と、フィールド内補間部６２からのフィールド内補間値とのうちの、フィールド内補間部６２からのフィールド内補間値を選択して、注目画素（の画素値）の補間値として、合成部６４に出力する。
【０２１９】
また、選択部６３は、動き推定部２２からの信頼性情報Me_validが、注目画素の動き情報の信頼性があることを表している場合、つまり、信頼性情報Me_validが1である場合、フィールド間補間部６１からのフィールド間補間値と、フィールド内補間部６２からのフィールド内補間値とのうちの、フィールド間補間部６１からのフィールド間補間値を選択して、注目画素（の画素値）の補間値として、合成部６４に出力する。
【０２２０】
合成部６４には、選択部６３から、注目ピクチャの注目画素の補間値、つまり、補間対象画素の補間値が供給される他、メモリ部２１（図２）から、注目ピクチャが供給される。
【０２２１】
合成部６４は、メモリ部２１からの注目ピクチャの画素値と、選択部６３からの注目画素の補間値とを合成し、すなわち、メモリ部２１からの注目ピクチャにおける注目画素の画素値として、選択部６３からの注目画素の補間値を設定し、これにより、注目ピクチャにおいて画素値がある画素と、画素値（補間値）が求められた補間対象画素とからなる、プログレッシブ画像のピクチャを生成し、表示パネル１６（図１）に供給する。
【０２２２】
なお、選択部６３では、注目画素の補間値として、フィールド間補間部６１からのフィールド間補間値と、フィールド内補間部６２からのフィールド内補間値とのうちの一方を、信頼性情報Me_validに従って選択する他、フィールド間補間値とフィールド内補間値とを、信頼性情報Me_validに従った重みで重み付け加算し、その重み付け加算の結果を、注目画素の補間値として出力することが可能である。
【０２２３】
すなわち、上述の場合には、信頼性判定部５４（図９）において、制御文（５）による信頼性判定によって、平均値についての第１ないし第４の評価値判定、及び分散についての第１ないし第４の評価値判定の、合計で８つの評価値判定の判定結果が、すべて真である場合に、値が1の信頼性情報を出力し、８つの評価値判定の判定結果の中に、１つでも偽がある場合には、値が0の信頼性情報を出力するようにしたが、その他、信頼性判定部５４では、８つの評価値判定の判定結果の真の数が多いほど、値が1に近くなる信頼性情報Me_valid（８つの評価値判定の判定結果の偽の数が多いほど、値が0に近くなる信頼性情報Me_valid）を出力することが可能である。
【０２２４】
この場合、選択部６３では、フィールド間補間値Pと、フィールド内補間値Qとを、例えば、式Me_valid×P＋（１−Me_valid）×Qに従って重み付け加算し、その重み付け加算の結果を、注目画素の補間値として出力することが可能である。
【０２２５】
次に、図１４のフローチャートを参照して、図１３のプログレッシブ画像生成部２３で行われるプログレッシブ画像生成処理について説明する。
【０２２６】
プログレッシブ画像生成部２３では、メモリ部２１（図２）から、フィールド間補間部６１に対して、注目ピクチャの前ピクチャと後ピクチャとが供給される。また、メモリ部２１から、フィールド内補間部６２と合成部６４に対して、注目ピクチャが供給される。
【０２２７】
ステップＳ５１において、フィールド間補間部６１は、注目ピクチャの補間対象画素のうちの、まだ、注目画素としていない画素のうちの１つを、注目画素に選択する。さらに、ステップＳ５１では、フィールド間補間部６１は、動き推定部２２（図２）から、フィールド間補間部６１に対して、注目画素の動き情報が供給されるとともに、動き推定部２２から、選択部６３に対して、注目画素の動き情報の信頼性情報が供給されるのを待って、メモリ部２１からの前ピクチャと後ピクチャの画素の画素値と、動き推定部２２からの注目画素の動き情報とを用いて、フィールド間補間を行うことによって、注目画素のフィールド間補間値を求める。
【０２２８】
そして、フィールド間補間部６１は、注目画素のフィールド間補間値を、選択部６３に供給して、処理は、ステップＳ５１からステップＳ５２に進む。
【０２２９】
ステップＳ５２では、フィールド内補間部６２は、メモリ部２１からの注目ピクチャの画素の画素値を用いて、フィールド内補間を行うことによって、注目画素のフィールド内補間値を求め、選択部６３に供給して、処理は、ステップＳ５２からステップＳ５３に進む。
【０２３０】
ステップＳ５３では、選択部６３は、フィールド間補間部６１からのフィールド間補間値と、フィールド内補間部６２からのフィールド内補間値とを用い、動き推定部２２からの信頼性情報Me_validに基づいて、注目画素の補間値を求め、合成部６４に供給して、処理は、ステップＳ５４に進む。
【０２３１】
すなわち、選択部６３は、例えば、フィールド間補間値、又はフィールド内補間値のうちの一方を、信頼性情報Me_validに従って選択し、その選択した方を、注目画素の補間値として、合成部６４に供給する。
【０２３２】
ステップＳ５４では、フィールド間補間部６１が、注目ピクチャの補間対象画素すべてについて、補間値を求めたかどうかを判定する。
【０２３３】
ステップＳ５４において、注目ピクチャの補間対象画素すべてについて、まだ、補間値を求めていないと判定された場合、処理は、ステップＳ５１に戻り、注目ピクチャの補間対象画素のうちの、まだ、注目画素としていない画素のうちの１つが、新たに注目画素に選択され、以下、同様の処理が繰り返される。
【０２３４】
また、ステップＳ５４において、注目ピクチャの補間対象画素すべてについて、補間値が求められたと判定された場合、処理は、ステップＳ５５に進み、合成部６４は、メモリ部２１からの注目ピクチャの画素値が存在する画素と、選択部６３からの補間値を画素値とする画素とを合成することにより、プログレッシブ画像のピクチャを生成し、表示パネル１６（図１）に供給して、プログレッシブ画像生成処理は終了する。
【０２３５】
以上のように、動き推定部２２において、注目画素の動きベクトルと、注目画素の近傍の画素の動きベクトルとを用いて、注目画素の動き情報を求めて出力する一方、注目ピクチャの複数の画素の動きベクトルを用いて、注目画素の動き情報を評価するための評価値を求めるとともに、注目ピクチャに隣接する他のピクチャの複数の画素の動きベクトルを用いて、注目画素の動き情報を評価するための評価値を求め、評価値を用いて、注目画素の動き情報の信頼性を判定して、その信頼性を表す信頼性情報を出力するので、動き情報の信頼性を表す信頼性情報を、より正確に、かつ低コストで求めることができる。
【０２３６】
すなわち、注目ピクチャが第Nピクチャであるとすると、図９の動き推定部２２では、動きベクトル検出部５１0ないし５１4において、注目ピクチャである第Nピクチャと、注目ピクチャに隣接する第N-1ピクチャないし第N-4ピクチャとの、合計で５個の第Nピクチャないし第N-4ピクチャについて、画素の動きベクトルmv0ないしmv4が検出される。
【０２３７】
さらに、動き情報算出部５３において、注目ピクチャについての動きベクトル検出部５１0において検出された注目画素の動きベクトルと、注目画素の近傍の画素の動きベクトルとを用いて、すなわち、式（１）の動きベクトルmv0,0，mv0,-1，mv0,-2，mv0,1、及びmv0,2を用いて、注目画素の動き情報が求められる。
【０２３８】
また、評価値演算部５２0ないし５２4において、第Nピクチャないし第N-4ピクチャの動きベクトルmv0ないしmv4を用いて、注目画素の動き情報を評価するための評価値としての平均値ave0ないしave4、及び分散dis0ないしdis4が求められる。
【０２３９】
そして、信頼性判定部５４において、第Nピクチャないし第N-4ピクチャについて求められた評価値としての平均値ave0ないしave4、及び分散dis0ないしdis4を用いて、注目画素の動き情報の信頼性が判定され、その信頼性を表す信頼性情報が求められる。
【０２４０】
したがって、信頼性情報が、注目ピクチャである第Nピクチャだけでなく、注目ピクチャに隣接する第N-1ピクチャないし第N-4ピクチャをも用いて求められるので、動きベクトルの検出の際に、サイズの小さなマクロブロック（対応ブロック）を用いても、動き情報の信頼性を正確に表す信頼性情報を求めることができる。すなわち、正確な信頼性情報を、低コストで求めることができる。
【０２４１】
次に、図１５は、メモリ部２１（図８）が、時刻t，t+1、及びt+2のそれぞれにおいて、動き推定部２２（図９）に供給するピクチャを示している。
【０２４２】
いま、時刻tにおいて、メモリ部２１が、第Nピクチャを注目ピクチャとして、第N+1ピクチャないし第N-5ピクチャを、動き推定部２２に供給することとする。
【０２４３】
この場合、動き推定部２２（図６）では、５個の動きベクトル検出部５１0ないし５１4において、メモリ部２１からの第N+1ピクチャないし第N-5ピクチャを用いて、第Nないし第N+4の動きベクトルmv0ないしmv4が検出され、評価値演算部５２0ないし５２4に供給される。
【０２４４】
いま、注目ピクチャである第Nピクチャの補間対象画素のうちの、左上から右方向にx番目で、下方向にy番目の画素p(x,y)が注目画素であるとすると、評価値演算部５２kは、動きベクトル検出部５１kからの動きベクトルmvkのうちの、注目画素p(x,y)についての評価値演算用動きベクトルを用いて、第ｋの評価値としての平均値avek及び分散diskを求める。
【０２４５】
ここで、時刻tにおいて、注目ピクチャのｋピクチャ前のピクチャから検出された動きベクトルのうちの評価値演算用動きベクトルを用いて求められる第ｋの評価値を、Ek,tと表すこととすると、時刻tでは、評価値演算部５２0において、注目ピクチャである第Nピクチャの評価値演算用動きベクトルを用いて、第０の評価値E0,tが求められる。
【０２４６】
同様に、時刻tでは、評価値演算部５２1において、注目ピクチャの１ピクチャ前の第N-1ピクチャの評価値演算用動きベクトルを用いて、第１の評価値E1,tが求められ、評価値演算部５２2において、注目ピクチャの２ピクチャ前の第N-2ピクチャの評価値演算用動きベクトルを用いて、第２の評価値E2,tが求められる。さらに、時刻tでは、評価値演算部５２3において、注目ピクチャの３ピクチャ前の第N-3ピクチャの評価値演算用動きベクトルを用いて、第３の評価値E3,tが求められ、評価値演算部５２4において、注目ピクチャの４ピクチャ前の第N-4ピクチャの評価値演算用動きベクトルを用いて、第４の評価値E4,tが求められる。
【０２４７】
その後、時刻tから１ピクチャ分の時間が経過した時刻t+1では、第N+1フレームが注目ピクチャとなり、評価値演算部５２0において、注目ピクチャである第N+1ピクチャの評価値演算用動きベクトルを用いて、第０の評価値E0,t+1が求められる。
【０２４８】
同様に、時刻t+1では、評価値演算部５２1において、注目ピクチャの１ピクチャ前の第Nピクチャの評価値演算用動きベクトルを用いて、第１の評価値E1,t+1が求められ、評価値演算部５２2において、注目ピクチャの２ピクチャ前の第N-1ピクチャの評価値演算用動きベクトルを用いて、第２の評価値E2,t+1が求められる。さらに、時刻t+1では、評価値演算部５２3において、注目ピクチャの３ピクチャ前の第N-2ピクチャの評価値演算用動きベクトルを用いて、第３の評価値E3,t+1が求められ、評価値演算部５２4において、注目ピクチャの４ピクチャ前の第N-3ピクチャの評価値演算用動きベクトルを用いて、第４の評価値E4,t+1が求められる。
【０２４９】
ここで、第Nピクチャと、第N+1ピクチャとでは、補間対象画素の位置が一致していないため、第Nピクチャの画素p(x,y)を、注目画素として、評価値が求められた場合には、第N+1ピクチャの画素p(x,y)を、注目画素として、評価値は求められない。
【０２５０】
その後、時刻t+1から１ピクチャ分の時間が経過した時刻t+2では、第N+2フレームが注目ピクチャとなり、評価値演算部５２0において、注目ピクチャである第N+2ピクチャの評価値演算用動きベクトルを用いて、第０の評価値E0,t+2が求められる。
【０２５１】
同様に、時刻t+2では、評価値演算部５２1において、注目ピクチャの１ピクチャ前の第N+1ピクチャの評価値演算用動きベクトルを用いて、第１の評価値E1,t+2が求められ、評価値演算部５２2において、注目ピクチャの２ピクチャ前の第Nピクチャの評価値演算用動きベクトルを用いて、第２の評価値E2,t+2が求められる。さらに、時刻t+2では、評価値演算部５２3において、注目ピクチャの３ピクチャ前の第N-1ピクチャの評価値演算用動きベクトルを用いて、第３の評価値E3,t+2が求められ、評価値演算部５２4において、注目ピクチャの４ピクチャ前の第N-2ピクチャの評価値演算用動きベクトルを用いて、第４の評価値E4,t+2が求められる。
【０２５２】
ここで、第Nピクチャと、第N+2ピクチャとでは、補間対象画素の位置が一致する。したがって、第Nピクチャの画素p(x,y)を、注目画素として、評価値が求められた場合には、第N+2ピクチャについても、画素p(x,y)を、注目画素として、評価値が求められる。
【０２５３】
そして、時刻tにおいて、注目ピクチャである第Nピクチャの画素p(x,y)を注目画素として、その第Nピクチャから求められる評価値E0,tと、時刻t+2において、注目ピクチャである第N+2ピクチャの画素p(x,y)を注目画素として、注目ピクチャの２ピクチャ前の第Nピクチャから求められる評価値E2,t+2とは一致する。
【０２５４】
同様に、時刻tにおいて、注目ピクチャである第Nピクチャの画素p(x,y)を注目画素として、注目ピクチャの１ピクチャ前の第N-1ピクチャから求められる評価値E1,tと、時刻t+2において、注目ピクチャである第N+2ピクチャの画素p(x,y)を注目画素として、注目ピクチャの３ピクチャ前の第N-1ピクチャから求められる評価値E3,t+2とは一致する。さらに、時刻tにおいて、注目ピクチャである第Nピクチャの画素p(x,y)を注目画素として、注目ピクチャの２ピクチャ前の第N-2ピクチャから求められる評価値E2,tと、時刻t+2において、注目ピクチャである第N+2ピクチャの画素p(x,y)を注目画素として、注目ピクチャの４ピクチャ前の第N-2ピクチャから求められる評価値E4,t+2とは一致する。
【０２５５】
一方、制御文（５）による信頼性判定としては、平均値についての第１ないし第４の評価値判定、及び分散についての第１ないし第４の評価値判定の、合計で８つの評価値判定が行われる。そして、その８つの評価値判定の判定結果が、すべて真である場合に、信頼性情報は、動き情報の信頼性が高いことを表す値である1とされる。また、８つの評価値判定の判定結果の中に、１つでも偽がある場合には、信頼性情報は、動き情報の信頼性が低いことを表す値である0とされる。
【０２５６】
時刻tにおいて、画素p(x,y)を注目画素として行われる平均値及び分散についての第１の評価値判定（以下、適宜、単に、第１の評価値判定という）は、評価値E0,tとE1,tとを用いて行われる。
【０２５７】
さらに、時刻tにおいて、画素p(x,y)を注目画素として行われる平均値及び分散についての第２の評価値判定（以下、適宜、単に、第２の評価値判定という）は、評価値E1,tとE2,tとを用いて行われる。
【０２５８】
また、時刻tにおいて、画素p(x,y)を注目画素として行われる平均値及び分散についての第３の評価値判定（以下、適宜、単に、第３の評価値判定という）は、評価値E2,tとE3,tとを用いて行われる。
【０２５９】
さらに、時刻tにおいて、画素p(x,y)を注目画素として行われる平均値及び分散についての第４の評価値判定（以下、適宜、単に、第４の評価値判定という）は、評価値E3,tとE4,tとを用いて行われる。
【０２６０】
一方、時刻t+2において、画素p(x,y)を注目画素として行われる第１の評価値判定は、評価値E0,t+2とE1,t+2とを用いて行われる。
【０２６１】
さらに、時刻t+2において、画素p(x,y)を注目画素として行われる第２の評価値判定は、評価値E1,t+2とE2,t+2とを用いて行われる。
【０２６２】
また、時刻t+2において、画素p(x,y)を注目画素として行われる第３の評価値判定は、評価値E2,t+2とE3,t+2とを用いて行われる。
【０２６３】
さらに、時刻t+2において、画素p(x,y)を注目画素として行われる第４の評価値判定は、評価値E3,t+2とE4,t+2とを用いて行われる。
【０２６４】
上述したように、時刻tの評価値E0,tと、時刻t+2の評価値E2,t+2とは一致する。さらに、時刻tの評価値E1,tと、時刻t+2の評価値E3,t+2とは一致し、時刻tの評価値E2,tと、時刻t+2の評価値E4,t+2とは一致する。
【０２６５】
したがって、時刻tにおいて、評価値E0,tとE1,tとを用いて行われる第１の評価値判定と、時刻t+2において、評価値E2,t+2とE3,t+2とを用いて行われる第３の評価値判定とについては、それらの判定結果は一致する。
【０２６６】
また、時刻tにおいて、評価値E1,tとE2,tとを用いて行われる第２の評価値判定と、時刻t+2において、評価値E3,t+2とE4,t+2とを用いて行われる第４の評価値判定とについては、それらの判定結果は一致する。
【０２６７】
したがって、時刻t+2における信頼性判定は、第１及び第２の評価値判定に用いられる第０ないし第２の評価値E0,t+2，E1,t+2、及びE2,t+2と、過去の信頼性判定の途中結果である判定途中結果、すなわち、時刻t+2の２ピクチャ分だけ前の時刻tの第１及び第２の評価値判定の判定結果とを用いて行うことができる。
【０２６８】
過去の信頼性判定の判定途中結果を用いた信頼性判定は、制御文（５）に代えて、制御文（６）に従って行うことができる。
【０２６９】
If{(ABS(ave0-ave1)<=A) && (ABS(ave1-ave2)<=A) && (ABS(dis0-dis1)<=B) && (ABS(dis1-dis2)<=B) && (valid_d==1)}
{Me_valid = 1}
Else
{Me_valid = 0}
・・・（６）
【０２７０】
なお、式（６）において、valid_dは、２ピクチャ分だけ前の時刻における信頼性判定の判定途中結果を表す。判定途中結果valid_dは、２ピクチャ分だけ前の時刻における信頼性判定において、平均値についての第１の評価値判定(ABS(ave0-ave1)<=A)、平均値についての第２の評価値判定(ABS(ave1-ave2)<=A)、分散についての第１の評価値判定(ABS(dis0-dis1)<=B)、及び、分散についての第２の評価値判定(ABS(dis1-dis2))の判定結果がすべて真である場合に、その旨を表す値である1（真）とされる。
【０２７１】
また、判定途中結果valid_dは、２ピクチャ分だけ前の時刻における信頼性判定において、平均値についての第１の評価値判定(ABS(ave0-ave1)<=A)、平均値についての第２の評価値判定(ABS(ave1-ave2)<=A)、分散についての第１の評価値判定(ABS(dis0-dis1)<=B)、及び、分散についての第２の評価値判定(ABS(dis1-dis2))の判定結果の中に、１つでも偽がある場合には、その旨を表す値である0（偽）とされる。
【０２７２】
制御文（６）に従った信頼性判定は、過去の信頼性判定の判定途中結果valid_dを用いることで、第３の評価値としての平均値ave3と分散dis3、及び第４の評価値としての平均値ave4と分散dis4を用いずに行うことができる。
【０２７３】
したがって、第３及び第４の評価値、ひいては、注目ピクチャから３ピクチャ前のピクチャ、及び４ピクチャ前のピクチャの動きベクトルは、求める必要がない。
【０２７４】
次に、図１６は、上述のように、過去の信頼性判定の判定途中結果を用いた信頼性判定を行う図２の動き推定部２２の構成例（動き推定部２２の第２の構成例）を示すブロック図である。
【０２７５】
なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
【０２７６】
すなわち、図１６の動き推定部２２は、動き情報算出部５３が設けられている点で、図９の場合と共通する。
【０２７７】
一方、図１６の動き推定部２２は、５個の動きベクトル検出部５１0ないし５１4に代えて、３個の動きベクトル検出部５１0ないし５１2が設けられている点、５個の評価値演算部５２0ないし５２4に代えて、３個の評価値演算部５２0ないし５２2が設けられている点、及び、信頼性判定部５４に代えて、信頼性判定部５７が設けられている点で、図９の場合と相違する。
【０２７８】
さらに、図１６の動き推定部２２は、判定途中結果記憶部５６が新たに設けられている点で、図９の場合と相違する。
【０２７９】
判定途中結果記憶部５６は、信頼性判定部５７から供給される、信頼性判定の途中結果である判定途中結果を記憶する。
【０２８０】
信頼性判定部５７は、３つの評価値演算部５２0ないし５２2で求められた評価値と、判定途中結果記憶部５６に記憶された過去の信頼性判定の判定途中結果とを用いて、注目画素の動き情報についての信頼性判定を行い、その信頼性判定によって得られる、注目画素の動き情報の信頼性情報を、プログレッシブ画像生成部２３（図２）に供給する。
【０２８１】
すなわち、図１６の動き推定部２２には、図９の５個の動きベクトル検出部５１0ないし５１4に代えて、３個の動きベクトル検出部５１0ないし５１2しか設けられていない。さらに、図１６の動き推定部２２には、図９の５個の評価値演算部５２0ないし５２4に代えて、３個の評価値演算部５２0ないし５２2が設けられていない。
【０２８２】
このため、図１６の動き推定部２２では、注目ピクチャが第Nピクチャである場合には、３個の動きベクトル検出部５１0ないし５１2において、第Nピクチャないし第N-2ピクチャの動きベクトルが、第N+1ピクチャないし第N-3ピクチャを用いて求められる。
【０２８３】
そして、３つの評価値演算部５２0ないし５２2において、第０ないし第２の評価値が、第Nピクチャないし第N-2ピクチャの動きベクトルを用いて、それぞれ求められ、信頼性判定部５７に供給される。
【０２８４】
信頼性判定部５７は、以上のようにして、３つの評価値演算部５２0ないし５２2から供給される第０ないし第２の評価値の他、判定途中結果記憶部５６に記憶された２ピクチャ分だけ前の時刻に行われた信頼性判定の判定途中結果である第１及び第２の評価値判定の判定結果を用いて、上述の制御文（６）に従い、注目画素の動き情報についての信頼性判定を行う。
【０２８５】
また、信頼性判定部５７は、信頼性判定の判定途中結果、すなわち、第０ないし第２の評価値を用いて行われる第１及び第２の評価値判定の判定結果を、判定途中結果記憶部５６に供給して記憶させる。この、判定途中結果記憶部５６に記憶された判定途中結果は、２ピクチャ分だけ後の時刻において、信頼性判定に用いられる。
【０２８６】
次に、図１７のフローチャートを参照して、図１６の動き推定部２２が行う動き推定処理について説明する。
【０２８７】
動き推定処理では、ステップＳ６１において、動きベクトル検出部５１0ないし５１2が、メモリ部２１（図８）のフレームメモリ３１0に記憶されたピクチャを、注目ピクチャとし、さらに、その注目ピクチャと、注目ピクチャの１ないし２ピクチャ前の２つのピクチャのそれぞれとの３ピクチャを、検出対象ピクチャとして、その３つの検出対象ピクチャの補間対象画素の動きベクトルを、メモリ部２１から供給される注目ピクチャを含む５つのピクチャを用いて検出する。
【０２８８】
すなわち、例えば、フレームメモリ３１0に記憶された注目ピクチャが、第Nピクチャである場合には、メモリ部２１から動き推定部２２には、注目ピクチャを含む５つの第N+1ピクチャないし第N-3ピクチャが供給される。
【０２８９】
動き推定部２２では、動きベクトル検出部５１kが、第N-kピクチャの補間対象画素の動きベクトルmvk(k=0,1,2)を、メモリ部２１から供給される、第N-kピクチャの前ピクチャである第N-k-1ピクチャと、後ピクチャである第N-k+1ピクチャとを用いて、図７で説明したようにして検出し、評価値演算部５２kに供給する。
【０２９０】
なお、動きベクトル検出部５１0ないし５１2のうちの、注目ピクチャである第Nピクチャの動きベクトルmv0を検出する動きベクトル検出部５１0では、注目ピクチャの動きベクトルmv0が、評価値演算部５２0の他、動き情報算出部５３にも供給される。
【０２９１】
ステップＳ６１の後、処理は、ステップＳ６２に進み、動き情報算出部５３は、注目ピクチャの補間対象画素のうちの、まだ、注目画素としていない画素のうちの１つを、注目画素に選択し、動きベクトル検出部５１0からの注目ピクチャ（の補間対象画素）の動きベクトルmv0を用いて、注目画素の動き情報を求める。
【０２９２】
すなわち、動き情報算出部５３は、例えば、図１２のステップＳ３２と同様に、注目ピクチャにおいて、注目画素についての評価値演算用動きベクトルとなる、図１１で説明した式（１）の５個の動きベクトルmv0,0，mv0,-1，mv0,-2，mv0,1、及びmv0,2を用いて、式（１）の平均値ave0を、注目画素の動き情報として求める。
【０２９３】
ステップＳ６２の後、処理は、ステップＳ６３に進み、評価値演算部５２0ないし５２2は、３つの検出対象ピクチャの動きベクトルを用いて、３つの第０ないし第２の評価値を求める。
【０２９４】
すなわち、評価値演算部５２kは、動きベクトル検出部５１kからの、注目ピクチャのｋピクチャ前のピクチャである検出対象ピクチャの動きベクトルmvkのうちの、図１１で説明した評価値演算用動きベクトルの平均値avekと分散diskとを、第ｋの評価値mvk(k=0,1,2)として求める。
【０２９５】
そして、評価値演算部５２kは、第ｋの評価値としての平均値avek及び分散diskを、信頼性判定部５７に供給して、処理は、ステップＳ６３からステップＳ６４に進む。
【０２９６】
ステップＳ６４では、信頼性判定部５７が、判定途中結果記憶部５６から、２ピクチャ分だけ前の時刻での信頼性判定の判定途中結果valid_dを読み出し、処理は、ステップＳ６５に進む。
【０２９７】
ステップＳ６５では、信頼性判定部５７が、評価値演算部５２0ないし５２2から供給される第０ないし第２の評価値としての平均値ave0ないしave2及び分散dis0ないしdis2と、直前のステップＳ６４で判定途中結果記憶部５６から読み出した判定途中結果valid_dとを用いて、動き情報算出部５３が求めた注目画素の動き情報の信頼性を判定する信頼性判定を、上述の制御文（６）に従って行い、その信頼性を表す信頼性情報を求める。
【０２９８】
ステップＳ６５で信頼性情報が求められると、処理は、ステップＳ６６に進み、信頼性判定部５７は、直前のステップＳ６５で行った信頼性判定の途中で得られる判定途中結果、すなわち、制御文（６）における平均値についての第１の評価値判定(ABS(ave0-ave1)<=A)、平均値についての第２の評価値判定(ABS(ave1-ave2)<=A)、分散についての第１の評価値判定(ABS(dis0-dis1)<=B)、及び、分散についての第２の評価値判定(ABS(dis1-dis2))の判定結果がすべて真であるかどうかを表す判定途中結果を、判定途中結果記憶部５６に供給して記憶させ、処理は、ステップＳ６７に進む。
【０２９９】
ステップＳ６７では、動き情報算出部５３（又は、信頼性判定部５７）は、注目ピクチャの補間対象画素すべてについて、動き情報、及び信頼性情報を求めたかどうかを判定する。
【０３００】
ステップＳ６７において、注目ピクチャの補間対象画素すべてについて、まだ、動き情報、及び信頼性情報が求められていないと判定された場合、すなわち、注目ピクチャの補間対象画素の中に、まだ、動き情報、及び信頼性情報が求められていない画素がある場合、処理は、ステップＳ６２に戻り、注目ピクチャの補間対象画素の中の、まだ、動き情報、及び信頼性情報が求められていない画素の１つが、新たな注目画素とされ、その新たな注目画素について、以下、同様の処理が行われる。
【０３０１】
また、ステップＳ６７において、注目ピクチャの補間対象画素すべてについて、動き情報、及び信頼性情報が求められたと判定された場合、処理は、ステップＳ６８に進み、動き情報算出部５３が、注目ピクチャの各補間対象画素の動き情報を、順次、プログレッシブ画像生成部２３に出力するとともに、信頼性判定部５７が、動き情報算出部５３が出力する動き情報の信頼性情報を、順次、プログレッシブ画像生成部２３に出力して、動き推定処理は終了する。
【０３０２】
以上のように、図１６の動き推定部２２でも、図９の場合と同様に、信頼性情報が、実質的に、注目ピクチャと、注目ピクチャに隣接する第N-1ピクチャないし第N-4ピクチャとを用いて求められるので、動きベクトルの検出の際に、サイズの小さなマクロブロック（対応ブロック）を用いて、動き情報の信頼性を正確に表す信頼性情報を求めることができる。
【０３０３】
さらに、図１６の動き推定部２２では、信頼性判定の判定途中結果を記憶しておき、過去の信頼性判定の判定途中結果を用いて、信頼性判定を行うので、IP変換部１５（図２）（ひいては、図１のTV）の小型化を図ることができる。
【０３０４】
すなわち、図１６の動き推定部２２では、過去の信頼性判定の判定途中結果を用いて、信頼性判定を行うので、第３及び第４の評価値、ひいては、注目ピクチャから３ピクチャ前のピクチャ、及び４ピクチャ前のピクチャの動きベクトルは、求める必要がない。
【０３０５】
言い換えれば、図１６の動き推定部２２では、第０ないし第２の評価値、ひいては、注目ピクチャの動きベクトルと、注目ピクチャから１ピクチャ前のピクチャ、及び２ピクチャ前のピクチャの動きベクトルを求めれば済む。
【０３０６】
したがって、メモリ部２１から動き推定部２２に対しては、注目ピクチャが第Nピクチャである場合には、注目ピクチャを含む５つの第N+1ピクチャないし第N-3ピクチャを供給すれば良いので、図８のメモリ部２１は、第Nピクチャないし第N-3ピクチャを記憶する４つのフレームメモリ３１0ないし３１3で構成することができる。
【０３０７】
その結果、図１６の動き推定部２２によれば、メモリ部２１を、６つのフレームメモリ３１0ないし３１5で構成しなければならない図９の動き推定部２２に比較して、IP変換部１５（図５）の小型化を図ることができる。
【０３０８】
次に、図１８は、図２の動き推定部２２の第３の構成例を示すブロック図である。
【０３０９】
なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
【０３１０】
すなわち、図１８の動き推定部２２は、評価値演算部５２0ないし５２4、動き情報算出部５３、及び信頼性判定部５４が設けられている点で、図９の場合と共通する。
【０３１１】
一方、図１８の動き推定部２２は、５個の動きベクトル検出部５１0ないし５１4に代えて、１個の動きベクトル検出部５１0、及び４個の動きベクトル記憶部５８1ないし５８4が設けられている点で、図９の場合と相違する。
【０３１２】
動きベクトル記憶部５８1ないし５８4は、過去に注目ピクチャであったピクチャについて、動きベクトル検出部５１0が検出した動きベクトルを記憶する。
【０３１３】
すなわち、動きベクトル記憶部５８1には、動きベクトル検出部５１0から、注目ピクチャの動きベクトルが供給される。動きベクトル記憶部５８1は、動きベクトル検出部５１0から供給される注目ピクチャの動きベクトルを、次の注目ピクチャの動きベクトルが動きベクトル検出部５１0から供給されるまで記憶し、評価値演算部５２1と動きベクトル記憶部５８2に供給する。
【０３１４】
したがって、動きベクトル記憶部５８1は、動きベクトル検出部５１0から注目ピクチャの動きベクトルmv0が供給されるとき、その注目ピクチャの１ピクチャ前のピクチャの動きベクトルmv1を記憶しており、その動きベクトルmv1を、評価値演算部５２1と動きベクトル記憶部５８2に供給する。
【０３１５】
動きベクトル記憶部５８2は、動きベクトル記憶部５８1から供給される注目ピクチャの１ピクチャ前のピクチャの動きベクトルを、その後のピクチャの動きベクトルが動きベクトル記憶部５８1から供給されるまで記憶し、評価値演算部５２2と動きベクトル記憶部５８3に供給する。
【０３１６】
したがって、動きベクトル記憶部５８2は、動きベクトル記憶部５８1から注目ピクチャの１ピクチャ前のピクチャの動きベクトルmv1が供給されるとき、その１ピクチャ前のピクチャの動きベクトルmv2を記憶しており、その動きベクトルmv2を、評価値演算部５２2と動きベクトル記憶部５８3に供給する。
【０３１７】
動きベクトル記憶部５８3は、動きベクトル記憶部５８2から供給される注目ピクチャの２ピクチャ前のピクチャの動きベクトルを、その後のピクチャの動きベクトルが動きベクトル記憶部５８2から供給されるまで記憶し、評価値演算部５２3と動きベクトル記憶部５８4に供給する。
【０３１８】
したがって、動きベクトル記憶部５８3は、動きベクトル記憶部５８2から注目ピクチャの２ピクチャ前のピクチャの動きベクトルmv2が供給されるとき、その１ピクチャ前のピクチャの動きベクトルmv3を記憶しており、その動きベクトルmv3を、評価値演算部５２3と動きベクトル記憶部５８4に供給する。
【０３１９】
動きベクトル記憶部５８4は、動きベクトル記憶部５８3から供給される注目ピクチャの３ピクチャ前のピクチャの動きベクトルを、その後のピクチャの動きベクトルが動きベクトル記憶部５８3から供給されるまで記憶し、評価値演算部５２4に供給する。
【０３２０】
したがって、動きベクトル記憶部５８4は、動きベクトル記憶部５８3から注目ピクチャの３ピクチャ前のピクチャの動きベクトルmv3が供給されるとき、その１ピクチャ前のピクチャの動きベクトルmv4を記憶しており、その動きベクトルmv4を、評価値演算部５２4に供給する。
【０３２１】
以上から、図１８の動き推定部２２では、動きベクトル検出部５１0が、注目ピクチャの動きベクトルmv0を検出して、評価値演算部５２0に供給するとき、動きベクトル記憶部５８k(k=1,2,3,4)は、注目ピクチャのkピクチャ前のピクチャの動きベクトルmvkを記憶しており、その動きベクトルmvkを、評価値演算部５２kに供給する。
【０３２２】
そして、図１８の動き推定部２２には、１個の動きベクトル検出部５１0しか設けられていない。このため、図１８の動き推定部２２では、注目ピクチャが第Nピクチャである場合には、１個の動きベクトル検出部５１0において、第Nピクチャの動きベクトルが、第N+1ピクチャ及び第N-1ピクチャを用いて求められる。
【０３２３】
したがって、メモリ部２１から動き推定部２２に対しては、注目ピクチャが第Nピクチャである場合には、その第Nピクチャの動きベクトルを求めるのに必要な２つの第N+1ピクチャ及び第N-1ピクチャを供給するだけで済む。
【０３２４】
次に、図１９のフローチャートを参照して、図１８の動き推定部２２が行う動き推定処理について説明する。
【０３２５】
動き推定処理では、ステップＳ７１において、動きベクトル検出部５１0が、メモリ部２１（図８）のフレームメモリ３１0に記憶されたピクチャを、注目ピクチャとし、さらに、その注目ピクチャを、検出対象ピクチャとして、その検出対象ピクチャの補間対象画素の動きベクトルを、メモリ部２１から供給される注目ピクチャの前ピクチャと後ピクチャの２つのピクチャを用いて検出する。
【０３２６】
すなわち、例えば、フレームメモリ３１0に記憶された注目ピクチャが、第Nピクチャである場合には、メモリ部２１から動き推定部２２には、注目ピクチャの後ピクチャである第N+1ピクチャと、前ピクチャである第N-1ピクチャとが供給される。
【０３２７】
動き推定部２２では、動きベクトル検出部５１0が、注目ピクチャである第Nピクチャの補間対象画素の動きベクトルmv0を、メモリ部２１から供給される、注目ピクチャの後ピクチャである第N+1ピクチャと、前ピクチャである第N-1ピクチャとを用いて、図７で説明したようにして検出し、評価値演算部５２0と、動き情報算出部５３とに供給して、処理は、ステップＳ７２に進む。
【０３２８】
ステップＳ７２では、動き情報算出部５３は、注目ピクチャの補間対象画素のうちの、まだ、注目画素としていない画素のうちの１つを、注目画素に選択し、動きベクトル検出部５１0からの注目ピクチャ（の補間対象画素）の動きベクトルmv0を用いて、注目画素の動き情報を求める。
【０３２９】
すなわち、動き情報算出部５３は、例えば、図１２のステップＳ３２と同様に、注目ピクチャにおいて、注目画素についての評価値演算用動きベクトルとなる、図１１で説明した式（１）の５個の動きベクトルmv0,0，mv0,-1，mv0,-2，mv0,1、及びmv0,2を用いて、式（１）の平均値ave0を、注目画素の動き情報として求める。
【０３３０】
ステップＳ７２の後、処理は、ステップＳ７３に進み、評価値演算部５２0が、動きベクトル検出部５１0からの、注目ピクチャの動きベクトルmv0のうちの、図１１で説明した評価値演算用動きベクトルの平均値ave0と分散dis0とを、第０の評価値として求め、信頼性判定部５４に供給する。
【０３３１】
さらに、ステップＳ７３では、評価値演算部５２k(k=1,2,3,4)が、動きベクトル記憶部５８kに記憶された、注目ピクチャのｋピクチャ前のピクチャの動きベクトルmvkのうちの、図１１で説明した評価値演算用動きベクトルの平均値avekと分散diskとを、第ｋの評価値として求め、信頼性判定部５４に供給して、処理は、ステップＳ７３からステップＳ７４に進む。
【０３３２】
ステップＳ７４では、信頼性判定部５４が、評価値演算部５２0ないし５２4から供給される第０ないし第４の評価値としての平均値ave0ないしave4及び分散dis0ないしdis4を用いて、動き情報算出部５３が求めた注目画素の動き情報の信頼性を判定する信頼性判定を、制御文（５）に従って行い、その信頼性を表す信頼性情報を求めて、処理は、ステップＳ７５に進む。
【０３３３】
ステップＳ７５では、動きベクトル記憶部５８1ないし５８4が、注目ピクチャと、注目ピクチャの１ないし３ピクチャ前のピクチャそれぞれとの、合計で４ピクチャの動きベクトルを、注目ピクチャの後のピクチャの１ないし４ピクチャ前のピクチャの動きベクトルとして記憶する。
【０３３４】
すなわち、動きベクトル記憶部５８1は、動きベクトル検出部５１0で検出されて供給される注目ピクチャの動きベクトルを記憶する。動きベクトル記憶部５８1に記憶された動きベクトルは、いま、注目ピクチャとなっている１ピクチャ後のピクチャが、新たな注目ピクチャとなったとき、その新たな注目ピクチャの１ピクチャ前のピクチャの動きベクトルmv1として使用される。
【０３３５】
また、動きベクトル記憶部５８2は、動きベクトル記憶部５８1に記憶されていた注目ピクチャの１ピクチャ前のピクチャの動きベクトルを記憶する。動きベクトル記憶部５８2に記憶された動きベクトルは、いま、注目ピクチャとなっている１ピクチャ後のピクチャが、新たな注目ピクチャとなったとき、その新たな注目ピクチャの２ピクチャ前のピクチャの動きベクトルmv2として使用される。
【０３３６】
さらに、動きベクトル記憶部５８3は、動きベクトル記憶部５８2に記憶されていた注目ピクチャの２ピクチャ前のピクチャの動きベクトルを記憶する。動きベクトル記憶部５８3に記憶された動きベクトルは、いま、注目ピクチャとなっている１ピクチャ後のピクチャが、新たな注目ピクチャとなったとき、その新たな注目ピクチャの３ピクチャ前のピクチャの動きベクトルmv3として使用される。
【０３３７】
また、動きベクトル記憶部５８4は、動きベクトル記憶部５８3に記憶されていた注目ピクチャの３ピクチャ前のピクチャの動きベクトルを記憶する。動きベクトル記憶部５８4に記憶された動きベクトルは、いま、注目ピクチャとなっている１ピクチャ後のピクチャが、新たな注目ピクチャとなったとき、その新たな注目ピクチャの４ピクチャ前のピクチャの動きベクトルmv4として使用される。
【０３３８】
ステップＳ７５の後、処理は、ステップＳ７６に進み、動き情報算出部５３（又は、信頼性判定部５４）は、注目ピクチャの補間対象画素すべてについて、動き情報、及び信頼性情報を求めたかどうかを判定する。
【０３３９】
ステップＳ７６において、注目ピクチャの補間対象画素すべてについて、まだ、動き情報、及び信頼性情報が求められていないと判定された場合、すなわち、注目ピクチャの補間対象画素の中に、まだ、動き情報、及び信頼性情報が求められていない画素がある場合、処理は、ステップＳ７２に戻り、注目ピクチャの補間対象画素の中の、まだ、動き情報、及び信頼性情報が求められていない画素の１つが、新たな注目画素とされ、その新たな注目画素について、以下、同様の処理が行われる。
【０３４０】
また、ステップＳ７６において、注目ピクチャの補間対象画素すべてについて、動き情報、及び信頼性情報が求められたと判定された場合、処理は、ステップＳ７７に進み、動き情報算出部５３が、注目ピクチャの各補間対象画素の動き情報を、順次、プログレッシブ画像生成部２３に出力するとともに、信頼性判定部５４が、動き情報算出部５３が出力する動き情報の信頼性情報を、順次、プログレッシブ画像生成部２３に出力して、動き推定処理は終了する。
【０３４１】
以上のように、図１８の動き推定部２２でも、図９の場合と同様に、信頼性情報が、注目ピクチャと、注目ピクチャに隣接する第N-1ピクチャないし第N-4ピクチャとを用いて求められるので、動きベクトルの検出の際に、サイズの小さなマクロブロック（対応ブロック）を用いて、動き情報の信頼性を正確に表す信頼性情報を求めることができる。
【０３４２】
さらに、図１８の動き推定部２２では、動きベクトル記憶部５８1ないし５８4において、過去に注目ピクチャであったピクチャ、つまり、いま注目ピクチャとなっているピクチャの１ないし４ピクチャ前のピクチャについて、動きベクトル検出部５１0で検出された動きベクトルを記憶するので、IP変換部１５（図２）（ひいては、図１のTV）の小型化を図ることができる。
【０３４３】
すなわち、図１８の動き推定部２２では、いま注目ピクチャとなっているピクチャの１ないし４ピクチャ前のピクチャについては、注目ピクチャとなったときに検出された動きベクトルを記憶しているので、再度検出する必要がなく、動きベクトルは、いま注目ピクチャとなっているピクチャについてだけ検出すれば済む。
【０３４４】
したがって、注目ピクチャが第Nピクチャである場合には、メモリ部２１から動き推定部２２に対しては、第Nピクチャの動きベクトルの検出に必要な２つの第N+1ピクチャ及び第N-1ピクチャを供給すれば良いので、図８のメモリ部２１は、第Nピクチャと第N-1ピクチャを記憶する２つのフレームメモリ３１0と３１1で構成することができる。
【０３４５】
その結果、図１８の動き推定部２２によれば、メモリ部２１を、６つのフレームメモリ３１0ないし３１5で構成しなければならない図９の動き推定部２２や、メモリ部２１を、４つのフレームメモリ３１0ないし３１3で構成しなければならない図１６の動き推定部２２に比較して、IP変換部１５（図５）の小型化を図ることができる。
【０３４６】
次に、図２０は、図２の動き推定部２２の第４の構成例を示すブロック図である。
【０３４７】
なお、図中、図９、図１６、又は図１８の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
【０３４８】
すなわち、図２０の動き推定部２２は、３個の評価値演算部５２0ないし５２2、動き情報算出部５３、判定途中結果記憶部５６、及び信頼性判定部５７が設けられている点で、図１６の場合と共通する。
【０３４９】
一方、図２０の動き推定部２２は、３個の動きベクトル検出部５１0ないし５１2に代えて、１個の動きベクトル検出部５１0と、図１８の２個の動きベクトル記憶部５８1及び５８2とが設けられている点で、図１６の場合と相違する。
【０３５０】
図１８で説明したように、動きベクトル記憶部５８1と５８2は、過去に注目ピクチャであったピクチャについて、動きベクトル検出部５１0が検出した動きベクトルを記憶する。
【０３５１】
すなわち、動きベクトル記憶部５８1には、動きベクトル検出部５１0から、注目ピクチャの動きベクトルが供給される。動きベクトル記憶部５８1は、動きベクトル検出部５１0から供給される注目ピクチャの動きベクトルを、次の注目ピクチャの動きベクトルが動きベクトル検出部５１0から供給されるまで記憶し、評価値演算部５２1と動きベクトル記憶部５８2に供給する。
【０３５２】
したがって、動きベクトル記憶部５８1は、動きベクトル検出部５１0から注目ピクチャの動きベクトルmv0が供給されるとき、その注目ピクチャの１ピクチャ前のピクチャの動きベクトルmv1を記憶しており、その動きベクトルmv1を、評価値演算部５２1と動きベクトル記憶部５８2に供給する。
【０３５３】
動きベクトル記憶部５８2は、動きベクトル記憶部５８1から供給される注目ピクチャの１ピクチャ前のピクチャの動きベクトルを、その後のピクチャの動きベクトルが動きベクトル記憶部５８1から供給されるまで記憶し、評価値演算部５２2に供給する。
【０３５４】
したがって、動きベクトル記憶部５８2は、動きベクトル記憶部５８1から注目ピクチャの１ピクチャ前のピクチャの動きベクトルmv1が供給されるとき、その１ピクチャ前のピクチャの動きベクトルmv2を記憶しており、その動きベクトルmv2を、評価値演算部５２2に供給する。
【０３５５】
以上から、図２０の動き推定部２２では、動きベクトル検出部５１0が、注目ピクチャの動きベクトルmv0を検出して、評価値演算部５２0に供給するとき、動きベクトル記憶部５８k(k=1,2)は、注目ピクチャのkピクチャ前のピクチャの動きベクトルmvkを記憶しており、その動きベクトルmvkを、評価値演算部５２kに供給する。
【０３５６】
そして、図２０の動き推定部２２には、１個の動きベクトル検出部５１0しか設けられていない。このため、図２０の動き推定部２２では、注目ピクチャが第Nピクチャである場合には、１個の動きベクトル検出部５１0において、第Nピクチャの動きベクトルが、第N+1ピクチャ及び第N-1ピクチャを用いて求められる。
【０３５７】
したがって、注目ピクチャが第Nピクチャである場合には、メモリ部２１から動き推定部２２に対しては、図１８の場合と同様に、第Nピクチャの動きベクトルを求めるのに必要な２つの第N+1ピクチャ及び第N-1ピクチャを供給するだけで済む。
【０３５８】
次に、図２１のフローチャートを参照して、図２０の動き推定部２２が行う動き推定処理について説明する。
【０３５９】
動き推定処理では、ステップＳ８１において、動きベクトル検出部５１0が、メモリ部２１（図８）のフレームメモリ３１0に記憶されたピクチャを、注目ピクチャとし、さらに、その注目ピクチャを、検出対象ピクチャとして、その検出対象ピクチャの補間対象画素の動きベクトルを、メモリ部２１から供給される注目ピクチャの前ピクチャと後ピクチャの２つのピクチャを用いて検出する。
【０３６０】
すなわち、例えば、フレームメモリ３１0に記憶された注目ピクチャが、第Nピクチャである場合には、メモリ部２１から動き推定部２２には、注目ピクチャの後ピクチャである第N+1ピクチャと、前ピクチャである第N-1ピクチャとが供給される。
【０３６１】
動き推定部２２では、動きベクトル検出部５１0が、注目ピクチャである第Nピクチャの補間対象画素の動きベクトルmv0を、メモリ部２１から供給される、注目ピクチャの後ピクチャである第N+1ピクチャと、前ピクチャである第N-1ピクチャとを用いて、図７で説明したようにして検出し、評価値演算部５２0と、動き情報算出部５３とに供給して、処理は、ステップＳ８２に進む。
【０３６２】
ステップＳ８２では、動き情報算出部５３は、注目ピクチャの補間対象画素のうちの、まだ、注目画素としていない画素のうちの１つを、注目画素に選択し、動きベクトル検出部５１0からの注目ピクチャ（の補間対象画素）の動きベクトルmv0を用いて、注目画素の動き情報を求める。
【０３６３】
すなわち、動き情報算出部５３は、例えば、図１２のステップＳ３２と同様に、注目ピクチャにおいて、注目画素についての評価値演算用動きベクトルとなる、図１１で説明した式（１）の５個の動きベクトルmv0,0，mv0,-1，mv0,-2，mv0,1、及びmv0,2を用いて、式（１）の平均値ave0を、注目画素の動き情報として求める。
【０３６４】
ステップＳ８２の後、処理は、ステップＳ８３に進み、評価値演算部５２0が、動きベクトル検出部５１0からの、注目ピクチャの動きベクトルmv0のうちの、図１１で説明した評価値演算用動きベクトルの平均値ave0と分散dis0とを、第０の評価値として求め、信頼性判定部５７に供給する。
【０３６５】
さらに、ステップＳ８３では、評価値演算部５２1が、動きベクトル記憶部５８1に記憶された、注目ピクチャの１ピクチャ前のピクチャの動きベクトルmv1のうちの、図１１で説明した評価値演算用動きベクトルの平均値ave1と分散dis1とを、第１の評価値として求め、信頼性判定部５７に供給する。
【０３６６】
また、ステップＳ８３では、評価値演算部５２2が、動きベクトル記憶部５８2に記憶された、注目ピクチャの２ピクチャ前のピクチャの動きベクトルmv2のうちの、図１１で説明した評価値演算用動きベクトルの平均値ave2と分散dis2とを、第２の評価値として求め、信頼性判定部５７に供給して、処理は、ステップＳ８３からステップＳ８４に進む。
【０３６７】
ステップＳ８４では、信頼性判定部５７が、判定途中結果記憶部５６から、２ピクチャ分だけ前の時刻での信頼性判定の判定途中結果valid_dを読み出し、処理は、ステップＳ８５に進む。
【０３６８】
ステップＳ８５では、信頼性判定部５７が、評価値演算部５２0ないし５２2から供給される第０ないし第２の評価値としての平均値ave0ないしave2及び分散dis0ないしdis2と、直前のステップＳ８４で判定途中結果記憶部５６から読み出した判定途中結果valid_dとを用いて、動き情報算出部５３が求めた注目画素の動き情報の信頼性を判定する信頼性判定を、上述の制御文（６）に従って行い、その信頼性を表す信頼性情報を求める。
【０３６９】
ステップＳ８５で信頼性情報が求められると、処理は、ステップＳ８６に進み、信頼性判定部５７は、直前のステップＳ８５で行った信頼性判定の途中で得られる判定途中結果、すなわち、制御文（６）における平均値についての第１の評価値判定(ABS(ave0-ave1)<=A)、平均値についての第２の評価値判定(ABS(ave1-ave2)<=A)、分散についての第１の評価値判定(ABS(dis0-dis1)<=B)、及び、分散についての第２の評価値判定(ABS(dis1-dis2))の判定結果がすべて真であるかどうかを表す判定途中結果を、判定途中結果記憶部５６に供給して記憶させ、処理は、ステップＳ８７に進む。
【０３７０】
ステップＳ８７では、動きベクトル記憶部５８1と５８2が、注目ピクチャと、注目ピクチャの１ピクチャ前のピクチャとの、合計で２ピクチャの動きベクトルを、注目ピクチャの後のピクチャの１と２ピクチャ前のピクチャの動きベクトルとして記憶する。
【０３７１】
すなわち、動きベクトル記憶部５８1は、動きベクトル検出部５１0で検出されて供給される注目ピクチャの動きベクトルを記憶する。動きベクトル記憶部５８1に記憶された動きベクトルは、いま、注目ピクチャとなっている１ピクチャ後のピクチャが、新たな注目ピクチャとなったとき、その新たな注目ピクチャの１ピクチャ前のピクチャの動きベクトルmv1として使用される。
【０３７２】
また、動きベクトル記憶部５８2は、動きベクトル記憶部５８1に記憶されていた注目ピクチャの１ピクチャ前のピクチャの動きベクトルを記憶する。動きベクトル記憶部５８2に記憶された動きベクトルは、いま、注目ピクチャとなっている１ピクチャ後のピクチャが、新たな注目ピクチャとなったとき、その新たな注目ピクチャの２ピクチャ前のピクチャの動きベクトルmv2として使用される。
【０３７３】
ステップＳ８７の後、処理は、ステップＳ８８に進み、動き情報算出部５３（又は、信頼性判定部５７）は、注目ピクチャの補間対象画素すべてについて、動き情報、及び信頼性情報を求めたかどうかを判定する。
【０３７４】
ステップＳ８８において、注目ピクチャの補間対象画素すべてについて、まだ、動き情報、及び信頼性情報が求められていないと判定された場合、すなわち、注目ピクチャの補間対象画素の中に、まだ、動き情報、及び信頼性情報が求められていない画素がある場合、処理は、ステップＳ８２に戻り、注目ピクチャの補間対象画素の中の、まだ、動き情報、及び信頼性情報が求められていない画素の１つが、新たな注目画素とされ、その新たな注目画素について、以下、同様の処理が行われる。
【０３７５】
また、ステップＳ８８において、注目ピクチャの補間対象画素すべてについて、動き情報、及び信頼性情報が求められたと判定された場合、処理は、ステップＳ８９に進み、動き情報算出部５３が、注目ピクチャの各補間対象画素の動き情報を、順次、プログレッシブ画像生成部２３に出力するとともに、信頼性判定部５７が、動き情報算出部５３が出力する動き情報の信頼性情報を、順次、プログレッシブ画像生成部２３に出力して、動き推定処理は終了する。
【０３７６】
以上のように、図２０の動き推定部２２でも、図９の場合と同様に、実質的に、信頼性情報が、注目ピクチャと、注目ピクチャに隣接する第N-1ピクチャないし第N-4ピクチャとを用いて求められるので、動きベクトルの検出の際に、サイズの小さなマクロブロック（対応ブロック）を用いて、動き情報の信頼性を正確に表す信頼性情報を求めることができる。
【０３７７】
さらに、図２０の動き推定部２２では、動きベクトル記憶部５８1と５８2において、過去に注目ピクチャであったピクチャ、つまり、いま注目ピクチャとなっているピクチャの１と２ピクチャ前のピクチャについて、動きベクトル検出部５１0で検出された動きベクトルを記憶するとともに、判定途中結果記憶部５６において、信頼性判定の判定途中結果を記憶しておき、過去の信頼性判定の判定途中結果を用いて、信頼性判定を行うので、IP変換部１５（図２）（ひいては、図１のTV）のさらなる小型化を図ることができる。
【０３７８】
すなわち、図２０の動き推定部２２では、過去の信頼性判定の判定途中結果を用いて、信頼性判定を行うので、第３及び第４の評価値、ひいては、注目ピクチャから３ピクチャ前のピクチャ、及び４ピクチャ前のピクチャの動きベクトルは、検出する、又は記憶しておく必要がない。
【０３７９】
言い換えれば、図２０の動き推定部２２では、第１及び第２の評価値、ひいては、注目ピクチャの動きベクトルと、注目ピクチャから１ピクチャ前のピクチャ、及び２ピクチャ前のピクチャの、合計で３ピクチャの動きベクトルがあれば、図９の場合と同一の信頼性判定を行うことができる。
【０３８０】
さらに、図２０の動き推定部２２では、いま注目ピクチャとなっているピクチャの１と２ピクチャ前のピクチャについては、注目ピクチャとなったときに検出された動きベクトルを記憶しているので、再度検出する必要がなく、動きベクトルは、いま注目ピクチャとなっているピクチャについてだけ検出すれば済む。
【０３８１】
したがって、注目ピクチャが第Nピクチャである場合には、メモリ部２１から動き推定部２２に対しては、第Nピクチャの動きベクトルの検出に必要な２つの第N+1ピクチャ及び第N-1ピクチャを供給すれば良いので、図８のメモリ部２１は、第Nピクチャと第N-1ピクチャを記憶する２つのフレームメモリ３１0と３１1で構成することができる。
【０３８２】
さらに、図２０の動き推定部２２では、第３及び第４の評価値を求め、ひいては、注目ピクチャから３ピクチャ前のピクチャ、及び４ピクチャ前のピクチャの動きベクトルを求める（記憶する）代わりに、過去の信頼性判定の判定途中結果を記憶するので、その判定途中結果を記憶する１個の判定途中結果記憶部５６を設けることで、図１８の２個の動きベクトル記憶部５８3及び５８4と、２個の評価値演算部５２3及び５２4とを設けずに済む。
【０３８３】
その結果、図２０の動き推定部２２によれば、図１８の場合に比較して、IP変換部１５（図２）の小型化を図ることができる。
【０３８４】
次に、上述したIP変換部１５（図２）の動き推定部２２やプログレッシブ画像生成部２３の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０３８５】
そこで、図２２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０３８６】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０３８７】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０３８８】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０３８９】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０３９０】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０３９１】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。
【０３９２】
以上、本発明を、インターレース画像をプログレッシブ画像に変換するIP変換に適用した場合について説明したが、本発明は、その他、画像から動き情報を求める画像処理装置に適用可能である。
【０３９３】
また、本実施の形態では、画素単位で、動き情報を求めることとしたが、動き情報は、画像を複数の画素からなるブロックに分割し、そのブロック単位で求めることが可能である。但し、動き情報をブロック単位で求めることは、ブロックを構成する１つの画素の動き情報を求め、その動き情報を、ブロックを構成するすべての画素の動き情報とすることとみなすことができるので、結局は、動き情報を画素単位で求めることと等価である。
【０３９４】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０３９５】
【図１】本発明を適用したTVの一実施の形態の構成例を示すブロック図である。
【図２】IP変換部１５の構成例を示すブロック図である。
【図３】インターレース画像を示す図である。
【図４】プログレッシブ画像を示す図である。
【図５】IP変換処理を説明するフローチャートである。
【図６】プログレッシブ画像を対象とした動きベクトルの検出の方法を説明する図である。
【図７】インターレース画像を対象とした動きベクトルの検出の方法を説明する図である。
【図８】メモリ部２１の構成例を示すブロック図である。
【図９】動き推定部２２の第１の構成例を示すブロック図である。
【図１０】複数の候補ベクトルの例を示す図である。
【図１１】評価値演算部５２kの処理を説明する図である。
【図１２】動き推定処理を説明するフローチャートである。
【図１３】プログレッシブ画像生成部２３の構成例を示すブロック図である。
【図１４】プログレッシブ画像生成処理を説明するフローチャートである。
【図１５】メモリ部２１から動き推定部２２に供給される画像を示す図である。
【図１６】動き推定部２２の第２の構成例を示すブロック図である。
【図１７】動き推定処理を説明するフローチャートである。
【図１８】動き推定部２２の第３の構成例を示すブロック図である。
【図１９】動き推定処理を説明するフローチャートである。
【図２０】動き推定部２２の第４の構成例を示すブロック図である。
【図２１】動き推定処理を説明するフローチャートである。
【図２２】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０３９６】
１１  チューナ，  １２  デスクランブラ，  １３  デマルチプレクサ，  １４  デコーダ，  １５  IP変換部，  １６  表示パネル，  ２１  メモリ部，  ２２  動き推定部，  ２３  プログレッシブ画像生成部，  ３１0ないし３１5  フレームメモリ，  ５１0ないし５１4  動きベクトル検出部，  ５２0ないし５２4  評価値演算部，  ５３  動き情報算出部，  ５４  信頼性判定部，  ５６  判定途中結果記憶部，  ５７  信頼性判定部，  ５８1ないし５８4  動きベクトル記憶部，  ６１  フィールド間補間部，  ６２  フィールド内補間部，  ６３  選択部，  ６４  合成部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
0004375452.tif 000002
【図２】
0004375452.tif 000003
【図３】
0004375452.tif 000004
【図４】
0004375452.tif 000005
【図５】
0004375452.tif 000006
【図６】
0004375452.tif 000007
【図７】
0004375452.tif 000008
【図８】
0004375452.tif 000009
【図９】
0004375452.tif 000010
【図１０】
0004375452.tif 000011
【図１１】
0004375452.tif 000012
【図１２】
0004375452.tif 000013
【図１３】
0004375452.tif 000014
【図１４】
0004375452.tif 000015
【図１５】
0004375452.tif 000016
【図１６】
0004375452.tif 000017
【図１７】
0004375452.tif 000018
【図１８】
0004375452.tif 000019
【図１９】
0004375452.tif 000020
【図２０】
0004375452.tif 000021
【図２１】
0004375452.tif 000022
【図２２】
0004375452.tif 000023