(57)【要約】【課題】フレーム内挿によるフレームレート変換処理が行われた場合に生じる画質劣化等の妨害を抑制できるようにする。【解決手段】生成対象の内挿フレームの各点の推定ベクトルは、それぞれ状態が設定されることで、不適な可能性がある推定ベクトルと好適な推定ベクトルに分類される。推定ベクトルの状態の種類は、始点または終点における他の推定ベクトルとの重なりの有無と、始点または終点で重なる他の推定ベクトルの相似評価値に対する、状態設定対象推定ベクトルの相似評価値の大小を用いて分類される。状態Ｃ，ＵＣ，ＮＧに設定された推定ベクトルが不適な可能性がある推定ベクトルとして分類され、状態ＮＯ，Ｎ１に設定された推定ベクトルが好適な推定ベクトルとして分類される。本発明は、画像処理装置に適用することができる。【選択図】図１
2010206602.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する単位画像のうち、時間軸方向に前後する過去単位画像と未来単位画像の間に内挿する内挿単位画像を生成するために、前記内挿単位画像を構成する各画素に推定ベクトルが割り当てられており、
前記過去単位画像では存在していた画像が前記未来単位画像では隠れる領域に含まれる画素に割り当てられた推定ベクトルの状態がＣ状態とされ、
前記過去単位画像では存在していなかった画像が前記未来単位画像では現れる領域に含まれる画素に割り当てられた推定ベクトルの状態がＵＣ状態とされ、
前記Ｃ状態および前記ＵＣ状態を少なくとも含む複数の状態が定義されており、
前記内挿単位画像を構成する各画素に割り当てられた前記各推定ベクトルの状態を、前記複数の状態の中から設定する状態設定手段と、
前記状態設定手段により前記Ｃ状態または前記ＵＣ状態に設定された前記推定ベクトルが割り当てられている画素を注目画素として、前記過去単位画像または前記未来単位画像において、前記注目画素に元々割り当てられている元推定ベクトルと重なりを生じさせている推定ベクトルを、候補ベクトルとして選択する候補ベクトル選択手段と、
所定の要件を満たす場合、前記注目画素に割り当てられる推定ベクトルを、前記元推定ベクトルから前記候補ベクトルに置き換えるベクトル置換手段と、
前記ベクトル置換手段による処理の終了後、前記内挿単位画像を構成する各画素の画素値を、割り当てられている前記推定ベクトルおよびその状態、並びに、前記過去単位画像および前記未来単位画像に基づいてそれぞれ演算する補間画素演算手段と
を備える画像処理装置。
【請求項２】
前記所定の要件は、
前記注目画素に割り当てられる推定ベクトルとして前記候補ベクトルを仮に置き換えた場合に得られるベクトルを、仮置換ベクトルとした場合、
前記仮置換ベクトルについての前記過去単位画像と前記未来単位画像の間の相関が、前記元推定ベクトルについての前記過去単位画像と前記未来単位画像の間の相関よりも低いこと
という要件を少なくとも含む
請求項１に記載の画像処理装置。
【請求項３】
前記所定の要件は、
前記元推定ベクトルの状態が前記Ｃ状態である場合には、前記仮置換ベクトルの状態が前記Ｃ状態であるという第１の関係を満たし、
前記元推定ベクトルの状態が前記ＵＣ状態である場合には、前記仮置換ベクトルの状態が前記ＵＣ状態であるという第２の関係を満たすこと
という要件を少なくとも含む
請求項２に記載の画像処理装置。
【請求項４】
前記補間画素演算手段は、
前記ベクトル置換手段による処理の終了後の前記推定ベクトルの状態が前記Ｃ状態である場合、前記過去単位画像および前記未来単位画像のうち前記過去単位画像のみを用いて、前記画素値を演算し、
前記ベクトル置換手段による処理の終了後の前記推定ベクトルの状態が前記ＵＣ状態である場合、前記過去単位画像および前記未来単位画像のうち前記未来単位画像のみを用いて、前記画素値を演算し、
前記ベクトル置換手段による処理の終了後の前記推定ベクトルの状態が前記Ｃ状態および前記ＵＣ状態以外の状態である場合、前記過去単位画像と前記未来単位画像を用いて、前記画素値を演算する
請求項１に記載の画像処理装置。
【請求項５】
動画像を構成する単位画像のうち、時間軸方向に前後する過去単位画像と未来単位画像の間に内挿する内挿単位画像を生成するために、前記内挿単位画像を構成する各画素に推定ベクトルが割り当てられており、
前記過去単位画像では存在していた画像が前記未来単位画像では隠れる領域に含まれる画素に割り当てられた推定ベクトルの状態がＣ状態とされ、
前記過去単位画像では存在していなかった画像が前記未来単位画像では現れる領域に含まれる画素に割り当てられた推定ベクトルの状態がＵＣ状態とされ、
前記Ｃ状態および前記ＵＣ状態を少なくとも含む複数の状態が定義されている状態で、
画像処理装置が、
前記内挿単位画像を構成する各画素に割り当てられた前記各推定ベクトルの状態を、前記複数の状態の中から設定し、
前記Ｃ状態または前記ＵＣ状態に設定された前記推定ベクトルが割り当てられている画素を順次注目画素として、前記過去単位画像または前記未来単位画像において、前記注目画素に元々割り当てられている元推定ベクトルと重なりを生じさせている推定ベクトルを、候補ベクトルとして選択し、所定の要件を満たす場合、前記注目画素に割り当てられる推定ベクトルを、前記元推定ベクトルから前記候補ベクトルに置き換える、という一連の処理を実行し、
前記一連の処理の終了後、前記内挿単位画像を構成する各画素の画素値を、割り当てられている前記推定ベクトルおよびその状態、並びに、前記過去単位画像および前記未来単位画像に基づいてそれぞれ演算する
ステップを含む画像処理方法。
【請求項６】
動画像を構成する単位画像を単位として処理する画像処理装置を制御するコンピュータに、
時間軸方向に前後する過去単位画像と未来単位画像の間に内挿する内挿単位画像を生成するために、前記内挿単位画像を構成する各画素に推定ベクトルが割り当てられており、
前記過去単位画像では存在していなかった画像が前記未来単位画像では現れる領域に含まれる画素に割り当てられた推定ベクトルの状態がＣ状態とされ、
前記過去単位画像では存在していた画像が前記未来単位画像では隠れる領域に含まれる画素に割り当てられた推定ベクトルの状態がＵＣ状態とされ、
前記Ｃ状態および前記ＵＣ状態を少なくとも含む複数の状態が定義されている状態で、
前記内挿単位画像を構成する各画素に割り当てられた前記各推定ベクトルの状態を、前記複数の状態の中から設定し、
前記Ｃ状態または前記ＵＣ状態に設定された前記推定ベクトルが割り当てられている画素を順次注目画素として、前記過去単位画像または前記未来単位画像において、前記注目画素に元々割り当てられている元推定ベクトルと重なりを生じさせている推定ベクトルを、候補ベクトルとして選択し、所定の要件を満たす場合、前記注目画素に割り当てられる推定ベクトルを、前記元推定ベクトルから前記候補ベクトルに置き換える、という一連の処理を実行し、
前記一連の処理の終了後、前記内挿単位画像を構成する各画素の画素値を、割り当てられている前記推定ベクトルおよびその状態、並びに、前記過去単位画像および前記未来単位画像に基づいてそれぞれ演算する
ステップを含む制御処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、フレーム内挿に起因する画質劣化等の妨害を抑制できるようになった、画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
ビデオ信号に対してフレームレート変換処理を行うために、元のビデオ信号を構成していたフレームの間に、新たに生成されたフレームを内挿するという手法が存在する。以下、かかる手法を単にフレーム内挿と称する。また、以下、内挿されるフレームを、特に、内挿フレームと称する。
【０００３】
特許文献１によると、内挿フレームは、例えば次のようにして生成される。
【０００４】
即ち、元のビデオ信号を構成していた複数のフレームのうち、時間的に前後する２つのフレームを用いて、内挿フレームの各点における推定ベクトルが求められる。なお、以下、時間的に前のフレームを過去フレームと称し、時間的に後のフレームを未来フレームと称する。
【０００５】
推定ベクトルは、例えば次のようにブロックマッチング手法に従って求められる。即ち、内挿フレーム上の所定点を通る直線のうち、過去フレームと交差する点の周囲のブロックと、未来フレームと交差する点の周囲のブロックとの相似評価値が最高となる直線が選択される。選択された直線により表わされるベクトルが、所定点における推定ベクトルとして求められる。
【０００６】
このようにして求められた内挿フレームの各点における推定ベクトルと、過去フレームと未来フレームとから、内挿フレームの各点が求められることで、内挿フレームが生成される（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平７−３３６６５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１を含む従来のフレーム内挿において、いわゆるカバード領域（以下、Ｃ領域と称する）やアンカバード領域（以下、ＵＣ領域と称する）については、過去フレームと未来フレームとにおける対応点が存在しない。このため、求められた推定ベクトルが誤っている可能性が高い。その結果、従来のフレーム内挿によるフレームレート変換処理が行われた場合には、画質劣化等の妨害が発生する可能性がある。
【０００９】
なお、Ｃ領域やＵＣ領域とは、次のような領域をいう。即ち、例えば、オブジェクト等が動いたときなどに、過去フレームでは、背景等が見えていた領域であったものが、未来フレームでは、動いてきたオブジェクト等によって隠されて見えなくなってしまう領域になることがある。このような領域がＣ領域と称されている。これに対して、オブジェクトが動いたときなどに、過去フレームでは、オブジェクト等に隠されて背景等が見えなかった領域であったものが、未来フレームでは、オブジェクト等が動いたことによりに背景等が現れて見えるようになる領域になることがある。このような領域がＵＣ領域と称されている。
【００１０】
このようなフレーム内挿による妨害の発生を抑制する従来の手法としては、４フレームを用いる処理を実行する手法（以下、４フレーム処理手法と称する）や、特許文献１に記載されている手法（以下、特許文献１の手法と称する）が存在する。特許文献１の手法とは、Ｃ領域とＵＣ領域とを検出し、その検出結果に基づいて、内挿フレームを構成する各画素を生成するための補間方式を切り替える、という手法である。
【００１１】
４フレーム処理手法では、Ｃ領域およびＵＣ領域（以下、Ｃ／ＵＣ領域と称する）の推定ベクトルとしては、過去フレームと未来フレームとから求められる推定ベクトルの代わりに、それよりも時間的に前と後ろの推定ベクトルが採用される。しかしながら、Ｃ／ＵＣ領域の判定を間違えると新たな画質劣化等の妨害が発生する場合がある。さらに、４フレーム処理手法は、その処理の規模が大きくなるため、あまり効果的な手法ではないとも考えられる。
【００１２】
また、特許文献１の手法は、基本的に、Ｃ／ＵＣ領域の正しい推定ベクトルが求められていることを前提とする。このような前提の下、特許文献１の手法では、妨害を減少させる効果が得られる。即ち、特許文献１の手法は、そもそも、推定ベクトルが正しいことを前提としてしまっている手法である。しかしながら、上述した如く、過去フレームと未来フレームとから求められる推定ベクトルは、Ｃ／ＵＣ領域の推定ベクトルとしては正しいものとは限らない。よって、正しい推定ベクトルが求められていない場合には、特許文献１の手法では、フレーム内挿による画質劣化等の妨害を抑制できるとは言い難い。
【００１３】
本発明は、このような状況に鑑みてなされたものであり、フレーム内挿に起因する画質劣化等の妨害を抑制できるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の一側面の画像処理装置は、動画像を構成する単位画像のうち、時間軸方向に前後する過去単位画像と未来単位画像の間に内挿する内挿単位画像を生成するために、前記内挿単位画像を構成する各画素に推定ベクトルが割り当てられており、前記過去単位画像では存在していた画像が前記未来単位画像では隠れる領域に含まれる画素に割り当てられた推定ベクトルの状態がＣ状態とされ、前記過去単位画像では存在していなかった画像が前記未来単位画像では現れる領域に含まれる画素に割り当てられた推定ベクトルの状態がＵＣ状態とされ、前記Ｃ状態および前記ＵＣ状態を少なくとも含む複数の状態が定義されており、前記内挿単位画像を構成する各画素に割り当てられた前記各推定ベクトルの状態を、前記複数の状態の中から設定する状態設定手段と、前記状態設定手段により前記Ｃ状態または前記ＵＣ状態に設定された前記推定ベクトルが割り当てられている画素を注目画素として、前記過去単位画像または前記未来単位画像において、前記注目画素に元々割り当てられている元推定ベクトルと重なりを生じさせている推定ベクトルを、候補ベクトルとして選択する候補ベクトル選択手段と、所定の要件を満たす場合、前記注目画素に割り当てられる推定ベクトルを、前記元推定ベクトルから前記候補ベクトルに置き換えるベクトル置換手段と、前記ベクトル置換手段による処理の終了後、前記内挿単位画像を構成する各画素の画素値を、割り当てられている前記推定ベクトルおよびその状態、並びに、前記過去単位画像および前記未来単位画像に基づいてそれぞれ演算する補間画素演算手段とを備える。
【００１５】
前記所定の要件は、前記注目画素に割り当てられる推定ベクトルとして前記候補ベクトルを仮に置き換えた場合に得られるベクトルを、仮置換ベクトルとした場合、前記仮置換ベクトルについての前記過去単位画像と前記未来単位画像の間の相関が、前記元推定ベクトルについての前記過去単位画像と前記未来単位画像の間の相関よりも低いことという要件を少なくとも含む。
【００１６】
前記所定の要件は、前記元推定ベクトルの状態が前記Ｃ状態である場合には、前記仮置換ベクトルの状態が前記Ｃ状態であるという第１の関係を満たし、前記元推定ベクトルの状態が前記ＵＣ状態である場合には、前記仮置換ベクトルの状態が前記ＵＣ状態であるという第２の関係を満たすことという要件を少なくとも含む。
【００１７】
前記補間画素演算手段は、前記ベクトル置換手段による処理の終了後の前記推定ベクトルの状態が前記Ｃ状態である場合、前記過去単位画像および前記未来単位画像のうち前記過去単位画像のみを用いて、前記画素値を演算し、前記ベクトル置換手段による処理の終了後の前記推定ベクトルの状態が前記ＵＣ状態である場合、前記過去単位画像および前記未来単位画像のうち前記未来単位画像のみを用いて、前記画素値を演算し、前記ベクトル置換手段による処理の終了後の前記推定ベクトルの状態が前記Ｃ状態および前記ＵＣ状態以外の状態である場合、前記過去単位画像と前記未来単位画像を用いて、前記画素値を演算する。
【００１８】
本発明の一側面の画像処理方法およびプログラムは、上述の本発明の一側面の画像処理装置に対応する方法およびプログラムである。
【００１９】
本発明の一側面の画像処理装置および方法並びにプログラムにおいては、動画像を構成する単位画像のうち、時間軸方向に前後する過去単位画像と未来単位画像の間に内挿する内挿単位画像を生成するために、前記内挿単位画像を構成する各画素に推定ベクトルが割り当てられており、前記過去単位画像では存在していた画像が前記未来単位画像では隠れる領域に含まれる画素に割り当てられた推定ベクトルの状態がＣ状態とされ、前記過去単位画像では存在していなかった画像が前記未来単位画像では現れる領域に含まれる画素に割り当てられた推定ベクトルの状態がＵＣ状態とされ、前記Ｃ状態および前記ＵＣ状態を少なくとも含む複数の状態が定義されている状態で、画像処理装置が、前記内挿単位画像を構成する各画素に割り当てられた前記各推定ベクトルの状態が、前記複数の状態の中から設定され、前記Ｃ状態または前記ＵＣ状態に設定された前記推定ベクトルが割り当てられている画素が順次注目画素として、前記過去単位画像または前記未来単位画像において、前記注目画素に元々割り当てられている元推定ベクトルと重なりを生じさせている推定ベクトルが、候補ベクトルとして選択され、所定の要件を満たす場合、前記注目画素に割り当てられる推定ベクトルが、前記元推定ベクトルから前記候補ベクトルに置き換られる、という一連の処理が実行され、前記一連の処理の終了後、前記内挿単位画像を構成する各画素の画素値が、割り当てられている前記推定ベクトルおよびその状態、並びに、前記過去単位画像および前記未来単位画像に基づいてそれぞれ演算される。
【発明の効果】
【００２０】
以上のごとく、本発明によれば、フレーム内挿に起因する画質劣化等の妨害を抑制できるようになる。
【図面の簡単な説明】
【００２１】
【図１】推定ベクトル状態設定処理を説明するための図である。
【図２】本実施の形態で採用されている推定ベクトルの状態の種類を示す図である。
【図３】推定ベクトル置換処理を説明するための図である。
【図４】本実施の形態で採用されている仮置換ベクトルの状態の種類を示す図である。
【図５】式（１）に代入する画素値の点α、点βの種類を示す図である。
【図６】本発明が適用される画像処理装置の構成例を示すブロック図である。
【図７】ベクトル補正部１２の詳細な構成例を示すブロック図である。
【図８】補間部１３の詳細な構成例を示すブロック図である。
【図９】内挿フレーム生成処理の一例を説明するフローチャートである。
【図１０】推定ベクトル状態設定処理の一例を説明するフローチャートである。
【図１１】推定ベクトル置換処理の一例を説明するフローチャートである。
【図１２】仮置換ベクトル状態設定処理の一例を説明するフローチャートである。
【図１３】通常のフレームレート変換処理、および特許文献１の手法を適用したフレームレート変換処理が実行された場合に表示される画像の一例を説明する図である。
【図１４】本発明の内挿フレーム生成処理により生成された内挿フレームを用いてフレームレート変換処理が実行された場合と、本発明の内挿フレーム生成処理に対してさらに特許文献２の手法を適用した場合の効果を説明する図である。
【図１５】本発明が適用される画像処理装置のハードウエア構成例を示すブロック図である。
【発明を実施するための形態】
【００２２】
＜１．本発明が適用される手法の説明＞
【００２３】
[本発明の手法の概略の説明]
【００２４】
はじめに、本発明の理解を容易なものとすべく、本発明が適用される手法（以下、本発明の手法と称する）の概略について説明する。
【００２５】
なお、以下の説明では、画像データの処理単位として、フレームを採用する。ただし、処理単位は、フレームに限定されず、例えばフィールド等でも構わない。以下、このようなフィールドやフレームといった画像データの処理単位を、単位画像と称する。即ち、本発明は、任意の単位画像に対する処理に適用可能であり、以下に説明するフレームは単位画像の例示にしか過ぎない。例えば、内挿フレームとは、内挿単位画像の例示にしか過ぎない。
【００２６】
本発明が適用される手法においては、生成対象の内挿フレームの各点（各画素）の推定ベクトル自体は、予め割り当てられているとする。しかしながら、上述したように、割り当てられた推定ベクトルが不適な可能性が高い。したがって、このような推定ベクトルを基に内挿フレームが生成されると、その内挿フレームもまた、不適なフレームとなっている可能性が高い。そこで、本発明の手法では、不適な可能性が高い推定ベクトルが、好適な推定ベクトルに置き換えられてから、内挿フレームが生成される。
【００２７】
まず、生成対象の内挿フレームの各点に割り当てられた推定ベクトル（なお、以下、各点の推定ベクトルと適宜略称する）は、それぞれ状態が設定されることで、不適な可能性がある推定ベクトルと好適な推定ベクトルに分類される。状態の各種類の詳細については後述するが、例えば本実施の形態では、状態ＮＯ，Ｎ１，Ｃ，ＵＣ，ＮＧが採用されている。そして、本実施の形態では状態Ｃ，ＵＣ，ＮＧの推定ベクトルが不適な可能性がある推定ベクトルとして分類され、状態ＮＯ，Ｎ１の推定ベクトルが好適な推定ベクトルとして分類される。
【００２８】
ここまでの一連の処理を、以下、推定ベクトル状態設定処理と称する。推定ベクトル状態設定処理の詳細については、図１，２を参照して後述する。
【００２９】
次に、設定された推定ベクトルの状態をもとに、推定ベクトルの置き換えが適宜行われる。状態ＮＯ，Ｎ１の推定ベクトルは好適であるので、置き換えは行われずに元の推定ベクトルが使われる。状態Ｃ，ＵＣ，ＮＧの推定ベクトルは不適な可能性があるので、置き換えの候補となるベクトル（以下、候補ベクトルと称する）が選抜される。所定の要件を満たす場合、推定ベクトルは候補ベクトルに置き換えられ、所定の要件を満たさない場合、置き換えは行われずに元の推定ベクトルが使われる。なお、所定の要件については後述する。
【００３０】
ここまでの一連の処理を、以下、推定ベクトル置換処理と称する。推定ベクトル置換処理の詳細については、図３，４を参照して後述する。
【００３１】
次に、推定ベクトル置換処理終了後の各点の推定ベクトル、過去フレーム、未来フレーム等を用いて、内挿フレームを構成する各点のデータ（各画素の画素値）が演算される。ただし、内挿フレームの画素値の計算では、過去フレームと未来フレームの両者が常に使われるとは限らない。即ち、推定ベクトルの状態に応じて、過去フレームのみが使用される場合や、未来フレームのみが使用される場合もあり得る。これらの場合の詳細については後述する。
【００３２】
ここまでの一連の処理を、以下、内挿フレーム各点演算処理と称する。内挿フレーム各点演算処理の詳細については、図５を参照して後述する。
【００３３】
以上の推定ベクトル状態設定処理、推定ベクトル置換処理、および内挿フレーム各点演算処理の一連の処理（以下、内挿フレーム生成処理と称する）を実現させる手法が、本発明の手法である。即ち、内挿フレーム生成処理が、本発明が適用される処理の一例である。内挿フレーム生成処理により生成された内挿フレームを用いてフレームレート変換処理を実行することで、従来発生したフレーム内挿に起因する画質劣化等の妨害を、抑制できるようになる。
【００３４】
さらに、以下、図面を参照して、推定ベクトル状態設定処理、推定ベクトル置換処理、内挿フレーム各点演算処理の詳細について、その順番に個別に説明する。なお、動作主体は、いずれも単に画像処理装置とする。
【００３５】
[推定ベクトル状態設定処理の説明]
【００３６】
図１は、推定ベクトル状態設定処理を説明するための図である。
【００３７】
図１の例では、生成対象の内挿フレームより前の時点で表示されるフレームが、その内挿フレームを作成するときに参照される過去フレームとして採用されている。また、生成対象の内挿フレームより後の時点で表示されるフレームが、その内挿フレームを作成するときに参照される未来フレームとして採用されている。
【００３８】
また、図１の例では、過去フレームに含まれるオブジェクトObは、一定速度で図中左方向に移動しているとする。
【００３９】
生成対象の内挿フレームの各点の推定ベクトル自体は、所定の手法、例えば上述のブロックマッチング手法等により予め割り当てられているとする。例えば図１の例では、生成対象の内挿フレームの各点の推定ベクトルの少なくとも一部として、推定ベクトルＶ1乃至Ｖ１７が図示されている。
【００４０】
本発明においては、生成対象の内挿フレームの各点の推定ベクトルＶ1乃至Ｖ１７のそれぞれに対して、図１や図２に示されるような状態ＮＯ，Ｎ１，Ｃ，ＵＣ，ＮＧのうち１つが設定される。
【００４１】
以下、図２を参照して、生成対象の内挿フレームの各点の推定ベクトルの状態の種類について説明する。
【００４２】
図２は、本実施の形態で採用されている推定ベクトルの状態の種類を示す図である。
【００４３】
なお、以下、状態が設定される対象の推定ベクトル（以下、状態設定対象推定ベクトルと称する）に平行な直線であって、生成対象の内挿フレーム上の点のうち、状態設定対象推定ベクトルが割り当てられた点を通る直線を、対象直線と称する。また、以下、対象直線が過去フレームと交差する点の周りのブロックを始点と称し、対象直線が未来フレームと交差する点の周りのブロックを終点と称する。
【００４４】
このような前提の下、状態設定対象推定ベクトルの状態の種類は、始点または終点における他の推定ベクトルとの重なりの有無を用いて分類される。また、状態設定対象推定ベクトルの状態の種類は、始点または終点で重なる他の推定ベクトルの相似評価値に対する、状態設定対象推定ベクトルの相似評価値の大小を用いて分類される。
【００４５】
相似評価値を求める手法としては、特に限定されないが、例えば本実施の形態では、ＭＣ（Motion Compensation）差分を用いる手法が採用されている。ＭＣ差分を用いる手法とは、推定ベクトルと実際のフレームとの差分を抽出する手法である。ＭＣ差分を用いる手法では、相似評価値が高いほど、ＭＣ差分が小さくなるという関係が成立している。
【００４６】
具体的には例えば、状態ＮＯとは、始点と終点の両方において他の推定ベクトルと重なりがない状態をいう。よって、図１の例では、推定ベクトルＶ１、Ｖ６乃至Ｖ１２およびＶ１７が状態ＮＯに設定される。
【００４７】
状態Ｎ１とは、始点と終点の両方において、他の推定ベクトルとの重なりがない状態か、または、重なりがあっても、重なる他の推定ベクトルに対する状態設定対象推定ベクトルの相似評価値が「大」である状態をいう。
【００４８】
よって、図１の例では、推定ベクトルＶ２、Ｖ３、Ｖ１５およびＶ１６が状態Ｎ１に設定される。
【００４９】
即ち、推定ベクトルＶ２、Ｖ３は始点において他の推定ベクトルとの重なりがなく、終点においてそれぞれ推定ベクトルＶ４、Ｖ５と重なりがある。推定ベクトルＶ２とＶ４、Ｖ３とＶ５の相似評価値を比較すると、それぞれ推定ベクトルＶ２とＶ３のほうの相似評価値が「大」となる。なぜならば、推定ベクトルＶ４、Ｖ５の各始点、各終点は同一画素の点ではないため、推定ベクトルＶ２、Ｖ３のほうの相似評価値以下となるからである。よって、推定ベクトルＶ２とＶ３は状態Ｎ１に設定される。
【００５０】
また、推定ベクトルＶ１５、Ｖ１６は、始点においてそれぞれ推定ベクトルＶ１３、Ｖ１４と重なりがあり、終点において、他の推定ベクトルと重なりがない。推定ベクトルＶ１３とＶ１５、Ｖ１４とＶ１６の相似評価値を比較すると、それぞれ推定ベクトルＶ１５とＶ１６のほうの相似評価値が「大」となる。なぜならば、推定ベクトルＶ１３、Ｖ１４の各始点、各終点は同一画素の点ではないため、推定ベクトルＶ１５、Ｖ１６のほうの相似評価値以下となるからである。よって、推定ベクトルＶ１５とＶ１６は状態Ｎ１に設定される。
【００５１】
状態Ｃとは、始点において、他の推定ベクトルとの重なりがない状態か、または、重なりがあっても、重なる他の推定ベクトルに対する状態設定対象推定ベクトルの相似評価値が「大」である状態をいう。終点においては、他の推定ベクトルとの重なりがある状態で、状態設定対象推定ベクトルの相似評価値が重なる他の推定ベクトルの相似評価値以下である状態をいう。
【００５２】
よって、図１の例では、推定ベクトルＶ４、Ｖ５が状態Ｃに設定される。
【００５３】
即ち、推定ベクトルＶ４、Ｖ５は、始点において他の推定ベクトルとの重なりがなく、終点においてはそれぞれ推定ベクトルＶ２、Ｖ３と重なりがある。ここで、図中実線で示される移動量０の推定ベクトルＶ２、Ｖ３の各始点と各終点は、同一画像の点であるが、推定ベクトルＶ４、Ｖ５の各始点と各終点は同一の点ではない。従って、推定ベクトルＶ２とＶ４、Ｖ３とＶ５の相似評価値を比較すると、それぞれ推定ベクトルＶ４とＶ５のほうの相似評価値が推定ベクトルＶ２とＶ３の相似評価値以下となる。以上のことから、推定ベクトルＶ４とＶ５は状態Ｃに設定される。
【００５４】
状態ＵＣとは、始点において、他の推定ベクトルとの重なりがある状態で、状態設定対象推定ベクトルの相似評価値が重なる他の推定ベクトルの相似評価値以下である状態をいう。終点においては、他の推定ベクトルとの重なりがない状態か、または、重なりがあっても、重なる他の推定ベクトルに対する状態設定対象推定ベクトルの相似評価値が「大」である状態をいう。
【００５５】
よって、図１の例では、推定ベクトルＶ１３、Ｖ１４が状態ＵＣに設定される。
【００５６】
即ち、推定ベクトルＶ１３、Ｖ１４は、始点においてそれぞれ推定ベクトルＶ１５、Ｖ１６と重なりがある状態で、終点においては他の推定ベクトルとの重なりがない。ここで、図中実線で示される移動量０の推定ベクトルＶ１５、Ｖ１６の各始点と各終点は、同一画像の点であるが、推定ベクトルＶ１３、Ｖ１４の各始点と各終点は同一の点ではない。従って、推定ベクトルＶ１３とＶ１５、Ｖ１４とＶ１６の相似評価値を比較すると、それぞれ推定ベクトルＶ１３とＶ１４のほうの相似評価値が推定ベクトルＶ１５とＶ１５の相似評価値以下となる。以上のことから、推定ベクトルＶ１３、Ｖ１４は状態ＵＣに設定される。
【００５７】
状態ＮＧとは、始点と終点の両方において、他の推定ベクトルとの重なりがある状態で、状態設定対象推定ベクトルの相似評価値が重なる他の推定ベクトルの相似評価値以下である状態をいう。
【００５８】
図１において状態ＮＧに設定される推定ベクトルについては図示しない。
【００５９】
このように、他の推定ベクトルとの重なりの有無と、他の推定ベクトルと比較した相似評価値の大小との組み合わせによって、生成対象の内挿フレームの各点の推定ベクトルのそれぞれに対して、状態ＮＯ，Ｎ１，Ｃ，ＵＣ，ＮＧのうち１種類が設定される。
【００６０】
[推定ベクトル置換処理の説明]
【００６１】
次に、推定ベクトル置換処理について説明する。
【００６２】
生成対象の内挿フレームの各点のうち、状態Ｃに設定された推定ベクトルが割り当てられた点（図３の例ではＣの枠内の点）の対応点は、過去フレーム上にしか存在しないが、推定ベクトルは過去フレームと未来フレームの間に対応点があるものとして求めているため、図３の推定ベクトルＶ４のように背景同士が対応する推定ベクトルを求めてしまう場合が多い。よって、状態Ｃに設定された推定ベクトルは、内挿フレームを作成するときに用いるベクトルとしては不適な可能性がある。
【００６３】
同様に、生成対象の内挿フレームの各点のうち、状態ＵＣに設定された推定ベクトルが割り当てられた点（図１の例ではＵＣの枠内の点）の対応点は、未来フレーム上にしか存在しないが、推定ベクトルは過去フレームと未来フレームの間に対応点があるものとして求めているため、図１の推定ベクトルＶ１３、Ｖ１４のように背景同士が対応する推定ベクトルを求めてしまう場合が多い。よって、状態ＵＣに設定された推定ベクトルは、内挿フレームを作成するときに用いるベクトルとしては不適な可能性がある。
【００６４】
また、状態ＮＧに設定された推定ベクトルとは、ノイズ等の何らかの原因で、根本的に誤っている可能性がある。よって、状態ＮＧに設定された推定ベクトルは、内挿フレームを作成するときに用いるベクトルとしては不適な可能性がある。
【００６５】
このように、状態Ｃ，ＵＣ，ＮＧの推定ベクトルは不適な可能性があるので、候補ベクトルと置き換えるか否かについて決定する処理が必要になる。以下、この処理を中心に、推定ベクトル置換処理について、図３、４を参照して説明する。
【００６６】
図３は、推定ベクトル置換処理を説明するための図である。
【００６７】
図３には、図１に示される推定ベクトルのうち、推定ベクトルＶ２、Ｖ４およびＶ７が示されている。
【００６８】
生成対象の内挿フレーム上の点Pcの推定ベクトルＶ４は状態Ｃに設定されているので、画像処理装置は、点Pcの推定ベクトルを候補ベクトルへ置き換えるか否かを決定する必要がある。このためには、まず、画像処理装置は、点Pcにおける候補ベクトルを選択しないといけない。例えば本実施の形態では、推定ベクトルＶ４と終点で重なりを生じさせている状態Ｎ１の推定ベクトル、即ち、推定ベクトルＶ２が、点Pcにおける候補ベクトルとして選択される。
【００６９】
なお、図示はしないが、他の推定ベクトルについても、候補ベクトルは、点Pcと同様に選択される。即ち、状態Ｃ,ＵＣ，ＮＧに設定された推定ベクトルについては、その推定ベクトルと始点または終点で重なりを生じさせている状態ＮＯまたはＮ１の推定ベクトルが、候補ベクトルとして選択される。
【００７０】
次に、画像処理装置は、点Pcの推定ベクトルを候補ベクトルＶ２に置換したならば得られるベクトル（以下、仮置換ベクトルと称する）を設定する。例えば、図３の例では、ベクトルＶ２０が、点Pcの仮置換ベクトルとして設定される。
【００７１】
画像処理装置は、点Pcの仮置換ベクトルに対して、図４に示されるような状態Ｎ，Ｃ，ＵＣ，ＮＧのうち１つを設定する。
【００７２】
以下、図４を参照して、仮置換ベクトルの状態の種類について説明する。
【００７３】
図４は、本実施の形態で採用されている仮置換ベクトルの状態の種類を示す図である。
【００７４】
仮置換ベクトルの状態の種類は、次のように定められている。即ち、候補ベクトルに置き換えたとき（仮置換ベクトル）の、始点または終点における状態ＮＯまたはＮ１の推定ベクトルとの重なりの有無を用いて分類される。
【００７５】
具体的には例えば、状態Ｎとは、始点と終点の両方において、状態ＮＯと状態Ｎ１の推定ベクトルの何れとも重なりがない状態をいう。
【００７６】
状態Ｃとは、始点において状態ＮＯと状態Ｎ１の推定ベクトルの何れとも重なりがなく、終点においては状態ＮＯまたは状態Ｎ１の推定ベクトルと重なりがある状態をいう。
【００７７】
状態ＵＣとは、始点において状態ＮＯまたは状態Ｎ１の推定ベクトル重なりがあり、終点において状態ＮＯと状態Ｎ１の推定ベクトルの何れとも重なりがない状態をいう。
【００７８】
状態ＮＧとは、始点と終点の両方において状態ＮＯまたは状態Ｎ１の推定ベクトルと重なりがある状態をいう。
【００７９】
よって、図３の例では、点Pcの仮置換ベクトルであるベクトルＶ２０は、状態Ｃに設定される。即ち、ベクトルＶ２０は、始点において状態ＮＯと状態Ｎ１の推定ベクトルの何れとも重なりがなく、終点においては状態ＮＯの推定ベクトルＶ７と重なりがあることから、状態Ｃに設定される。
【００８０】
画像処理装置は、このようにして仮置換ベクトルの状態を設定すると、次の第１の要件と第２の要件を何れも満たす場合、点Pcの推定ベクトルを、候補ベクトルＶ２に置き換える。即ち、仮置換ベクトルＶ２０が、点Pcの推定ベクトルとして採用される。これに対して、次の第１の要件と第２の要件のうちの少なくとも一方を満たさない場合、画像処理装置は、点Pcの推定ベクトルの置き換えを行わない。即ち、点Pcの推定ベクトルとして、元の推定ベクトルがそのまま採用される。
【００８１】
第１の要件とは、「元の推定ベクトルに設定された状態と、仮置換ベクトルに設定された状態との関係が、次の（１）乃至（３）の関係のうちのいずれかになっていること」という要件である。
【００８２】
（１）（元の推定ベクトルに設定された状態，仮置換ベクトルに設定された状態）
＝（Ｃ，Ｃ）
（２）（元の推定ベクトルに設定された状態，仮置換ベクトルに設定された状態）
＝（ＵＣ，ＵＣ）
（３）（元の推定ベクトルに設定された状態，仮置換ベクトルに設定された状態）
＝（ＮＧ，Ｎ）、（ＮＧ，Ｃ）、または（ＮＧ，ＵＣ）
【００８３】
第２の要件とは、「仮置換ベクトルの相似評価値が、元の推定ベクトルの相似評価値と比較して、仮置換ベクトルの状態がＮの場合は高く、仮置換ベクトルの状態がそれ以外の場合は低いこと」という要件である。第２の要件は、Ｃ領域またはＵＣ領域においては、もともと過去フレームと未来フレームとの間で対応するブロックが存在しないので相似評価値が低く、それ以外の領域では相似評価値が高くなると考えられる、ということから導き出されている。
【００８４】
図３の例では、点Pcの元の推定ベクトルＶ４の状態はＣに設定されている。点Pcの仮置換ベクトルＶ２０の状態はＣに設定されている。従って、上述の（１）の関係が成立しているので、第１の要件は満たしている。
【００８５】
また、図３の例では、点Pcの仮置換ベクトルＶ２０の始点には、オブジェクトObが含まれていない（背景等である）のに対して、その終点には、オブジェクトObが含まれている。よって、点Pcの仮置換ベクトルＶ２０の相似評価値は、低いものとなる。これに対して、点Pcの元の推定ベクトルＶ４の始点，終点には何れも、オブジェクトObが含まれていない。即ち、同一の背景等でないにしろ、始点，終点は背景等同士なので、点Pcの元の推定ベクトルＶ４の相似評価値は、点Pcの仮置換ベクトルＶ２０の相似評価値と比べると、高いものとなる。従って、第２の要件は満たしている。
【００８６】
よって、図３の例では、第１の要件と第２の要件の何れも満たしているので、点Pcの推定ベクトルは、元の推定ベクトルＶ４から候補ベクトルＶ２に置き換えられる。即ち、仮置換ベクトルＶ２０が、点Pcの推定ベクトルとして採用される。
【００８７】
[内挿フレーム各点演算処理の説明]
【００８８】
画像処理装置は、推定ベクトル置換処理を実行すると、次のような内挿フレーム各点演算処理を実行する。
【００８９】
画像処理装置は、例えば、次の式（１）に従って、生成対象の内挿フレームの各点（各画素）の画素値を求める。
【００９０】
内挿フレームの画素値＝（１−内挿比）×点αの画素値＋内挿比×点βの画素値
・・・（１）
【００９１】
式（１）において、内挿比は設計者等が自在に設定変更可能なパラメータである。例えば本実施の形態では、内挿比=0.5とされている。点αと点βとは、例えば図５に示される点である。
【００９２】
図５は、式（１）に代入する画素値の点α、点βの種類を示す図である。
【００９３】
図５に示されるように、生成対象の内挿フレーム上の点の推定ベクトルの状態（ただし、推定ベクトル置換処理後の状態）に応じて、点α、点βとして採用される点が異なっている。
【００９４】
例えば、推定ベクトルの状態がＮまたはＮＧの場合、点αとしては、推定ベクトルの始点が採用され、点βとしては、推定ベクトルの終点が採用されている。即ち、この場合、式（１）に代入される「点αの画素値」とは、過去フレームにおける、推定ベクトルの始点の画素値が代入される。また、式（１）に代入される「点βの画素値」とは、未来フレームにおける、推定ベクトルの終点の画素値が代入される。
【００９５】
なお、始点または終点とは、上述したように、複数画素の集合体（小ブロック）であるため、始点または終点の画素値としては、例えば複数画素の平均値等が採用される。
【００９６】
例えば、推定ベクトルの状態がＣの場合、点αとしては、推定ベクトルの始点が採用され、点βとしては、推定ベクトルの始点が採用されている。即ち、この場合、式（１）に代入される「点αの画素値」とは、過去フレームにおける、推定ベクトルの始点の画素値が代入される。また、式（１）に代入される「点βの画素値」とは、過去フレームにおける、推定ベクトルの始点の画素値が代入される。要するに、「点αの画素値」＝「点βの画素値」＝「過去フレームにおける、推定ベクトルの始点の画素値」となるので、生成対象の内挿フレームの画素値としては、「過去フレームにおける、推定ベクトルの始点の画素値」が採用される。
【００９７】
例えば、推定ベクトルの状態がＵＣの場合、点αとしては、推定ベクトルの終点が採用され、点βとしては、推定ベクトルの終点が採用されている。即ち、この場合、式（１）に代入される「点αの画素値」とは、未来フレームにおける、推定ベクトルの終点の画素値が代入される。また、式（１）に代入される「点βの画素値」とは、未来フレームにおける、推定ベクトルの終点の画素値が代入される。要するに、「点αの画素値」＝「点βの画素値」＝「未来フレームにおける、推定ベクトルの終点の画素値」となるので、生成対象の内挿フレームの画素値としては、「未来フレームにおける、推定ベクトルの終点の画素値」が採用される。
【００９８】
なお、生成対象の内挿フレームの画素値の求め方は、上述した例に特に限定されない。例えば、特開２００８−２８３４８７号公報で用いられている手法（以下、特許文献２の手法と称する）を採用することもできる。この場合、画像処理装置は、生成対象の内挿フレームを構成する１つの画素に対して複数の画素値を設定し、その複数の画素値の平均値を求めることにより、最終的な画素値を算出する。その複数の画素値は、対象としている画素に近接する画素を通る推定ベクトルを用いて算出される。
【００９９】
このとき、画像処理装置は、平均値を求めて画素値を算出するのではなく、特定の画素に重み付けをして画素値を算出してもよい。例えば、画像処理装置は、生成対象の内挿フレームの各点の推定ベクトルのうち、状態Ｃ、ＵＣ，ＮＧに設定された推定ベクトルの状態に応じて重み付けをすることで、生成対象の内挿フレームの画素値を算出してもよい。推定ベクトルの状態に応じて重み付けをして画素値を算出することにより、状態を判定する場合の誤検出等を抑制することが可能となり、さらに画質劣化等の妨害を抑制できるようになる。
【０１００】
また例えば、画像処理装置は、状態ＮまたはＮＧ，状態Ｃ，状態ＵＣの３つの状態毎に、式（１）とは異なる式をそれぞれ用いて、生成対象の内挿フレームの画素値を算出するようにしてもよい。
【０１０１】
＜２．本発明の実施の形態＞
【０１０２】
次に、上述の本発明の手法が適用される画像処理装置の実施の形態について説明する。
【０１０３】
[本発明が適用される画像処理装置の構成]
【０１０４】
図６は、本発明が適用される画像処理装置の構成例を示すブロック図である。
【０１０５】
図６の例の画像処理装置は、画像記憶部１０、ベクトル推定部１１、ベクトル補正部１２、補間部１３、入力/補間切替部１４、およびベクトル記憶部１５から構成される。
【０１０６】
複数のフレームから構成される動画像の画像データは、画像記憶部１０に記憶される。なお、以下、入力される動画像を構成する各フレームを、入力フレームと称する。
【０１０７】
ベクトル推定部１１は、生成対象の内挿フレーム上の各点の推定ベクトルを求める。この場合、例えば、画像記憶部１０に記憶された画像データ、具体的には例えば過去フレームや未来フレームの画像データが使用される。また、必要に応じて、ベクトル記憶部１５に記憶された情報、即ち、過去の内挿フレーム上の各点の推定ベクトルが使用される。
【０１０８】
上述したように、本発明が適用される内挿フレーム生成処理においては、推定ベクトルは予め割り当てられていることを前提とする。よって、推定ベクトルの求め方自体は特に限定されない。例えば、ベクトル推定部１１は、入力フレーム上の移動ベクトル（例えば未来フレーム上の移動ベクトル）を検出して、その移動ベクトルを、生成対象の内挿フレーム上に割り当てるように、間接的に推定ベクトルを求めることができる。また例えば、ベクトル推定部１１は、直接的に推定ベクトルを求めることもできる。
【０１０９】
ベクトル記憶部１５は、ベクトル推定部１１により求められた推定ベクトルを記憶する。
【０１１０】
ベクトル補正部１２と補間部１３は、本発明の手法が適用される構成部分である。即ち、ベクトル補正部１２は、上述した内挿フレーム生成処理のうちの、推定ベクトル状態設定処理、推定ベクトル置換処理を実行する。補間部１３は、上述した内挿フレーム生成処理のうちの、内挿フレーム各点演算処理を実行する。なお、ベクトル補正部１２の構成の詳細については図７を、補間部１３の構成の詳細については図８を、それぞれ参照して後述する。
【０１１１】
入力/補間切替部１４は、画像記憶部１０から提供される入力フレームの画像データと、補間部１３から提供される内挿フレームの画像データとを適宜切り替えて、図示しない表示装置などに出力する。即ち、入力/補間切替部１４は、入力画像をそのまま出力する場合には、画像記憶部１０から提供される入力フレームの画像データのみを表示装置などに出力する。これに対して、高フレームレートに変換された場合等には、入力/補間切替部１４は、画像記憶部１０から提供される入力フレームの画像データと、補間部１３から提供される内挿フレームの画像データとを交互に切り替えて、表示装置などに出力する。
【０１１２】
次に、図７を参照してベクトル補正部１２の構成例について説明する。
【０１１３】
図７は、ベクトル補正部１２の詳細な構成例を示すブロック図である。
【０１１４】
図７の例では、ベクトル補正部１２は、状態設定部２１、候補ベクトル選択部２２およびベクトル置き換え部２３から構成されている。
【０１１５】
状態設定部２１は、推定ベクトル状態設定処理を実行する。即ち、状態設定部２１は、ベクトル記憶部１５に記憶されている推定ベクトル、即ち、生成対象の内挿フレームの各点の推定ベクトルのそれぞれについて、その始点と終点における他の推定ベクトルとの重なりを調べる。重なりがある場合さらに、状態設定部２１は、推定ベクトルと、重なりのある他の推定ベクトルのそれぞれについて、相似評価値を求める。状態設定部２１は、重なりの有無や相似評価値から、生成対象の内挿フレームの各点の推定ベクトルに対して状態をそれぞれ設定する。そして、状態設定部２１は、状態ＮＯ，Ｎ１，Ｃ，ＵＣ，ＮＧのフラグのうち、設定したフラグを各推定ベクトルに付加する。なお、以下、状態のフラグが付加された推定ベクトルを、状態付きベクトルと称する。状態設定部２１は、生成対象の内挿フレーム上の各点の状態付きベクトルのデータを、ベクトル記憶部１５に記憶させる。
【０１１６】
候補ベクトル選択部２２は、ベクトル記憶部１５に記憶された状態付きベクトルのうち、状態Ｃ，ＵＣ，ＮＧの状態付きベクトルについて、候補ベクトルを選択し、その選択結果をベクトル置き換え部２３に通知する。
【０１１７】
ベクトル置き換え部２３は、ベクトル記憶部１５に記憶された状態付きベクトルのうち、状態Ｃ，ＵＣ，ＮＧの状態付きベクトルを、上述した「元の推定ベクトル」とする。また、ベクトル置き換え部２３は、候補ベクトル選択部２２により選択された候補ベクトルから、上述した「仮置換ベクトル」を設定する。
【０１１８】
ベクトル置き換え部２３は、仮置換ベクトルの状態を設定する（以下、仮置換ベクトル状態設定処理と称する）。なお、ベクトル置き換え部２３は、仮置換ベクトルの終点が画端から出てしまうような場合には、仮置換ベクトルの状態をＣとする。また、ベクトル置き換え部２３は、仮置換ベクトルの始点が画端から出てしまうような場合には、仮置換ベクトルの状態をＵＣとする。このようにすることにより、画端の処理にも対応できるようになる。
【０１１９】
そして、ベクトル置き換え部２３は、仮置換ベクトルの状態と、元の推定ベクトルの状態とから、上述の第１の要件を満たすか否かを判断する。
【０１２０】
また、ベクトル置き換え部２３は、元の推定ベクトルと仮置換ベクトルの相似評価値をそれぞれ演算する。そして、ベクトル置き換え部２４は、その演算結果から、上述の第２の要件を満たすか否かを判断する。
【０１２１】
ベクトル置き換え部２３は、生成対象の内挿ベクトルの各点のうち、第１の要件と第２の要件を満たす点の推定ベクトルを、候補ベクトル選択部２２により選択された候補ベクトル（仮置換ベクトルとされた推定ベクトル）に置き換える。即ち、ベクトル記憶部１５に記憶されている状態付きベクトルのうち、第１の要件と第２の要件を満たす点の状態付きベクトルが、候補ベクトル（仮置換ベクトルとされた状態付きベクトル）に書き換えられる（更新される）。
【０１２２】
次に、図８を参照して補間部１３の構成例について説明する。
【０１２３】
図８は、補間部１３の詳細な構成例を示すブロック図である。
【０１２４】
図８の例では、補間部１３は、画像読出しアドレス計算部２５、および補間画素演算部２６から構成されている。
【０１２５】
画像読出しアドレス計算部２５は、ベクトル記憶部１５に記憶された状態付きベクトルに基づいて、画像記憶部１０から読み出す画素値のアドレスを計算する。画像記憶部１０から読み出す画素値とは、上述した式（１）に代入される点αの画素値と点βの画素値をいう。
【０１２６】
画像読出しアドレス計算部２５は、画像記憶部１０のアドレスのうち、計算したアドレスを、補間画素演算部２６に提供する。
【０１２７】
補間画素演算部２６は、画像読出しアドレス計算部２５から提供されたアドレスを基に、画像記憶部１０から読み出した画素値、即ち、点αの画素値と点βの画素値を、上述した式（１）に代入して演算することで、生成対象の内挿フレームの画素値を求める。
【０１２８】
このようにして、補間画素演算部２６により演算された各点（各画素）の画素値の集合体が、内挿フレームの画像データとして、補間部１３から出力されて入力/補間切替部１４に提供される。
【０１２９】
[本発明が適用される画像処理装置が実行する内挿フレーム生成処理]
【０１３０】
次に、図６の構成の画像処理装置が実行する処理のうち、ベクトル補正部１２と補間部１３の処理、即ち、内挿フレーム生成処理について説明する。
【０１３１】
図９は、内挿フレーム生成処理の一例を説明するフローチャートである。
【０１３２】
ステップＳ１において、ベクトル補正部１２は、上述した推定ベクトル状態設定処理を実行する。
【０１３３】
具体的には、生成対象の内挿フレームの各点（各画素）のうちの、処理の対象として注目すべき点（以下、注目点と称する。点を画素と捉えた場合には注目画素と称する）について、後述する図１０のフローチャートの処理が実行される。これにより、注目点の推定ベクトルの状態が設定される。即ち、生成対象の内挿フレームの各点毎に、後述する図１０のフローチャートの処理が繰り返し実行されることで、生成対象の内挿フレームの各点の推定ベクトルの状態がそれぞれ設定される。
【０１３４】
ステップＳ２において、ベクトル補正部１２または補間部１３は、生成対象の内挿フレームの各点（各画素）のうち所定の１点を、注目点（注目画素）として設定する。
【０１３５】
ステップＳ３において、ベクトル補正部１２は、注目点について、上述した推定ベクトル置換処理を実行する。これにより、注目点の推定ベクトルが、必要に応じて、候補ベクトルに置き換えられることになる。なお、推定ベクトル置換処理については、図１１を参照して後述する。
【０１３６】
ステップＳ４において、補間部１３は、注目点について、上述した内挿フレーム各点演算処理を実行する。これにより、生成対象の内挿フレームの各点のうち、注目点の画素値が演算されることになる。
【０１３７】
ステップＳ５において、ベクトル補正部１２または補間部１３は、生成対象の内挿フレーム内の全点（全画素）が、注目点（注目画素）に設定されたか否かを判定する。
【０１３８】
生成対象の内挿フレーム内の全点（全画素）が、注目点（注目画素）に設定されていない場合、ステップＳ５においてＮＯであると判定されて、処理はステップＳ２に再び戻される。即ち、生成対象の内挿フレーム内の各点（各画素）が順次注目点（注目画素）に設定され、ステップＳ２乃至Ｓ５のループ処理が繰り返される。これにより、生成対象の内挿フレーム内の各点（各画素）毎に、推定ベクトルの置き換えが適宜行われ、置き換え後の推定ベクトルを用いて画素値が演算される。
【０１３９】
このようにして、生成対象の内挿フレーム内の全点（前画素）の画素値が演算されると、次のステップＳ５においてＹＥＳであると判定されて、処理はステップＳ６に進む。
【０１４０】
ステップＳ６において、補間部１３は、内挿フレームの画像データ（画像値群）を出力する。即ち、図８の補間部１３の補間画素演算部２６により演算された各点（各画素）の画素値の集合体が、内挿フレームの画像データとして、補間部１３から出力されて入力/補間切替部１４に提供される。
【０１４１】
これにより、内挿フレーム生成処理は終了する。
【０１４２】
次に、内挿フレーム生成処理のうちステップＳ１の推定ベクトル状態設定処理の詳細について説明する。
【０１４３】
上述したように、推定ベクトル状態設定処理では、生成対象の内挿フレームの全点の推定ベクトルの状態がそれぞれ設定される。このため、生成対象の内挿フレームの各点（各画素）のそれぞれが注目点（注目画素）に順次設定され、注目画素について、図１０のフローチャートの処理が実行される。
【０１４４】
図１０は、生成対象の内挿フレーム上の注目点における推定ベクトル状態設定処理の一例を説明するフローチャートである。
【０１４５】
ステップＳ２１において、状態設定部２１は、注目点の推定ベクトルの相似評価値を演算する。なお、図１０の説明でいう「注目点の推定ベクトル」とは、上述した図２の説明でいう「状態設定対象ベクトル」のことを意味している。
【０１４６】
ステップＳ２２において、状態設定部２１は、注目点の推定ベクトルの始点、終点ともに他の推定ベクトルと重なりなしか否かを判定する。
【０１４７】
なお、以下、「状態設定対象推定ベクトルの始点、終点ともに他の推定ベクトルと重なりなし」という要件を、ステップＳ２２の要件と称する。ステップＳ２２の要件とは、要するに、図２の１行目に記載されている要件である。
【０１４８】
ステップＳ２２の要件が満たされる場合、ステップＳ２２においてＹＥＳであると判定されて、処理はステップＳ２３に進む。
【０１４９】
ステップＳ２３において、状態設定部２１は、注目点の推定ベクトルの状態をＮＯに設定する。これにより、図１０の処理は終了となる。即ち、生成対象の内挿フレームの別の点が注目点に設定されて、図１０の処理が再度実行されることになる。
【０１５０】
これに対して、ステップＳ２２の要件が満たされない場合、ステップＳ２２においてＮＯであると判定されて、処理はステップＳ２４に進む。
【０１５１】
ステップＳ２４において、状態設定部２１は、注目点の推定ベクトルの始点、終点ともに他の推定ベクトルと重なりなし、または、重なる推定ベクトルよりも相似評価値が大きいか否かを判定する。
【０１５２】
なお、以下、「注目点の推定ベクトルの始点、終点ともに他の推定ベクトルと重なりなし、または、重なる推定ベクトルよりも相似評価値が大きい」という要件を、ステップＳ２４の要件と称する。ステップＳ２４の要件とは、要するに、図２の２行目に記載されている要件である。
【０１５３】
ステップＳ２４の要件が満たされる場合、ステップＳ２４においてＹＥＳであると判定されて、処理はステップＳ２５に進む。
【０１５４】
ステップＳ２５において、状態設定部２１は、注目点の推定ベクトルの状態をＮ１に設定する。これにより、図１０の処理は終了となる。即ち、生成対象の内挿フレームの別の点が注目点に設定されて、図１０の処理が再度実行されることになる。
【０１５５】
これに対して、ステップＳ２４の要件が満たされない場合、ステップＳ２４においてＮＯであると判定されて、処理はステップＳ２６に進む。
【０１５６】
ステップＳ２６において、状態設定部２１は、注目点の推定ベクトルの始点は、他の推定ベクトルと重なりなし、または、重なる推定ベクトルよりも相似評価値が大きく、終点は、相似評価値が、重なる推定ベクトルのもの以下であるか否かを判定する。
【０１５７】
なお、以下、「注目点の推定ベクトルの始点は、他の推定ベクトルと重なりなし、または、重なる推定ベクトルよりも相似評価値が大きく、終点は、相似評価値が、重なる推定ベクトルのもの以下である」という要件を、ステップＳ２６の要件と称する。ステップＳ２６の要件とは、要するに、図２の３行目に記載されている要件である。
【０１５８】
ステップＳ２６の要件が満たされる場合、ステップＳ２６においてＹＥＳであると判定されて、処理はステップＳ２７に進む。
【０１５９】
ステップＳ２７において、状態設定部２１は、注目点の推定ベクトルの状態をＣに設定する。これにより、図１０の処理は終了となる。即ち、生成対象の内挿フレームの別の点が注目点に設定されて、図１０の処理が再度実行されることになる。
【０１６０】
これに対して、ステップＳ２６の要件が満たされない場合、ステップＳ２６においてＮＯであると判定されて、処理はステップＳ２８に進む。
【０１６１】
ステップＳ２８において、状態設定部２１は、注目点の推定ベクトルの始点は、相似評価値が、重なる推定ベクトルのもの以下であり、終点は、他の推定ベクトルと重なりなし、または、重なる推定ベクトルよりも相似評価値が大きいか否かを判定する。
【０１６２】
なお、以下、「注目点の推定ベクトルの始点は、相似評価値が、重なる推定ベクトルのもの以下であり、終点は、他の推定ベクトルと重なりなし、または、重なる推定ベクトルよりも相似評価値が大きい」という要件を、ステップＳ２８の要件と称する。テップＳ２８の要件とは、要するに、図２の４行目に記載されている要件である。
【０１６３】
ステップＳ２８の要件が満たされる場合、ステップＳ２８においてＹＥＳであると判定されて、処理はステップＳ２９に進む。
【０１６４】
ステップＳ２９において、状態設定部２１は、注目点の推定ベクトルの状態をＵＣに設定する。これにより、図１０の処理は終了となる。即ち、生成対象の内挿フレームの別の点が注目点に設定されて、図１０の処理が再度実行されることになる。
【０１６５】
これに対して、ステップＳ２８の要件が満たされない場合、ステップＳ２８においてＮＯであると判定されて、処理はステップＳ３０に進む。
【０１６６】
ステップＳ３０において、状態設定部２１は、注目点の推定ベクトルの始点、終点ともに相似評価値が、重なる推定ベクトルのもの以下であるか否かを判定する。
【０１６７】
なお、以下、「注目点の推定ベクトルの始点、終点ともに相似評価値が、重なる推定ベクトルのもの以下である」という要件を、ステップＳ３０の要件と称する。テップＳ３０の要件とは、要するに、図２の５行目に記載されている要件である。
【０１６８】
ステップＳ３０の要件が満たされる場合、ステップＳ３０においてＹＥＳであると判定されて、処理はステップＳ３１に進む。
【０１６９】
ステップＳ３１において、状態設定部２１は、注目点の推定ベクトルの状態をＮＧに設定する。これにより、図１０の処理は終了となる。即ち、生成対象の内挿フレームの別の点が注目点に設定されて、図１０の処理が再度実行されることになる。
【０１７０】
これに対して、ステップＳ３０の要件が満たされない場合、これにより、図１０の処理は終了となる。即ち、生成対象の内挿フレームの別の点が注目点に設定されて、図１０の処理が再度実行されることになる。
【０１７１】
このようにして、生成対象の内挿フレームの各点（各画素）のそれぞれについて、図１０のフローチャートの処理が実行され、各点の推定ベクトルの状態がそれぞれ設定される。その結果、生成対象の内挿フレームの各点（各画素）の状態付きベクトルがベクトル記憶部１５に記憶される。これにより、図９のステップＳ１の推定ベクトル状態設定処理は終了して、処理はステップＳ２に進む。
【０１７２】
ステップＳ２において、生成対象の内挿フレームの所定点が注目点（注目画素）に設定されると、ステップＳ３において、注目点について、推定ベクトル置換処理が実行される。推定ベクトル置換処理の例が、図１１に示されている。
【０１７３】
図１１は、推定ベクトル置換処理の一例を説明するフローチャートである。
【０１７４】
ステップＳ４１において、図７のベクトル補正部１２の候補ベクトル選択部２２は、ベクトル記憶部１５に記憶された状態付きベクトルのうち、注目点の状態付きベクトルの状態がＣまたはＵＣまたはＮＧであるか否かを判定する。なお、以下、注目点の状態付きベクトルを、注目点の推定ベクトルと称する。
【０１７５】
注目点の推定ベクトルの状態がＣまたはＵＣまたはＮＧでない場合、即ち、注目点の推定ベクトルの状態がＮＯまたはＮ１の場合、注目点の推定ベクトルは好適であると判断できる。即ち、注目点の推定ベクトルの置き換えは不要であるので、ステップＳ４１においてＮＯであると判定されて、推定ベクトル置換処理は終了する。即ち、図９のステップＳ３の処理は終了し、処理はステップＳ４に進む。
【０１７６】
これに対して、注目点の推定ベクトルの状態がＣまたはＵＣまたはＮＧである場合、注目点の推定ベクトルは不適である可能性がある。即ち、注目点の推定ベクトルの置き換えが必要な場合がある。従って、候補ベクトル選択部２２は、置き換えの有無を判断し、置き換えが必要な場合には候補ベクトルに置き換える処理を実行する必要がある。かかる処理として、ステップＳ４２乃至Ｓ４７の処理が実行されるのである。
【０１７７】
即ち、注目点の推定ベクトルの状態がＣまたはＵＣまたはＮＧである場合、ステップＳ４１においてＹＥＳであると判定されて、処理はステップＳ４２に進む。
【０１７８】
ステップＳ４２において、候補ベクトル選択部２２は、注目点の推定ベクトルと重なるベクトルを候補ベクトルとして選択する。即ち、候補ベクトル選択部２２は、注目点の推定ベクトルと始点または終点で重なりを生じさせている状態ＮＯまたはＮ１の推定ベクトルを、候補ベクトルとして選択する。例えば、上述した図３の例では、注目点の推定ベクトルはベクトルＶ４であるので、推定ベクトルＶ２が候補ベクトルになる。
【０１７９】
ステップＳ４３において、図７のベクトル補正部１２のベクトル置き換え部２３は、上述したように、候補ベクトルを仮置換ベクトルに設定し、仮置換ベクトルの状態を設定する。このようなステップＳ４３の処理を、以下、仮置換ベクトル状態設定処理と称する。仮置換ベクトル状態設定処理の詳細例については、図１２を参照して後述する。
【０１８０】
仮置換ベクトルの状態が設定されると、ステップＳ４３の仮置換ベクトル状態設定処理が終了し、処理はステップＳ４４に進む。
【０１８１】
ステップＳ４４において、ベクトル置き換え部２３は、第1の要件を満たすか否かを判定する。
【０１８２】
第１の要件とは、上述した図４を用いて説明したように、元の推定ベクトルに設定された状態と仮置換ベクトルに設定された状態との関係が、「次の（１）乃至（３）の関係のうちいずれかになっていること」という要件である。
【０１８３】
（１）（元の推定ベクトルに設定された状態，仮置換ベクトルに設定された状態）
＝（Ｃ，Ｃ）
（２）（元の推定ベクトルに設定された状態，仮置換ベクトルに設定された状態）
＝（ＵＣ，ＵＣ）
（３）（元の推定ベクトルに設定された状態，仮置換ベクトルに設定された状態）
＝（ＮＧ，Ｎ）、（ＮＧ，Ｃ）、または（ＮＧ，ＵＣ）
【０１８４】
第1の要件を満たさない場合、上述したように、注目点の推定ベクトルの置き換えは行われない。よって、このような場合、ステップＳ４４においてＮＯであると判定されて、推定ベクトル置換処理は終了する。即ち、図９のステップＳ３の処理は終了し、処理はステップＳ４に進む。
【０１８５】
これに対して、第1の要件を満たす場合、ステップＳ４４においてＹＥＳであると判定されて、処理はステップＳ４５に進む。
【０１８６】
ステップＳ４５において、ベクトル置き換え部２３は、元の推定ベクトルと仮置換ベクトルのそれぞれの相似評価値を演算する。
【０１８７】
ステップＳ４６において、ベクトル置き換え部２３は、ステップＳ４５の演算結果から、第２の要件を満たすか否かを判定する。
【０１８８】
第２の要件とは、上述した図４を用いて説明したように、「仮置換ベクトルの相似評価値が、元の推定ベクトルの相似評価値と比較して、仮置換ベクトルの状態がＮの場合は高く、仮置換ベクトルの状態がそれ以外の場合は低いこと」という要件である。
【０１８９】
第２の要件を満たさない場合、上述したように、注目点の推定ベクトルの置き換えは行われない。よって、このような場合、ステップＳ４６においてＮＯであると判定されて、推定ベクトル置換処理は終了する。即ち、図９のステップＳ３の処理は終了し、処理はステップＳ４に進む。
【０１９０】
これに対して、第１の要件を満たし（ステップＳ４４の処理でＹＥＳであると判定されて）、第２の要件を満たす場合、ステップＳ４６においてＹＥＳであると判定されて、処理はステップＳ４７に進む。
【０１９１】
ステップＳ４７において、ベクトル置き換え部２３は、注目点の推定ベクトルとして、元の推定ベクトルを候補ベクトルに置き換える。例えば、上述した図３の例では、注目点の推定ベクトルは、ベクトルＶ４からベクトルＶ２０に置き換えられる。
【０１９２】
より具体的には、ベクトル記憶部１５に記憶されている状態付きベクトルのうち、注目点の状態付きベクトルが、候補ベクトル（仮置換ベクトルとされた状態付きベクトル）に書き換えられる（更新される）。
【０１９３】
次に、図１２に示されるフローチャートを参照して、ステップＳ４３の仮置換ベクトル状態設定処理について説明する。
【０１９４】
図１２は、仮置換ベクトル状態設定処理の一例を説明するフローチャートである。
【０１９５】
ステップＳ６１において、ベクトル置き換え部２３は、注目点の推定ベクトルを候補ベクトルに仮に置き換えた場合に得られるベクトルを、仮置換ベクトルとして設定する。
【０１９６】
ステップＳ６２において、ベクトル置き換え部２３は、仮置換ベクトルの、状態ＮＯまたはＮ１の推定ベクトルとの重なりが、始点、終点ともにないか否かを判定する。
【０１９７】
なお、以下、「仮置換ベクトルの、状態ＮＯまたはＮ１の推定ベクトルとの重なりが、始点、終点ともにない」という要件を、ステップＳ６２の要件と称する。ステップＳ６２の要件とは、要するに、図４の１行目に記載されている要件である。
【０１９８】
ステップＳ６２の要件が満たされる場合、ステップＳ６２においてＹＥＳと判定されて、処理はステップＳ６３に進む。
【０１９９】
ステップＳ６３において、ベクトル置き換え部２３は、仮置換ベクトルの状態をＮに設定する。これにより、仮置換ベクトル状態設定処理は終了する。即ち、図１１のステップＳ４３の処理は終了し、処理はステップＳ４４に進む。
【０２００】
これに対して、ステップＳ６２の要件が満たされない場合、ステップＳ６２においてＮＯであると判定されて、処理はステップＳ６４に進む。
【０２０１】
ステップＳ６４において、仮置換ベクトルの、状態ＮＯまたはＮ１の推定ベクトルとの重なりが、始点にはなく、終点にあるか否かを判定する。
【０２０２】
なお、以下、「仮置換ベクトルの、状態ＮＯまたはＮ１の推定ベクトルとの重なりが、始点にはなく、終点にある」という要件を、ステップＳ６４の要件と称する。ステップＳ６４の要件とは、要するに、図４の２行目に記載されている要件である。
【０２０３】
ステップＳ６４の要件が満たされる場合、ステップＳ６４においてＹＥＳであると判定されて、処理はステップＳ６５に進む。
【０２０４】
ステップＳ６５において、ベクトル置き換え部２３は、仮置換ベクトルの状態をＣに設定する。これにより、仮置換ベクトル状態設定処理は終了する。即ち、図１１のステップＳ４３の処理は終了し、処理はステップＳ４４に進む。
【０２０５】
これに対して、ステップＳ６４の要件が満たされない場合、ステップＳ６４においてＮＯであると判定されて、処理はステップＳ６６に進む。
【０２０６】
ステップＳ６６において、ベクトル置き換え部２３は、仮置換ベクトルの、状態ＮＯまたはＮ１の推定ベクトルとの重なりが、始点にはあり、終点にはないか否かを判定する。
【０２０７】
なお、以下、「仮置換ベクトルの、状態ＮＯまたはＮ１の推定ベクトルとの重なりが、始点にはあり、終点にはない」という要件を、ステップＳ６６の要件と称する。ステップＳ６６の要件とは、要するに、図４の３行目に記載されている要件である。
【０２０８】
ステップＳ６６の要件が満たされる場合、ステップＳ６６においてＹＥＳであると判定されて、処理はステップＳ６７に進む。
【０２０９】
ステップＳ６７において、ベクトル置き換え部２３は、仮置換ベクトルの状態をＵＣに設定する。これにより、仮置換ベクトル状態設定処理は終了する。即ち、図１１のステップＳ４３の処理は終了し、処理はステップＳ４４に進む。
【０２１０】
これに対して、ステップＳ６６の要件が満たされない場合、ステップＳ６６においてＮＯであると判定されて、処理はステップＳ６８に進む。
【０２１１】
ステップＳ６８において、ベクトル置き換え部２３は、仮置換ベクトルの、状態ＮＯまたはＮ１の推定ベクトルとの重なりが、始点、終点ともにあるか否かを判定する。
【０２１２】
なお、以下、「仮置換ベクトルの、状態ＮＯまたはＮ１の推定ベクトルとの重なりが、始点、終点ともにある」という要件を、ステップＳ６８の要件と称する。ステップＳ６８の要件とは、要するに、図４の４行目に記載されている要件である。
【０２１３】
ステップＳ６８の要件が満たされる場合、ステップＳ６８においてＹＥＳであると判定されて、処理はステップＳ６９に進む。
【０２１４】
ステップＳ６９において、ベクトル置き換え部２３は、仮置換ベクトルの状態をＮＧに設定する。これにより、仮置換ベクトル状態設定処理は終了する。即ち、図１１のステップＳ４３の処理は終了し、処理はステップＳ４４に進む。
【０２１５】
これに対して、ステップＳ６８の要件が満たされない場合、ステップＳ６８においてＮＯであると判定されて、仮置換ベクトル状態設定処理は終了する。即ち、図１１のステップＳ４３の処理は終了し、処理はステップＳ４４に進む。
【０２１６】
以上、図９乃至図１２を参照して、本発明が適用される内挿フレーム生成処理の一例について説明した。
【０２１７】
このような内挿フレーム生成処理を実行することにより、不適な可能性が高い推定ベクトルが好適な推定ベクトルに置き換えられた後に、内挿フレームが生成される。内挿フレーム生成処理により生成された内挿フレームを用いてフレームレート変換処理を実行することで、従来発生したフレーム内挿に起因する画質劣化等の妨害を、抑制できるようになる。
【０２１８】
また、画端においても同様の処理で対応できることから、画端近傍で発生する画質劣化等の妨害を抑制することができる。
【０２１９】
さらに、２つのフレームを用いる処理であることから、その処理の規模が４フレーム処理手法と比較して大きくならない。
【０２２０】
実際に、本発明の手法である内挿フレーム生成処理を用いてフレームレート変換処理を実行した画像について、図１３、１４を参照して説明する。
【０２２１】
図１３は、通常のフレームレート変換処理、および特許文献１の手法を適用してフレームレート変換処理が実行された場合に表示される画像の一例を説明する図である。
【０２２２】
図１３のＡは、通常のフレームレート変換処理が実行された場合に表示される画像の一例を示している。
【０２２３】
図１３のＢは、特許文献１の手法を適用してフレームレート変換処理が実行された場合に表示される画像の一例を示している。
【０２２４】
図１３のＡとＢに示される各画像は、オブジェクトとしての飛行機が図中右方向に動いている動画像のうち、所定の１枚のフレーム画像を示している。よって、例えば、図１３のＡとＢの各画像内のうち、飛行機のコックピットの前方のエッジ部分周辺の領域ａＡ１，ａＢ１のそれぞれがＣ領域になる。
【０２２５】
図１４は、本発明の内挿フレーム生成処理により生成された内挿フレームを用いてフレームレート変換処理が実行された場合と、本発明の内挿フレーム生成処理に対してさらに特許文献２の手法を適用した場合の効果を説明する図である。
【０２２６】
図１４のＡは、本発明の内挿フレーム生成処理により内挿フレームが生成され、その内挿フレームを用いてフレームレート変換処理が実行された場合に表示される画像の一例を示している。
【０２２７】
図１４のＢは、本発明の内挿フレーム生成処理のうち内挿フレーム各点演算処理に対して特許文献２の手法が適用され、その結果得られる内挿フレームを用いてフレームレート変換処理が実行された場合に表示される画像の一例を示している。
【０２２８】
図１４のＡとＢに示される画像もまた、図１３のＡとＢに示される画像と同様に、オブジェクトとしての飛行機が図中右方向に動いている動画像のうち、所定の１枚のフレーム画像を示している。よって、例えば、図１４のＡとＢに示される各画像のうち、飛行機のコックピットの前方のエッジ部分周辺の領域ａＡ２，ａＢ２のそれぞれがＣ領域になる。
【０２２９】
図１４のＡの画像の領域ａＡ２は、図１３のＡ，Ｂの画像の領域ａＡ１、ａＢ１と比較して、背景部分の不連続的な部分（飛行機の前輪周辺部分のような部分）が軽減しているように見える。これは、本発明の内挿フレーム生成処理が実行されたことにより、好適な内挿画素が増えたためである。ただし本発明により推定ベクトルの置き換えができず、不適当な画素（図１３のＡの画像の領域ａＡ１と同じ画素）が残ってしまうため、領域ａＡ２は粉状の画像となってしまう。静止画像として提示した場合には分かり難いが、動画像として表示された場合にはそれほど目立つものではない。このように、本発明の内挿フレーム生成処理を実行することにより、画質劣化等の妨害を抑制することができる。
【０２３０】
図１４のＢの画像の領域ａＢ２は、図１４のＡの画像の領域ａＡ２と比較して、静止画像で提示した場合であっても、飛行機の周辺の粉状の部分が減っている。このことから、本発明の内挿フレーム生成処理に対してさらに特許文献２の手法を適用した場合、さらに画質劣化等の妨害を抑制することができる。
【０２３１】
［本発明のプログラムへの適用］
【０２３２】
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
【０２３３】
この場合、上述した画像処理装置の少なくとも一部として、例えば、図１５に示されるパーソナルコンピュータを採用してもよい。
【０２３４】
図１５は、本発明が適用される画像処理装置のハードウエア構成例を示すブロック図である。
【０２３５】
図１５において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記録されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２３６】
CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。
【０２３７】
入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８が接続されている。また、入出力インタフェース１０５には、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０２３８】
入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着される。そして、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。
【０２３９】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２４０】
このようなプログラムを含む記録媒体は、図１５に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０２４１】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【符号の説明】
【０２４２】
１０  画像記憶部,  １１  ベクトル推定部，  １２  ベクトル補正部，  １３  補間部，  １４  入力/補間切替部，  １５  ベクトル記憶部，  ２１  状態設定部，  ２２  候補ベクトル選択部，  ２３  ベクトル置き換え部，  ２５  画像読出しアドレス計算部，  ２６  補間画素演算部，  １０１  CPU，  １０２  ROM，  １０３  RAM，  １０８  記憶部，  １１１  リムーバブルメディア
【図１】
2010206602.tif 000003
【図２】
2010206602.tif 000004
【図３】
2010206602.tif 000005
【図４】
2010206602.tif 000006
【図５】
2010206602.tif 000007
【図６】
2010206602.tif 000008
【図７】
2010206602.tif 000009
【図８】
2010206602.tif 000010
【図９】
2010206602.tif 000011
【図１０】
2010206602.tif 000012
【図１１】
2010206602.tif 000013
【図１２】
2010206602.tif 000014
【図１３】
2010206602.tif 000015
【図１４】
2010206602.tif 000016
【図１５】
2010206602.tif 000017