(57)【特許請求の範囲】
【請求項１】
入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素を生成する画像処理装置において、
前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値を生成する第１の生成手段と、
予め定めた比率に従って、前記注目画素の画素値に、生成した画素値を混合する混合手段と
を備える画像処理装置。
【請求項２】
前記第１の生成手段は、前記第２のフレーム上の画素に割り当てた０ベクトルで示される、前記第３のフレーム上の画素の画素値と、前記第１のフレーム上の画素の画素値とから、画素値を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記第１のフレーム上の前記動きベクトルを検出する検出手段と、
前記第２のフレーム上の画素に、検出された前記動きベクトルを割り付ける割り付け手段と、
割り付けられた前記動きベクトルに基づいて、前記第１のフレームおよび前記第３のフレームから、画素値を算出することで、前記第２のフレーム上の画素を生成する第２の生成手段と
をさらに備える請求項１に記載の画像処理装置。
【請求項４】
入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素を生成する画像処理方法において、
前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値を生成し、
予め定めた比率に従って、前記注目画素の画素値に、生成した画素値を混合する
ステップを含む画像処理方法。
【請求項５】
入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素を生成する画像処理を、コンピュータに行わせるプログラムにおいて、
前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値を生成し、
予め定めた比率に従って、前記注目画素の画素値に、生成した画素値を混合する
ステップを含むプログラム。
【請求項６】
請求項５に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、プログラム並びに記録媒体に関し、特に、画像を処理する画像処理装置および方法、プログラム並びに記録媒体に関する。
【背景技術】
【０００２】
従来、テレビジョン信号を記憶するフレームメモリと、これらから読み出したテレビジョン信号の動きを検出する動きベクトル検出回路と、これらからの複数の動きベクトルデータの平均を得る動きベクトル平均回路と、これからの平均動きベクトルデータ、フレームメモリから読み出されたテレビジョン信号にフレーム内挿処理を施す位置補正回路、乗算回路、加算回路、補正信号発生回路とを備える画像変換装置が提案されている（例えば、特許文献１参照）。
【０００３】
また、動き部分・動き量検出回路では、ＭＵＳＥ信号と動きベクトルから動き部分および動き量が検出され、フレーム間内挿回路では、ＭＵＳＥ信号の静止画像に動きベクトルを考慮したフレームが補間され、ＬＰＦおよびサンプリング周波数変換回路を介してフィールド間内挿回路において、フィールド間にフィールドが補間され、クラス分類適応補間回路では、補間がなされる周辺画素のレベル分布のパターンとエッジデータからクラス分類がなされ、読み出された係数データを用いてフィールド内内挿および／またはフレーム内内挿の処理が行われ、サンプリング周波数変換回路を介して混合回路へ供給され、混合回路では、動き部分・動き量に応じて比率が決定され、静止画像と動き画像とが混合されるようにしているものもある（特許文献２参照）。
【０００４】
【特許文献１】特開平６−１２１２９０号公報
【０００５】
【特許文献２】特開平９−１７２６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、内挿に用いるベクトルが誤っている場合など、本来はないエッジなどが生成される画像に生じ、生成される画像が破綻することがある。このような破綻は画像の劣化として目立ち、画像の主観的な画質が落ちてしまう。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、簡単に、生成した画像の破綻を目立たないようにするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面の画像処理装置は、入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素を生成する画像処理装置であって、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値を生成する第１の生成手段と、予め定めた比率に従って、前記注目画素の画素値に、生成した画素値を混合する混合手段とを備える。
【０００９】
前記第１の生成手段は、前記第２のフレーム上の画素に割り当てた０ベクトルで示される、前記第３のフレーム上の画素の画素値と、前記第１のフレーム上の画素の画素値とから、画素値を生成するようにすることができる。
【００１０】
前記第１のフレーム上の前記動きベクトルを検出する検出手段と、前記第２のフレーム上の画素に、検出された前記動きベクトルを割り付ける割り付け手段と、割り付けられた前記動きベクトルに基づいて、前記第１のフレームおよび前記第３のフレームから、画素値を算出することで、前記第２のフレーム上の画素を生成する第２の生成手段とをさらに設けることができる。
【００１１】
本発明の一側面の画像処理方法は、入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素を生成する画像処理方法であって、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値を生成し、予め定めた比率に従って、前記注目画素の画素値に、生成した画素値を混合するステップを含む。
【００１２】
本発明の一側面のプログラムは、入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素を生成する画像処理を、コンピュータに行わせるプログラムであって、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値を生成し、予め定めた比率に従って、前記注目画素の画素値に、生成した画素値を混合するステップを含む。
【００１３】
本発明の一側面の記録媒体は、入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素を生成する画像処理を、コンピュータに行わせるプログラムであって、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値を生成し、予め定めた比率に従って、前記注目画素の画素値に、生成した画素値を混合するステップを含むプログラムを記録している。
【００１４】
本発明の一側面においては、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値が生成され、予め定めた比率に従って、前記注目画素の画素値に、生成した画素値が混合される。
【発明の効果】
【００１５】
以上のように、本発明の一側面によれば、画像を生成することができる。
【００１６】
また、本発明の一側面によれば、簡単に、生成した画像の破綻を目立たないようにすることができる。
【発明を実施するための最良の形態】
【００１７】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１８】
本発明の一側面の画像処理装置は、入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素を生成する画像処理装置であって、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値を生成する第１の生成手段（例えば、図９の０ベクトル補間画像生成部１１１）と、予め定めた比率に従って、前記注目画素の画素値に、生成した画素値を混合する混合手段（例えば、図９の画像混合部１１２）とを備える。
【００１９】
本発明の一側面の画像処理装置は、第２に、前記第１のフレーム上の前記動きベクトルを検出する検出手段（例えば、図２のベクトル検出部５２）と、前記第２のフレーム上の画素に、検出された前記動きベクトルを割り付ける割り付け手段（例えば、図２のベクトル割付部５４）と、割り付けられた前記動きベクトルに基づいて、前記第１のフレームおよび前記第３のフレームから、画素値を算出することで、前記第２のフレーム上の画素を生成する第２の生成手段（例えば、図２の画像補間部５８）とをさらに設けることができる。
【００２０】
本発明の一側面の画像処理方法またはプログラムは、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値を生成し（例えば、図１１のステップＳ１０１）、予め定めた比率に従って、前記注目画素の画素値に、生成した画素値を混合する（例えば、図１１のステップＳ１０２）ステップを含む。
【００２１】
以下、図を参照して本発明の実施の形態について説明する。
【００２２】
図１は、本発明を適用した画像処理装置１の構成例を表している。画像処理装置１は、例えば、パーソナルコンピュータなどで構成される。図１において、CPU（Central Processing Unit）１１は、ROM（Read Only Memory）１２、または記憶部１８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）１３には、CPU１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１１、ROM１２、およびRAM１３は、バス１４により相互に接続されている。
【００２３】
CPU１１にはまた、バス１４を介して入出力インタフェース１５が接続されている。入出力インタフェース１５には、キーボード、マウス、マイクロフォンなどよりなる入力部１６、ディスプレイ、スピーカなどよりなる出力部１７が接続されている。CPU１１は、入力部１６から入力される指令に対応して各種の処理を実行する。そして、CPU１１は、処理の結果、得られた画像や音声等を出力部１７に出力する。
【００２４】
入出力インタフェース１５に接続されている記憶部１８は、例えばハードディスクなどで構成され、CPU１１が実行するプログラムや各種のデータを記憶する。通信部１９は、インターネット、その他のネットワークを介して外部の装置と通信する。また、通信部１９を介してプログラムを取得し、記憶部１８に記憶してもよい。
【００２５】
入出力インタフェース１５に接続されているドライブ２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１８に転送され、記憶される。
【００２６】
なお、画像処理装置１は、例えば、テレビジョン受像機、ハードディスクプレーヤ、光ディスクプレーヤ、ポータブルプレーヤ（携帯電話機）など、または、それらの画像処理部とすることもできる。
【００２７】
図２は、画像処理装置１の機能の構成の例を示すブロック図である。画像処理装置１は、フレームメモリ５１、ベクトル検出部５２、検出ベクトルメモリ５３、ベクトル割付部５４、割付ベクトルメモリ５５、割付フラグメモリ５６、割付補償部５７、画像補間部５８、フレーム全体後処理部５９、および破綻箇所後処理部６０を備える。
【００２８】
なお、画像処理装置１の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えてもよい。
【００２９】
図２に構成を示す画像処理装置１においては、例えば、フレーム周波数２４Ｈｚのプログレッシブ画像信号（以下、２４Ｐ信号と称する）の画像が入力され、入力された画像（入力画像）が、フレーム周波数６０Ｈｚのプログレッシブ画像信号（以下、６０Ｐ信号と称する）の画像に変換されて、出力される。
【００３０】
画像処理装置１に入力された２４Ｐ信号の入力画像は、フレームメモリ５１、ベクトル検出部５２、ベクトル割付部５４、割付補償部５７、画像補間部５８、フレーム全体後処理部５９、および破綻箇所後処理部６０に供給される。フレームメモリ５１は、入力画像をフレーム単位で記憶する。フレームメモリ５１は、時刻ｔ＋１の入力画像の１つ前の時刻ｔのフレームを記憶する。フレームメモリ５１に記憶される時刻ｔのフレームは、ベクトル検出部５２、ベクトル割付部５４、割付補償部５７、画像補間部５８、フレーム全体後処理部５９、および破綻箇所後処理部６０に供給される。なお、以下、フレームメモリ５１上の時刻ｔのフレームをフレームｔと称し、時刻ｔ＋１の入力画像のフレームを、フレームｔ＋１と称する。
【００３１】
ベクトル検出部５２は、フレームメモリ５１上のフレームｔの着目ブロックと、入力画像のフレームｔ＋１の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ５３に記憶する。この２フレーム間の動きベクトルの検出方法には、勾配法またはブロックマッチング法などが用いられる。検出ベクトルメモリ５３は、フレームｔにおいて、ベクトル検出部５２により検出された動きベクトルを記憶する。
【００３２】
ベクトル割付部５４は、２４Ｐ信号のフレームｔ上において求められた動きベクトルを、割付ベクトルメモリ５５上の、補間する６０Ｐ信号のフレーム（以下、６０Ｐ信号のフレームは、２４Ｐ信号のフレームと区別するため、内挿フレームとも称する）上の画素に割り付け、動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグを１(True)に書き換える。
【００３３】
割付ベクトルメモリ５５は、ベクトル割付部５４により割り付けられた動きベクトルを、内挿フレームの各画素に対応させて記憶する。割付フラグメモリ５６は、内挿フレームの画素毎に、割り付けられる動きベクトルの有無を示す割付フラグを記憶している。例えば、True(1)である割付フラグは、対応する画素に動きベクトルが割り付けられていることを示し、False(0)である割付フラグは、対応する画素に動きベクトルが割り付けられていないことを示す。
【００３４】
割付補償部５７は、割付フラグメモリ５６の割付フラグを参照し、ベクトル割付部５４により動きベクトルが割り付けられなかった着目画素に対して、その着目画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ５５の内挿フレーム上に割り付ける。このとき、割付補償部５７は、動きベクトルを割り付けた着目画素の割付フラグを１(True)に書き換える。
【００３５】
画像補間部５８は、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよび次のフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成する。そして、画像補間部５８は、生成された内挿フレームをフレーム全体後処理部５９に出力し、その次に、必要に応じて、フレームｔ＋１をフレーム全体後処理部５９に出力する。なお、以下において、画像補間部５８から出力される画像を補間画像とも称する。
【００３６】
フレーム全体後処理部５９は、予め定めた混合比と、フレームｔおよび次のフレームｔ＋１の画素値とを用いて、破綻が目立たないようにする後処理を、画像補間部５８から供給された補間画像の内挿フレームの全体に適用する。フレーム全体後処理部５９は、後処理を適用した画像を破綻箇所後処理部６０に供給する。
【００３７】
破綻箇所後処理部６０は、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、予め定めた閾値と、フレームｔおよび次のフレームｔ＋１の画素値とを用いて、内挿フレームに含まれる画像のうち、破綻した画像に後処理を適用して、６０Ｐ信号の画像を図示せぬ後段に出力する。
【００３８】
なお、混合比および閾値は、外部から供給するようにしてもよく、内部に記憶しておくようにしてもよい。予め定めたとは、それぞれの処理の実行の前に予め定めたという意味であり、少なくとも、処理を実行する時点で定まっているという意味である。従って、各ブロックにおける処理が実行される前に、混合比および閾値を変更して定めることは、予め定めたに該当する。
【００３９】
図３は、本発明に係る画像処理装置１におけるフレームを内挿する処理の原理を説明する図である。図３の例においては、点線が、画像処理装置１に入力される、時刻ｔ，ｔ＋１，およびｔ＋２における２４Ｐ信号のフレームを表しており、実線が、入力された２４Ｐ信号から画像処理装置１により、生成される時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，ｔ＋１．６，およびｔ＋２における６０Ｐ信号の内挿フレームを表している。
【００４０】
一般に、２４Ｐ信号を、６０Ｐ信号に変換するためには、５／２倍のフレームが必要になる。すなわち、２枚の２４Ｐ信号の画像から５枚の６０Ｐ信号の画像が生成されなければならない。このとき、生成される６０Ｐ信号の内挿フレームは、そのフレーム間隔を等しくするために、２４Ｐ信号上での時間位相が０．０，０．４，０．８，１．２，および１．６となる位置に配置される。この中で、時間位相が０．０である時刻ｔの１フレームを除く４フレーム（ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６のフレーム）は、２４Ｐ信号上には存在しない画像である。したがって、画像処理装置１は、２４Ｐ信号の画像が入力されると、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームから、４つの内挿フレームを生成する。したがって、画像処理装置１からは、時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６の５枚のフレームからなる６０Ｐ信号の画像が出力される。
【００４１】
以上のようにして、画像処理装置１は、２４Ｐ信号の画像から６０Ｐ信号の画像に、フレーム周波数を変換する処理を実行する。
【００４２】
なお、原理的には、上述したように、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームから、時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６の５枚の６０Ｐ信号のフレームが新しく生成されるが、実際には、図３の例の場合、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームに基づいて、ｔ，ｔ＋０．４，ｔ＋０．８の６０Ｐ信号のフレームが生成され、２４Ｐ信号の時刻ｔ＋１およびｔ＋２の２枚のフレームに基づいて、ｔ＋１．２，ｔ＋１．６，およびｔ＋２の６０Ｐ信号のフレームが生成される。
【００４３】
また、以下、時刻ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６などの時刻ｔ＋ｋの内挿フレームを内挿フレームｔ＋ｋと称する。
【００４４】
図４は、フレームを内挿する処理をより具体的に説明する図である。図４の例においては、太線矢印は、各状態への遷移を表しており、矢印Ｔは、状態８１乃至８５における時間の経過方向を表している。また、状態８１乃至８５は、画像処理装置１を構成する各部への入出力時の、２４Ｐ信号の時刻ｔのフレームｔ、時刻ｔの次の時刻ｔ＋１のフレームｔ＋１、または、フレームｔおよびフレームｔ＋１の間に生成される６０Ｐ信号の内挿フレームＦの状態を概念的に表している。すなわち、実際には、例えば、状態８２に示されるような動きベクトルが検出されたフレームは入力されず、フレームと動きベクトルは、別々に入力される。
【００４５】
状態８１は、ベクトル検出部５２に入力される、２４Ｐ信号のフレームｔおよびフレームｔ＋１の状態を表している。状態８１のフレームｔ上の黒点は、フレームｔ上の画素を表している。ベクトル検出部５２は、状態８１のフレームｔ上の画素が、次の時刻のフレームｔ＋１において、どの位置に移動するかを検出し、その動きを、状態８２のフレームｔ上に示されるように、各画素に対応する動きベクトルとして出力する。この２フレーム間の動きベクトルの検出方法には、ブロックマッチング法または勾配法などが用いられる。なお、このとき、例えば、画素に複数の動きベクトルが検出された場合、ベクトル検出部５２は、各動きベクトルについて、評価値を求め、その評価値に基づいて動きベクトルを選択する。
【００４６】
状態８２は、ベクトル割付部５４に入力される、フレームｔおよびフレームｔ＋１の状態を表している。状態８２において、フレームｔの各画素の矢印は、ベクトル検出部５２により検出された動きベクトルを表している。
【００４７】
ベクトル割付部５４は、状態８２のフレームｔの各画素に対して検出された動きベクトルを、次のフレームｔ＋１まで延長させ、予め設定されている時間位相（例えば、図３のｔ＋０．４）にある内挿フレームＦ上のどの位置を通過するかを求める。これは、フレームｔおよびフレームｔ＋１の間が一定動きであると仮定すると、動きベクトルが内挿フレームＦを通過した点が、そのフレームでの画素位置となるためである。したがって、ベクトル割付部５４は、この通過する動きベクトルを、状態８３の内挿フレームＦ上の近傍４画素に割り付ける。また、このとき、内挿フレームの画素によっては、動きベクトルが存在しない場合、あるいは、複数の動きベクトルが、割付候補となりうる場合がある。後者のような場合には、例えば、ベクトル割付部５４は、ベクトル検出部５２と同様に、各動きベクトルについての評価値を求め、その評価値に基づいて割り付ける動きベクトルを選択する。
【００４８】
状態８３は、割付補償部５７に入力される、フレームｔおよびフレームｔ＋１、並びに動きベクトルが割り付けられた内挿フレームＦの状態を表している。状態８３の内挿フレームＦにおいては、ベクトル割付部５４により動きベクトルが割り付けられている画素と、動きベクトルが割り付けられなかった画素が示されている。
【００４９】
割付補償部５７は、状態８３の動きベクトルが割り付けられていない画素に対して、その画素の周辺画素に割り付けられている動きベクトルを用いて補う。これは、ある着目画素の近傍領域が同じ動きであるという仮定が成り立つならば、着目画素の周辺画素の動きベクトルと、その着目画素の動きベクトルは似たものであるからである。これにより、動きベクトルが割り付けられなかった画素にも、ある程度正確な動きベクトルが与えられ、状態８４の内挿フレームＦ上のすべての画素に動きベクトルが割り付けられる。なお、この場合にも、複数の周辺画素の動きベクトルが候補として存在するため、割付補償部５７は、例えば、ベクトル割付部５４と同様に、各動きベクトルについての評価値を求め、その評価値に基づいて割り付ける動きベクトルを選択する。
【００５０】
状態８４は、画像補間部５８に入力される、フレームｔおよびフレームｔ＋１、並びに、すべての画素に動きベクトルが割り付けられた内挿フレームＦの状態を表している。これらのすべての画素に割り付けられた動きベクトルにより、画像補間部５８は、内挿フレームＦ上の画素と、２枚のフレームｔおよびフレームｔ＋１の画素の位置関係を決定することができる。したがって、画像補間部５８は、内挿フレームＦ上に割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、状態８５の内挿フレームＦの黒点に示されるように、内挿フレームＦ上の画素値を補間生成する。そして、画像補間部５８は、生成された内挿フレームを出力し、その次に、必要に応じて、フレームｔ＋１を出力することにより、６０Ｐ信号の補間画像を、後段に出力する。
【００５１】
次に、図５のフローチャートを参照して、画像処理装置１のフレーム周波数を変換する処理を説明する。
【００５２】
ステップＳ１において、ベクトル検出部５２は、時刻ｔ＋１の入力画像のフレームｔ＋１と、フレームメモリ５１の入力画像の１つ前の時刻ｔのフレームｔの画素値を入力し、ステップＳ２に進む。なお、このとき、ベクトル割付部５４、割付補償部５７、画像補間部５８、フレーム全体後処理部５９、および破綻箇所後処理部６０は、時刻ｔ＋１の入力画像のフレームｔ＋１と、フレームメモリ５１の入力画像の１つ前の時刻ｔのフレームｔの画素値を入力する。
【００５３】
ステップＳ２において、ベクトル検出部５２は、動きベクトルを検出し、ステップＳ３に進む。すなわち、ベクトル検出部５２は、フレームメモリ５１上のフレームｔの着目ブロックと、入力画像である次のフレームｔ＋１の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ５３に記憶し、ステップＳ３に進む。この２フレーム間の動きベクトルの検出方法には、勾配法またはブロックマッチング法などが用いられる。
【００５４】
ステップＳ３において、ベクトル割付部５４は、補間する内挿フレーム上の着目画素に動きベクトルを割り付け、ステップＳ４に進む。すなわち、ベクトル割付部５４は、ステップＳ３において、フレームｔ上において求められた動きベクトルを、割付ベクトルメモリ５５上の、補間する内挿フレーム上の着目画素に割り付け、動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグを１(True)に書き換える。例えば、Trueである割付フラグは、対応する画素に動きベクトルが割り付けられていることを示し、Falseである割付フラグは、対応する画素に動きベクトルが割り付けられていないことを示す。
【００５５】
ステップＳ４において、割付補償部５７は、割り付けを補償し、ステップＳ５に進む。すなわち、割付補償部５７は、ステップＳ４において、割付フラグメモリ５６の割付フラグを参照し、ベクトル割付部５４により動きベクトルが割り付けられなかった着目画素に対して、その着目画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ５５の内挿フレーム上に割り付ける。このとき、割付補償部５７は、動きベクトルを補い、割付けた着目画素の割付フラグを１(True)に書き換える。
【００５６】
ステップＳ５において、画像補間部５８は、画像補間処理を実行する。すなわち、画像補間部５８は、ステップＳ５において、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成し、ステップＳ６に進む。ステップＳ５における、画像補間処理の詳細は後述する。画像補間部５８は、生成された内挿フレームを出力し、その次に、必要に応じて、フレームｔ＋１を出力することにより、６０Ｐ信号の補間画像を出力する。
【００５７】
ステップＳ６において、フレーム全体後処理部５９は、内挿フレームについて、フレーム全体の後処理を実行して、ステップＳ７に進む。フレーム全体の後処理の詳細は後述する。
【００５８】
ステップＳ７において、破綻箇所後処理部６０は、内挿フレームについて、破綻箇所の後処理を実行して、ステップＳ８に進む。破綻箇所の後処理の詳細は後述する。
【００５９】
破綻箇所後処理部６０は、ステップＳ８において、後処理された６０Ｐ信号の補間画像を出力する。
【００６０】
ステップＳ９において、ベクトル検出部５２は、すべてのフレームの処理が終了したか否かを判断し、すべてのフレームの処理が終了していないと判断した場合、ステップＳ１に戻り、それ以降の処理を繰り返す。一方、ベクトル検出部５２は、ステップＳ９において、すべてのフレームの処理が終了したと判断した場合、フレーム周波数を変換する処理を終了する。
【００６１】
以上のように、本発明に係る画像処理装置１は、２４Ｐ信号の入力画像のフレームから動きベクトルを検出し、検出した動きベクトルを、６０Ｐ信号のフレーム上の画素に割付け、割付けられた動きベクトルに基づいて、６０Ｐ信号のフレーム上の画素値を生成する。そして、画像処理装置１は、内挿フレームについて、フレーム全体または破綻箇所に後処理を適用して、破綻のより目立ちにくい画像を出力する。
【００６２】
次に、画像補間部５８の構成の詳細について説明する。
【００６３】
図６は、画像補間部５８の構成を示すブロック図である。図６に構成を示す画像補間部５８は、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成し、６０Ｐ信号の補間画像を出力する処理を行う。
【００６４】
図６の例において、時刻ｔの画像のフレームｔは、空間フィルタ９２−１に入力され、時刻ｔ＋１の画像のフレームｔ＋１は、空間フィルタ９２−２およびバッファ９５に入力される。
【００６５】
補間制御部９１は、割付ベクトルメモリ５５の内挿フレームの画素を選択し、選択した画素に割り付けられている動きベクトルに基づいて、内挿フレーム上の画素と、２枚のフレームｔおよびフレームｔ＋１の画素との位置関係（空間シフト量）をそれぞれ求める。すなわち、補間制御部９１は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ上の位置と、内挿フレームの画素に対応するフレームｔ上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−１に供給する。同様に、補間制御部９１は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ＋１上の位置と、内挿フレームの画素に対応するフレームｔ＋１上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−２に供給する。
【００６６】
また、補間制御部９１は、予め設定されている内挿フレームの時間位相（時刻）に基づいて、フレームｔとフレームｔ＋１の間における補間重みを求め、求めた補間重みを、乗算器９３−１および９３−２に設定する。例えば、内挿フレームの時刻が、フレームｔ＋１の時刻ｔ＋１から「ｋ」離れた時刻で、かつ、フレームｔの時刻ｔから「１−ｋ」離れた時刻である場合（すなわち、内挿フレームが時刻ｔと時刻ｔ＋１を「１−ｋ」：「ｋ」に内分する時刻に生成される場合）、補間制御部９１は、乗算器９３−１に「１−ｋ」の補間重みを設定し、乗算器９３−２に「ｋ」の補間重みを設定する。
【００６７】
空間フィルタ９２−１および９２−２は、例えば、キュービックフィルタなどにより構成される。空間フィルタ９２−１は、入力されるフレームｔ上の画素の画素値と、補間制御部９１から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、フレームｔ上の画素値を求め、求めた画素値を乗算器９３−１に出力する。空間フィルタ９２−２は、入力されるフレームｔ＋１上の画素の画素値と、補間制御部９１から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、フレームｔ＋１上の画素値を求め、求めた画素値を乗算器９３−２に出力する。
【００６８】
なお、内挿フレームの画素の位置が、フレームｔまたはフレームｔ＋１上の画素の位置と一致しない場合（すなわち、内挿フレームの画素の位置が、フレームｔまたはフレームｔ＋１において画素以下成分である場合）、空間フィルタ９２−１および９２−２は、フレームｔまたはフレームｔ＋１における内挿フレームの画素の位置の周辺４画素の画素値を用いて、周辺４画素の距離の逆比の和を求めることにより、内挿フレームの画素に対応するフレーム上の画素値を求める。すなわち、画素以下位置の画素値は、周辺４画素との距離を基にした線形補間で値が求められる。
【００６９】
乗算器９３−１は、空間フィルタ９２−１から入力されるフレームｔ上の画素値に、補間制御部９１により設定された補間重み「１−ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。乗算器９３−２は、空間フィルタ９２−２から入力されるフレームｔ＋１上の画素値に、補間制御部９１により設定された補間重み「ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。
【００７０】
加算器９４は、乗算器９３−１から入力される画素値と、乗算器９３−２から入力される画素値を加算することにより、内挿フレームの画素の画素値を生成し、生成された内挿フレームの画素値を、バッファ９５に出力する。バッファ９５は、入力されたフレームｔ＋１をバッファしている。バッファ９５は、生成された内挿フレームを出力し、その次に、予め設定されている６０Ｐフレームの時間位相（時刻）に基づいて、必要に応じて、バッファしているフレームｔ＋１を出力することにより、６０Ｐ信号の補間画像をフレーム全体後処理部５９に出力する。
【００７１】
以上のように構成される画像補間部５８の画像補間処理の詳細を、図７のフローチャートを参照して説明する。
【００７２】
補間制御部９１は、ステップＳ５１において、処理する内挿フレームの時間位相に基づいて、フレームｔとフレームｔ＋１の間における内挿フレームの補間重み（例えば、「ｋ」および「１−ｋ」）を求め、求められた補間重みを、乗算器９３−１および９３−２にそれぞれ設定し、ステップＳ５２に進む。
【００７３】
例えば、図８で示されるように、時刻ｔのフレームｔと時刻ｔ＋１のフレームｔ＋１の間の、時刻ｔ＋ｋの内挿フレームを生成する場合、補間制御部９１は、ｋおよび１−ｋの補間重みを求め、求められた補間重みを、乗算器９３−１および９３−２にそれぞれ設定する。なお、図８の例においては、点線が、画像処理装置１に入力される、時刻ｔおよびｔ＋１における２４Ｐ信号のフレームを表しており、実線が、入力された２４Ｐ信号から画像処理装置１により、生成される時刻ｔ＋ｋにおける６０Ｐ信号の内挿フレームを表している。
【００７４】
補間制御部９１は、ステップＳ５２において、割付ベクトルメモリ５５の内挿フレームの画素を選択し、ステップＳ５３に進む。なお、内挿フレーム上の画素は、フレームの左上の画素からラスタスキャン順に選択される。
【００７５】
補間制御部９１は、ステップＳ５３において、選択した画素に割り付けられている動きベクトルに基づいて、内挿フレーム上の画素と、２枚のフレームｔおよびフレームｔ＋１の画素との位置関係（空間シフト量）をそれぞれ求め、求められた空間シフト量を、それぞれ空間フィルタ９２−１および９２−２に供給し、ステップＳ５４に進む。
【００７６】
具体的には、補間制御部９１は、ステップＳ５３において、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ上の位置と、内挿フレームの画素に対応するフレームｔ上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−１に供給する。同様に、補間制御部９１は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ＋１上の位置と、内挿フレームの画素に対応するフレームｔ＋１上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−２に供給する。
【００７７】
時刻ｔの画像のフレームｔの画素値は、空間フィルタ９２−１に入力され、時刻ｔ＋１の画像のフレームｔ＋１の画素値は、空間フィルタ９２−２に入力されている。ステップＳ５４において、空間フィルタ９２−１および９２−２は、入力されるフレームｔおよびｔ＋１上の画素の画素値と、補間制御部９１から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、各フレーム上の画素値を求め、求めた画素値を乗算器９３−１および９３−２にそれぞれ出力し、ステップＳ５５に進む。
【００７８】
乗算器９３−１および９３−２は、ステップＳ５５において、空間フィルタ９２−１または９２−２から入力される各フレーム上の画素値に、補間制御部９１により設定された補間重みを重み付けし、重み付けされた画素値を、加算器９４に出力し、ステップＳ５６に進む。すなわち、乗算器９３−１は、空間フィルタ９２−１から入力されるフレームｔ上の画素値に、補間制御部９１により設定された補間重み「１−ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。乗算器９３−２は、空間フィルタ９２−２から入力されるフレームｔ＋１上の画素値に、補間制御部９１により設定された補間重み「ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。
【００７９】
加算器９４は、ステップＳ５６において、乗算器９３−１により重み付けされた画素値と、乗算器９３−２により重み付けされた画素値を加算することにより、内挿フレームの画素の画素値を生成し、生成された画素値を、バッファ９５に出力し、ステップＳ５７に進む。
【００８０】
例えば、ステップＳ５２乃至ステップＳ５６の処理により、図８で示されるように、内挿フレームにおける選択された画素ｐに割り付けられている動きベクトルｖで対応付けられるフレームｔ上の画素ｑの画素値およびフレームｔ＋１上の画素ｒの画素値から、フレームｔとフレームｔ＋１の間の新たな内挿フレームｔ＋ｋ上の画素ｐの画素値が生成される。
【００８１】
補間制御部９１は、ステップＳ５７において、内挿フレーム上のすべての画素についての処理が終了したか否かを判断し、内挿フレーム上のすべての画素についての処理が終了していないと判断した場合、ステップＳ５２に戻り、それ以降の処理を繰り返す。補間制御部９１は、ステップＳ５７において、内挿フレーム上のすべての画素についての処理が終了したと判断した場合、画像補間処理を終了する。
【００８２】
以上のように、内挿フレームに割り付けられた動きベクトルに基づいて、内挿フレームの画素値が生成され、上述した図５のステップＳ５において、バッファ９５により、内挿フレームが出力され、その次に、必要に応じて、フレームｔ＋１が出力されることにより、６０Ｐ信号の補間画像がフレーム全体後処理部５９に出力される。
【００８３】
なお、図７のフローチャートを参照して説明した処理は、内挿フレーム生成の処理とも称する。
【００８４】
次に、フレーム全体後処理部５９について説明する。
【００８５】
図９は、フレーム全体後処理部５９の構成の例を示すブロック図である。フレーム全体後処理部５９は、０ベクトル補間画像生成部１１１および画像混合部１１２を備える。
【００８６】
０ベクトル補間画像生成部１１１は、内挿フレームｔ＋ｋ上の画素に割り当てた０ベクトルで示される、内挿フレームｔ＋ｋに隣接する入力画像のフレームｔの画素の画素値およびフレームｔ＋１の画素の画素値から、フレームｔの時刻ｔから内挿フレームｔ＋ｋの時刻ｔ＋ｋまでの時間と、内挿フレームｔ＋ｋの時刻ｔ＋ｋからフレームｔ＋１の時刻ｔ＋１までの時間との比率に応じて、画素値を生成する。
【００８７】
ここで、０ベクトルは、空間方向の成分が０である動きベクトルである。
【００８８】
すなわち、０ベクトル補間画像生成部１１１は、内挿フレームｔ＋ｋ上の画素であって、内挿フレームｔ＋ｋ上の注目している画素である注目画素の位置と同じ位置のフレームｔ上の画素の画素値と、注目画素の位置と同じ位置のフレームｔ＋１上の画素の画素値とから、時刻ｔから時刻ｔ＋ｋまでの時間と、時刻ｔ＋ｋから時刻ｔ＋１までの時間との比率に応じて、画素値を生成する。
【００８９】
図１０は、０ベクトル補間画像生成部１１１における画素値の生成を説明する図である。なお、図１０の例においては、点線が、画像処理装置１に入力される、時刻ｔおよびｔ＋１における２４Ｐ信号のフレームを表しており、実線が、入力された２４Ｐ信号から画像処理装置１により、生成される時刻ｔ＋ｋにおける６０Ｐ信号の内挿フレームを表している。また、動きベクトルｖは、内挿フレームの画素ｐに割り付けられ、フレームｔ＋１上の画素ｒおよびフレームｔ上の画素ｑが、動きベクトルｖによって対応付けられている。
【００９０】
図中の空間方向の成分が０である０ベクトル（0 vector）は、内挿フレーム上の注目画素ｐの位置と同じ位置のフレームｔ上の画素ｐと、注目画素ｐの位置と同じ位置のフレームｔ＋１上の画素ｐとを対応付けている。
【００９１】
図１０で示されるように、０ベクトル補間画像生成部１１１は、内挿フレーム上の画素ｐに注目している場合、画素ｐの位置と同じ位置のフレームｔ上の画素ｐの画素値Ｆt（ｐ）と、画素ｐの位置と同じ位置のフレームｔ＋１上の画素ｐの画素値Ｆt+1（ｐ）とを取得する。そして、０ベクトル補間画像生成部１１１は、画素値Ｆt（ｐ）に、時刻ｔから時刻ｔ＋ｋまでの時間に応じた重みｋを乗算し、画素値Ｆt+1（ｐ）に、時刻ｔ＋ｋから時刻ｔ＋１までの時間に応じた重み１−ｋを乗算する。さらに、０ベクトル補間画像生成部１１１は、これらの乗算の結果を加算することで、画素値Ｇt+k（ｐ）を生成する。
【００９２】
すなわち、０ベクトル補間画像生成部１１１によって、式（１）で示される画素値Ｇt+k（ｐ）が求められる。
Ｇt+k（ｐ）＝（１−ｋ）Ｆt（ｐ）＋ｋＦt+1（ｐ）              （１）
【００９３】
０ベクトル補間画像生成部１１１は、内挿フレームの全ての画素について、式（１）で示される演算で求められる画素値を生成する。０ベクトル補間画像生成部１１１は、生成した画素値の画素からなる０ベクトル補間画像を画像混合部１１２に供給する。
【００９４】
画像混合部１１２は、所定の混合比（割合）に従って、注目画素の画素値に、０ベクトル補間画像生成部１１１において生成された画素値を混合する。例えば、混合比は、予め定められている。
【００９５】
例えば、画像混合部１１２は、外部から予め定めた混合比γが入力された場合、画素ｐに注目しているとき、０ベクトル補間画像生成部１１１から供給された０ベクトル補間画像の画素ｐの画素値Ｇt+k（ｐ）に混合比γを乗算し、内挿フレームの画素ｐの画素値Ｆt+k（ｐ）に（１−γ）を乗算する。そして、画像混合部１１２は、これらの乗算の結果を加算した値を内挿フレームの画素ｐの画素値Ｆ’t+k（ｐ）とする。なお、混合比γは、０より大きく１より小さい。
【００９６】
すなわち、画像混合部１１２によって、混合比γに従って、注目画素ｐの画素値に、０ベクトル補間画像生成部１１１において生成された画素値Ｇt+k（ｐ）が混合されることで、式（２）で示される、内挿フレームの画素ｐの画素値Ｆ’t+k（ｐ）が求められる。
Ｆ’t+k（ｐ）＝（１−γ）Ｆt+k（ｐ）＋γＧt+k（ｐ）              （２）
【００９７】
画像混合部１１２は、内挿フレームの全ての画素について、式（２）で示されるように、混合比に従って、０ベクトル補間画像の画素を混合する。画像混合部１１２は、混合の結果得られた補間画像を出力する。
【００９８】
なお、０ベクトル補間画像生成部１１１において生成された画素値Ｇt+k（ｐ）の割合を大きくすると、画像の動きが不自然になってしまうので、０．０＜γ＜＝０．５の混合比γを利用するとよい。
【００９９】
さらに好ましくは、０．２５＜＝γ＜＝０．５の混合比γを利用するとよい。本発明者の実験において、０．２５＜＝γ＜＝０．５の混合比γを用いると、より自然で、かつ画像の破綻がより目立ちにくい画像を得ることができることを確認している。
【０１００】
なお、画像補間部５８において、Ｆt+k（ｐ）を算出する場合に、フレームｔおよびフレームｔ＋１を記憶するので、フレーム全体後処理部５９は、フレームｔおよびフレームｔ＋１を画像補間部５８から読み出すようにすれば、新たにメモリを用意する必要がない。
【０１０１】
また、内挿フレームの全ての画素に一律に０ベクトル補間画像の画素を混合するので、ハードウェアまたはソフトウェアをより簡単に実現することができる。
【０１０２】
図１１は、図５のステップＳ６に対応するフレーム全体の後処理の詳細を説明するフローチャートである。ステップＳ１０１において、０ベクトル補間画像生成部１１１は、０ベクトル補間画像の画素を生成する。すなわち、例えば、ステップＳ１０１において、０ベクトル補間画像生成部１１１は、式（１）に従って、０ベクトル補間画像の画素の画素値Ｇt+k（ｐ）を算出することで、０ベクトル補間画像の画素を生成する。
【０１０３】
ステップＳ１０２において、画像混合部１１２は、予め定めた混合比γに従って、入力された補間画像の画素と、０ベクトル補間画像の画素とを混合する。例えば、ステップＳ１０２において、画像混合部１１２は、式（２）で示されるように、混合比γに従って、内挿フレームの画素に、０ベクトル補間画像の画素を混合する。
【０１０４】
ステップＳ１０３において、フレーム全体後処理部５９は、内挿フレームの全ての画素について、処理を終了したか否かを判定し、処理を終了していないと判定された場合、ステップＳ１０１に戻り、内挿フレームの次の画素について、ステップＳ１０１およびステップＳ１０２の処理が繰り返される。なお、ステップＳ１０１およびステップＳ１０２の処理の対象となる画素は、例えば、ラスタスキャン順に選択される。
【０１０５】
ステップＳ１０３において、内挿フレームの全ての画素について処理を終了したと判定された場合、フレーム全体の後処理は終了する。
【０１０６】
このように、内挿フレームの全体について、０ベクトル補間画像を混合するようにしたので、簡単な処理で、画像の動きの滑らかさを損なうことなく、画像の破綻を目立たなくすることができる。画像の破綻が目立ちにくくなるので、画像を見ている使用者には、画像の画質が改善されたように感じられる。
【０１０７】
なお、０ベクトル補間画像の全体を生成してから、補間画像と０ベクトル補間画像とを混合するようにしてもよい。
【０１０８】
次に、破綻箇所後処理部６０について説明する。
【０１０９】
図１２は、破綻箇所後処理部６０の構成の例を示すブロック図である。破綻箇所後処理部６０は、ベクトル特徴量算出部１４１、破綻箇所判定部１４２、画像特徴量算出部１４３、フィルタ係数ROM１４４、フィルタ選択部１４５、およびフィルタ処理部１４６を備える。
【０１１０】
ベクトル特徴量算出部１４１は、画像補間部５８において画素値が生成された内挿フレーム上の画素であって、注目している画素である注目画素に割り付けられている動きベクトルと、注目画素の周辺の予め定めた範囲の内挿フレーム上の画素である周辺画素に割り付けられている動きベクトルとのばらつきを示す値を算出する。
【０１１１】
内挿フレームを生成する場合に生じる画像の破綻（劣化）は、経験的に、画素に割り付けられている動きベクトルが暴れている（ばらついている）部分において生じやすい。
【０１１２】
ベクトル特徴量算出部１４１は、画像の破綻（劣化）の生じる可能性を示す評価値として、生成した画像の画素に割り付けられている動きベクトルのばらつきを示す値を算出する。
【０１１３】
例えば、ベクトル特徴量算出部１４１は、内挿フレームｔ＋ｋにおける注目画素ｐx,yについて、動きベクトルのばらつきを示す値の一例である、不規則性評価値を算出する。ここで、不規則性評価値とは、注目画素ｐx,yに割り当てられた動きベクトルを、周辺の画素に割り当てられた動きベクトルと比較した場合に、どの程度ばらついているかを評価した結果を示すものである。
【０１１４】
以下、ベクトル特徴量算出部１４１が、不規則性評価値として、VDAS（Vector Difference Absolute Summation）を算出する場合を例に説明する。
【０１１５】
例えば、図１３で示されるように、ベクトル特徴量算出部１４１は、内挿フレームｔ＋ｋ上の注目している画素を注目画素ｐx,yとした場合、注目画素ｐx,yを中心とした、１点鎖線で示される所定の範囲の画素に割り付けられている動きベクトルを割付ベクトルメモリ５５から読み出す。
【０１１６】
より詳細には、例えば、ベクトル割付部５４において２画素毎に動きベクトルを割り付ける場合、図１４で示されるように、ベクトル特徴量算出部１４１は、内挿フレーム上の注目している画素を注目画素ｐx,yとしたとき、注目画素ｐx,yから、上下に２画素、左右に２画素離れた範囲の画素に割り付けられている動きベクトルを割付ベクトルメモリ５５から読み出す。すなわち、ベクトル特徴量算出部１４１は、注目画素ｐx,yに対して、２画素上側で２画素左側の画素ｐx-2,y-2、注目画素ｐx,yに対して、２画素上側の画素ｐx,y-2、注目画素ｐx,yに対して、２画素上側で２画素右側の画素ｐx+2,y-2、注目画素ｐx,yに対して、２画素左側の画素ｐx-2,y、注目画素ｐx,yに対して、２画素右側の画素ｐx+2,y、注目画素ｐx,yに対して、２画素下側で２画素左側の画素ｐx-2,y+2、注目画素ｐx,yに対して、２画素下側の画素ｐx,y+2、注目画素ｐx,yに対して、２画素下側で２画素右側の画素ｐx+2,y+2、および注目画素ｐx,yのそれぞれに割り付けられている動きベクトルを割付ベクトルメモリ５５から読み出す。
【０１１７】
ベクトル特徴量算出部１４１は、式（３）を基に、内挿フレームｔ＋ｋ上の注目画素ｐx,yについてのVDASであるVDASt+k（ｐx,y）を算出する。
VDASt+k（ｐx,y）＝ｍａｘ（VDASt+k（ｐx,y）x，VDASt+k（ｐx,y）y）
・・・（３）
式（３）において、ｍａｘ（ａ，ｂ）は、ａとｂのうち、大きい方を選ぶ関数である。
【０１１８】
VDASt+k（ｐx,y）xは、式（４）で算出され、VDASt+k（ｐx,y）yは、式（５）で算出される。
【０１１９】
【数１】
0004650683.tif 000002
・・・（４）
【０１２０】
【数２】
0004650683.tif 000003
・・・（５）
式（４）および式（５）において、ｉ＝−２，０，２であり、ｊ＝−２，０，２である。
【０１２１】
このように、例えば、ベクトル特徴量算出部１４１は、内挿フレーム上のｎ個の画素毎に動きベクトルが割り付けられている場合、注目画素からｎ個の画素だけ離れた周辺画素に割り付けられている動きベクトルと、注目画素に割り付けられている動きベクトルとのばらつきを示す値を算出する。
【０１２２】
以上のように、ベクトル特徴量算出部１４１は、不規則性評価値として、VDASを算出する。
【０１２３】
ベクトル特徴量算出部１４１は、不規則性評価値などの、動きベクトルのばらつきを示す値を破綻箇所判定部１４２に供給する。
【０１２４】
なお、いわゆる４：２：２の画像信号のクロマ（色差信号）について、VDASを算出する場合、注目画素ｐx,yから、上下に４画素、左右に４画素離れた範囲の画素に割り付けられている動きベクトルを割付ベクトルメモリ５５から読み出して、読み出した動きベクトルに式（３）を適用して、VDASを算出する。この場合、ｉ＝−４，０，４であり、ｊ＝−４，０，４である。
【０１２５】
また、色差信号の場合、輝度信号において対応する画素の位置で算出されたVDASの値を用いるようにしてもよい。
【０１２６】
さらに、式（４）および式（５）において、絶対値に代えて、自乗した値を用いるようにしてもよい。
【０１２７】
さらにまた、VDASの値の算出には、動きベクトルの間のユークリッド距離の和を用いるようにしてもよい。
【０１２８】
なお、VDASの値の算出に際して、入力画像の種類に応じて画素の範囲を変更するようにしてもよい。例えば、注目画素を中心とした、上下に９画素、左右に９画素の範囲の全ての画素のそれぞれに割り付けられている８１個の動きベクトルを基にVDASの値を算出するようにしてもよい。
【０１２９】
次に、画像特徴量算出部１４３は、フレームｔとの間に内挿フレームｔ＋ｋが配置される、入力されたフレームｔ＋１上の画素であって、内挿フレームｔ＋ｋ上の注目画素の位置と同じ位置のフレームｔ＋１上の画素の画素値と、注目画素の位置と同じ位置のフレームｔ上の画素の画素値とから、時間方向の画素値の変化を示す値を算出する。
【０１３０】
これは、ばらつきを示す値の算出の対象となる動きベクトルが割り付けられている画素の範囲に、動きの異なるオブジェクトの境界が含まれている場合を考えると、画像が破綻していないときであっても、動きベクトルのばらつきが生じるので、動きベクトルのばらつきだけで画像が破綻しているか否かを判定すると、破綻箇所判定部１４２において画像が破綻していると誤って判定される（誤検出される）ときがある。
【０１３１】
例えば、図１５で示されるように、５×５画素の領域の１画素おきの９個の画素（図中の丸）について考えた場合、上側の横の行の３つの画素と下側の横の行の３つの画素が、動いている背景の画像オブジェクトに対応し、上側の横の行の３つの画素と下側の横の行の３つの画素とに挟まれた中の横の行の３つの画素が、静止している前景の画像オブジェクトに対応するとき、上側の画素と下側の画素には、同じ動きベクトルが割り付けられるが、中の画素には、０ベクトルが割り付けられる。
【０１３２】
この場合、図１６で示されるように、５×５画素の領域の１画素おきの９個の画素のうちの中心の画素を注目画素（図中の黒丸で示す画素）としたとき、動きベクトルのばらつきは、上側の横の行の３つの画素および下側の横の行の３つの画素に割り付けられた動きベクトルの大きさによって決まり、大きなものとなる。図に示される画像は、破綻していないにもかかわらず、動きベクトルのばらつきを示す値だけで画像が破綻しているか否かを判断すると、破綻していると誤って判断してしまうことになる。
【０１３３】
そこで、画像の破綻箇所の検出から、このような誤った検出を減らして、破綻箇所の検出の精度を向上させるために、時間方向の画像の情報を用いることを考える。
【０１３４】
図１７で示されるように、画素ｐに注目している場合、画素ｐの位置と同じ位置（同位相）のフレームｔ上の画素の画素値Ｆt（ｐ）と、画素ｐの位置と同じ位置のフレームｔ＋１上の画素の画素値Ｆt+1（ｐ）との差分絶対値Ｄ（ｐ）を、時間方向の安定性を判定するための評価値（時間方向の画素値の変化を示す値）として用いる。差分絶対値Ｄ（ｐ）は、式（６）で算出される。
Ｄ（ｐ）＝｜Ｆt（ｐ）−Ｆt+1（ｐ）｜                        ・・・（６）
【０１３５】
例えば、画像特徴量算出部１４３は、式（６）で示される演算により、時間方向の画素値の変化を示す値として差分絶対値Ｄ（ｐ）を算出する。
【０１３６】
画像特徴量算出部１４３は、算出した時間方向の画素値の変化を示す値を破綻箇所判定部１４２に供給する。
【０１３７】
破綻箇所判定部１４２は、ベクトル特徴量算出部１４１から供給された動きベクトルのばらつきを示す値および画像特徴量算出部１４３から供給された時間方向の画素値の変化を示す値から、注目画素において内挿フレームの画像が破綻しているか否かを判定する。
【０１３８】
例えば、破綻箇所判定部１４２は、注目画素ｐx,yについて、ベクトル特徴量算出部１４１から供給されたVDASと予め定めた閾値ＴＨpf0とを比較し、画像特徴量算出部１４３から供給された差分絶対値Ｄ（ｐ）と予め定めた閾値ＴＨpf1とを比較し、VDASが閾値ＴＨpf0より大きく、かつ、差分絶対値Ｄ（ｐ）が閾値ＴＨpf1より大きい場合に、注目画素ｐx,yにおいて内挿フレームの画像が破綻していると判定する。破綻箇所判定部１４２は、VDASが閾値ＴＨpf0以下であるか、または、差分絶対値Ｄ（ｐ）が閾値ＴＨpf1以下である場合に、注目画素ｐx,yにおいて内挿フレームの画像が破綻していないと判定する。
【０１３９】
すなわち、破綻箇所判定部１４２は、式（７）で示される条件が満たされる場合、内挿フレームの画像が破綻していると判定し、式（７）で示される条件が満たされない場合、内挿フレームの画像が破綻していないと判定する。
VDASt+k（ｐx,y）＞ＴＨpf0  ∩  Ｄ（ｐ）＞ＴＨpf1        ・・・（７）
【０１４０】
このように、動きベクトルのばらつきから、画像の空間方向に対する破綻を検出することができるが、さらに画像の時間方向の情報を用いることにより、破綻箇所の誤検出を減らして、より正確に、より確実に、画像が破綻しているか否かを判定することができるようになる。
【０１４１】
破綻箇所判定部１４２は、動きベクトルとのばらつきを示す値と共に、注目画素において内挿フレームの画像が破綻しているか否かの判定の結果を示すデータをフィルタ選択部１４５に供給する。
【０１４２】
フィルタ係数ROM１４４は、画像の高域成分を除去するフィルタ（低域通過フィルタ）に用いて、フィルタの特性を決定するためのフィルタ係数を予め複数記憶している。
【０１４３】
フィルタ選択部１４５は、画像の高域成分を除去する複数のフィルタから、動きベクトルのばらつきを示す値を基に、内挿フレームにおける注目画素を含む所定の範囲の画像に適用する１つのフィルタを選択する。
【０１４４】
フィルタ処理部１４６は、注目画素において内挿フレームの画像が破綻していると判定された場合、補間画像のうちの内挿フレームにおける注目画素を含む所定の範囲の画像から、画像の高域成分を除去する。フィルタ処理部１４６は、高域成分を除去した画像を出力画像として出力する。例えば、フィルタ処理部１４６は、画像の高域成分を除去するフィルタの処理を、図１３の１点鎖線で示される、内挿フレームにおける注目画素を含む所定の範囲の画像に適用することで、画像の高域成分を除去する。
【０１４５】
なお、ばらつきを示す値を算出する動きベクトルが割り付けられている画素の範囲と、高域成分を除去する画像の範囲とは、同じであっても、異なるものであってもよい。
【０１４６】
より具体的には、例えば、フィルタ係数ROM１４４は、フィルタ処理部１４６において、画像の高域成分を除去するフィルタの処理に用い、フィルタの特性を決定するためのフィルタ係数を予め複数記憶している。
【０１４７】
フィルタ選択部１４５は、動きベクトルのばらつきを示す値の一例であるVDASに応じて、フィルタ係数ROM１４４に記憶されているフィルタ係数のうち、所定のフィルタ係数を読み出す。フィルタ選択部１４５は、フィルタ係数ROM１４４から読み出したフィルタ係数をフィルタ処理部１４６に供給する。フィルタ処理部１４６は、フィルタ選択部１４５から供給されたフィルタ係数を用いたフィルタ処理を、内挿フレームにおける注目画素を含む所定の範囲の画像に適用することで、画像の高域成分を除去する。
【０１４８】
すなわち、例えば、フィルタ選択部１４５は、動きベクトルのばらつきを示す値を基に、複数のフィルタ係数のうち、所定のフィルタの特性を実現するための１つのフィルタ係数を選択し、フィルタ処理部１４６に選択したフィルタ係数を供給することで、内挿フレームにおける注目画素を含む所定の範囲の画像に適用するフィルタを選択する。
【０１４９】
より具体的には、フィルタ選択部１４５は、式（８）で示される条件が満たされる場合、フィルタ１を選択し、式（９）で示される条件が満たされる場合、フィルタ２を選択する。
ＴＨpf00＜VDASt+k（ｐx,y）＜＝ＴＨpf01                  ・・・（８）
ＴＨpf01＜VDASt+k（ｐx,y）＜＝ＴＨpf02                  ・・・（９）
但し、ＴＨpf00＜ＴＨpf01＜ＴＨpf02である。
【０１５０】
この場合、フィルタ２は、フィルタ１に比較して、画像の高域成分をより多く除去するフィルタとするのがよいことがわかっている。
【０１５１】
すなわち、フィルタ選択部１４５は、式（８）で示される条件が満たされる場合、フィルタ１の特性を実現させるためのフィルタ係数を選択して、フィルタ係数ROM１４４から読み出して、フィルタ処理部１４６に供給する。一方、フィルタ選択部１４５は、式（９）で示される条件が満たされる場合、フィルタ２の特性を実現させるためのフィルタ係数を選択して、フィルタ係数ROM１４４から読み出して、フィルタ処理部１４６に供給する。
【０１５２】
フィルタ処理部１４６は、フィルタ選択部１４５から供給されたフィルタ係数に応じて、フィルタ１またはフィルタ２を破綻している画像に適用する。動きベクトルのばらつきがより大きい場合には、画像の高域成分がより多く除去されることになる。
【０１５３】
すなわち、動きベクトルのばらつきがより大きい場合には、画像が破綻している度合いも大きいと推定されるので、画像の高域成分がより多く除去されて、破綻が目立たない画像とされる。
【０１５４】
破綻箇所後処理部６０は、内挿フレームの画像のうち破綻している画像から画像の高域成分を除去するので、画像の動きの滑らかさを損なうことなく、画像の破綻が目立たない画像を出力することができる。画像の破綻が目立ちにくくなるので、画像を見ている使用者には、画像の画質が改善されたように感じられる。
【０１５５】
また、動きベクトルおよび入力された画像（画像情報）を用いることで、正確に精度良く画像の破綻箇所を検出することができる。
【０１５６】
このように、動きベクトルが暴れている部分に、画像の劣化が起こる可能性があるとみなして、この部分に低域通過フィルタが適用される。低域通過フィルタが適用されることで、補間された画像に生じた劣化を目立たなくすることができる。
【０１５７】
次に、図５のステップＳ７の破綻箇所の後処理の詳細を図１８のフローチャートを参照して説明する。
【０１５８】
ステップＳ１４１において、ベクトル特徴量算出部１４１は、内挿フレーム上の注目している画素である注目画素の周辺の所定の範囲の画素に割り付けられている動きベクトルの不規則性評価値を算出する。例えば、ステップＳ１４１において、ベクトル特徴量算出部１４１は、式（３）を基に、不規則性評価値としてVDASを算出する。ベクトル特徴量算出部１４１は、不規則性評価値を破綻箇所判定部１４２に供給する。
【０１５９】
ステップＳ１４２において、画像特徴量算出部１４３は、時間方向の画素値の変化を示す画像特徴量を算出する。例えば、ステップＳ１４２において、画像特徴量算出部１４３は、式（６）を基に、画像特徴量として差分絶対値Ｄ（ｐ）を算出する。画像特徴量算出部１４３は、画像特徴量を破綻箇所判定部１４２に供給する。
【０１６０】
ステップＳ１４３において、破綻箇所判定部１４２は、不規則性評価値および画像特徴量を基に、注目画素において内挿フレームの画像が破綻しているか否かを判定する。ステップＳ１４３において、注目画素において内挿フレームの画像が破綻していると判定された場合、ステップＳ１４４に進み、フィルタ選択部１４５は、画像の高域成分を除去する複数のフィルタから、不規則性評価値を基に、内挿フレームにおける注目画素を含む範囲の画像に適用するフィルタを選択する。例えば、ステップＳ１４４において、フィルタ選択部１４５は、フィルタ係数ROM１４４に記憶されているフィルタ係数のうち、不規則性評価値に応じた所定のフィルタ係数を読み出し、フィルタ係数ROM１４４から読み出したフィルタ係数をフィルタ処理部１４６に供給することで、内挿フレームにおける注目画素を含む範囲の画像に適用するフィルタを選択する。
【０１６１】
ステップＳ１４５において、フィルタ処理部１４６は、内挿フレームにおける注目画素を含む範囲の画像に選択されたフィルタを適用し、ステップＳ１４６に進む。すなわち、ステップＳ１４４において、フィルタ処理部１４６は、内挿フレームにおける注目画素を含む所定の範囲の画像から、画像の高域成分を除去する。例えば、フィルタ処理部１４６は、フィルタ選択部１４５から供給されたフィルタ係数で特性の定まるフィルタを、内挿フレームにおける注目画素を含む範囲の画像に適用する。
【０１６２】
図１９は、フィルタ処理部１４６において、内挿フレームにおける注目画素を含む範囲の画像に適用されるフィルタを説明する図である。図１９の横方向は、画像の周波数を示し、図１９の縦方向は、出力のレベルを示す。図１９において、点線は、フィルタ処理部１４６において適用されるフィルタの一例である、画像の高域成分を除去するフィルタ１の特性を示し、実線は、フィルタ処理部１４６において適用されるフィルタの一例であって、フィルタ１に比較して、画像の高域成分をより多く除去するフィルタ２の特性を示す。
【０１６３】
例えば、ステップＳ１４４において、式（８）で示される条件が満たされる場合、フィルタ選択部１４５は、フィルタ１を選択し、フィルタ係数ROM１４４からフィルタ１のフィルタ係数を読み出して、フィルタ処理部１４６に供給する。また、式（９）で示される条件が満たされる場合、フィルタ選択部１４５は、フィルタ２を選択し、フィルタ係数ROM１４４からフィルタ２のフィルタ係数を読み出して、フィルタ処理部１４６に供給する。
【０１６４】
そして、フィルタ選択部１４５からフィルタ係数が供給されたフィルタ処理部１４６は、ステップＳ１４５において、内挿フレームにおける注目画素を含む範囲の画像に、そのフィルタ係数に応じて、フィルタ１またはフィルタ２のいずれか一方を適用して、内挿フレームにおける注目画素を含む所定の範囲の画像から、画像の高域成分を除去する。
【０１６５】
ステップＳ１４３において、注目画素において内挿フレームの画像が破綻していないと判定された場合、ステップＳ１４４およびステップＳ１４５はスキップされ、手続きは、ステップＳ１４６に進む。
【０１６６】
ステップＳ１４６において、破綻箇所後処理部６０は、内挿フレームの全ての画素について、処理を終了したか否かを判定し、処理を終了していないと判定された場合、ステップＳ１４１に戻り、内挿フレームの次の画素について、上述した処理が繰り返される。なお、ステップＳ１４１乃至ステップＳ１４５の処理の対象となる画素は、例えば、ラスタスキャン順に選択される。
【０１６７】
ステップＳ１４６において、内挿フレームの全ての画素について処理を終了したと判定された場合、破綻箇所の後処理は終了する。
【０１６８】
このように、内挿フレームの画像の内の破綻している画像から画像の高域成分を除去するようにしたので、破綻していない画像に影響を与えることなく、また、画像の動きの滑らかさを損なうことなく、画像の破綻を目立たなく（マスキング）することができる。また、画像の破綻の程度に応じて、適応的にフィルタを用いたので、必要以上に画像の高域成分を除去することなく、画像の破綻を目立たなく（マスキング）することができる。
【０１６９】
画像の破綻が目立ちにくくなるので、画像を見ている使用者には、画像の画質が改善されたように感じられる。
【０１７０】
なお、内挿フレームの全体について、ステップＳ１４１乃至ステップＳ１４５のそれぞれの処理を実行するようにしてもよい。すなわち、例えば、内挿フレームからラスタスキャン順に選択した画素のそれぞれについて、動きベクトルの不規則性評価値を算出し、内挿フレームの全体について、動きベクトルの不規則性評価値を算出したら、内挿フレームからラスタスキャン順に選択した画素のそれぞれについて、画像特徴量を算出するなどのように、内挿フレームの全体について、それぞれのステップの処理を実行するようにしてもよい。
【０１７１】
また、破綻箇所後処理部６０において、動きベクトルのばらつきを示す値だけで、時間方向の画素値の変化を示す値を用いないで、画像が破綻しているか否かを判定するようにしてもよい。
【０１７２】
図２０は、この場合の、破綻箇所後処理部６０の構成の他の例を示すブロック図である。図２０で構成が示される破綻箇所後処理部６０は、ベクトル特徴量算出部１４１、フィルタ係数ROM１４４、フィルタ選択部１４５、フィルタ処理部１４６、および破綻箇所判定部１６１を備える。
【０１７３】
図１２に示す場合と同様の部分には同一の符号を付してありその説明は省略する。
【０１７４】
ベクトル特徴量算出部１４１は、内挿フレーム上の注目画素に割り付けられている動きベクトルと、注目画素の周辺の予め定めた範囲の画素である周辺画素に割り付けられている動きベクトルとのばらつきを示す値を算出し、算出した動きベクトルとのばらつきを示す値を破綻箇所判定部１６１に供給する。
【０１７５】
破綻箇所判定部１６１は、ベクトル特徴量算出部１４１から供給された動きベクトルのばらつきを示す値から、注目画素において内挿フレームの画像が破綻しているか否かを判定し、判定の結果を示すデータをフィルタ選択部１４５に供給する。
【０１７６】
図２１は、図２０で構成が示される破綻箇所後処理部６０による、図５のステップＳ７の破綻箇所の後処理の詳細の他の例を説明するフローチャートである。
【０１７７】
ステップＳ１６１において、ベクトル特徴量算出部１４１は、内挿フレーム上の注目している画素である注目画素の周辺の所定の範囲の画素に割り付けられている動きベクトルの不規則性評価値を算出し、不規則性評価値を破綻箇所判定部１６１に供給する。
【０１７８】
ステップＳ１６２において、破綻箇所判定部１６１は、不規則性評価値を基に、注目画素において内挿フレームの画像が破綻しているか否かを判定する。
【０１７９】
例えば、破綻箇所判定部１６１は、式（１０）で示される条件が満たされる場合、内挿フレームの画像が破綻していると判定し、式（１０）で示される条件が満たされない場合、内挿フレームの画像が破綻していないと判定する。
VDASt+k（ｐx,y）＞ＴＨpf0                                ・・・（１０）
【０１８０】
ステップＳ１６３乃至ステップＳ１６５の処理は、それぞれ、図１８のステップＳ１４４乃至ステップＳ１４６と同様なので、その説明は省略する。
【０１８１】
このように、動きベクトルのばらつきを示す値だけで、画像が破綻しているか否かを判定することができる。この場合、より簡単な処理で、画像の動きの滑らかさを損なうことなく、画像の破綻が目立たない画像を出力することができる。
【０１８２】
なお、画像補間部５８から出力された補間画像のうち、破綻した画像に後処理を適用してから、内挿フレームの全体に後処理を適用するようにしてもよい。
【０１８３】
図２２は、画像処理装置１の機能の構成の他の例を示すブロック図である。画像処理装置１は、フレームメモリ５１、ベクトル検出部５２、検出ベクトルメモリ５３、ベクトル割付部５４、割付ベクトルメモリ５５、割付フラグメモリ５６、割付補償部５７、画像補間部５８、フレーム全体後処理部５９、および破綻箇所後処理部６０を備える。図２に示す場合と同様の部分には同一の符号を付してあり、その説明は適宜省略する。
【０１８４】
画像補間部５８は、補間画像を破綻箇所後処理部６０に供給する。破綻箇所後処理部６０は、画像補間部５８から供給された補間画像の内挿フレームに含まれる画像のうち、破綻した画像に、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、予め定めた閾値と、フレームｔおよび次のフレームｔ＋１の画素値とを用いて、後処理を適用する。破綻箇所後処理部６０は、破綻した画像に後処理を適用した補間画像をフレーム全体後処理部５９に供給する。
【０１８５】
フレーム全体後処理部５９は、破綻箇所後処理部６０から供給された補間画像の内挿フレームの全体に、予め定めた混合比と、フレームｔおよび次のフレームｔ＋１の画素値とを用いて、破綻が目立たないようにする後処理を適用する。フレーム全体後処理部５９は、内挿フレームの全体に後処理を適用した、６０Ｐ信号の画像を図示せぬ後段に出力する。
【０１８６】
さらに、フレーム全体後処理部５９または破綻箇所後処理部６０のうち、いずれか一方だけを設けるようにしてもよい。
【０１８７】
図２３は、画像処理装置１の機能の構成のさらに他の例を示すブロック図である。画像処理装置１は、フレームメモリ５１、ベクトル検出部５２、検出ベクトルメモリ５３、ベクトル割付部５４、割付ベクトルメモリ５５、割付フラグメモリ５６、割付補償部５７、画像補間部５８、およびフレーム全体後処理部５９を備える。図２に示す場合と同様の部分には同一の符号を付してあり、その説明は適宜省略する。
【０１８８】
フレーム全体後処理部５９は、画像補間部５８から供給された補間画像の内挿フレームの全体に、予め定めた混合比と、フレームｔおよび次のフレームｔ＋１の画素値とを用いて、破綻が目立たないようにする後処理を適用する。フレーム全体後処理部５９は、内挿フレームの全体に後処理を適用した、６０Ｐ信号の画像を図示せぬ後段に出力する。
【０１８９】
図２４は、画像処理装置１の機能の構成のさらに他の例を示すブロック図である。画像処理装置１は、フレームメモリ５１、ベクトル検出部５２、検出ベクトルメモリ５３、ベクトル割付部５４、割付ベクトルメモリ５５、割付フラグメモリ５６、割付補償部５７、画像補間部５８、および破綻箇所後処理部６０を備える。図２に示す場合と同様の部分には同一の符号を付してあり、その説明は適宜省略する。
【０１９０】
破綻箇所後処理部６０は、画像補間部５８から供給された補間画像の内挿フレームに含まれる画像のうち、破綻した画像に、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、予め定めた閾値と、フレームｔおよび次のフレームｔ＋１の画素値とを用いて、後処理を適用する。破綻箇所後処理部６０は、破綻した画像に後処理を適用した、６０Ｐ信号の画像を図示せぬ後段に出力する。
【０１９１】
このように、第１のフレーム上の動きベクトルを検出し、第２のフレーム上の画素に、検出された動きベクトルを割り付け、割り付けられた動きベクトルに基づいて、第１のフレームおよび第３のフレームから、画素値を算出することで、第２のフレーム上の画素を生成するようにした場合には、画像を生成することができる。また、第１のフレームとの間に第２のフレームが配置される、入力された第３のフレーム上の画素であって、第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、注目画素の位置と同じ位置の第１のフレーム上の画素の画素値とから、第１のフレームの時刻から第２のフレームの時刻までの時間と、第２のフレームの時刻から第３のフレームの時刻までの時間との比率に応じて、画素値を生成し、予め定めた比率に従って、注目画素の画素値に、生成した画素値を混合するようにした場合には、簡単に、生成した画像の破綻を目立たないようにすることができる。
【０１９２】
また、本実施の形態においては、各処理を行う領域を、例えば、５画素×５画素などにより構成するようにして説明したが、これらは、一例であり、各処理を行う領域を構成する画素は、この画素数に限定されない。
【０１９３】
さらに、本実施の形態においては、２４Ｐ信号から６０Ｐ信号への信号変換を例に、説明を行ったが、本発明は、例えば、動画像のフレーム周波数変換として、インターレース信号や、他のフレームレート変換にも適用することができる。
【０１９４】
また、入力画像は、アナログ信号またはデジタル信号のどちらの信号を媒体とする画像でもよく、さらに、記録媒体から読み出した画像、放送または通信により送信されてきた画像、ネットワークを介して取得した画像などいずれの画像でもよく、本発明を限定するものではない。
【０１９５】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１９６】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１、または、プログラムが一時的もしくは永続的に格納されるROM１２や、記憶部１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１９７】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１９８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１９９】
【図１】本発明を適用した画像処理装置の構成例を表すブロック図である。
【図２】画像処理装置の機能の構成の例を示すブロック図である。
【図３】フレームを内挿する処理の原理を説明する図である。
【図４】フレームを内挿する処理をより具体的に説明する図である。
【図５】フレーム周波数を変換する処理を説明するフローチャートである。
【図６】画像補間部の構成を示すブロック図である。
【図７】画像補間処理の詳細を説明するフローチャートである。
【図８】内挿フレームを説明する図である。
【図９】フレーム全体後処理部の構成の例を示すブロック図である。
【図１０】０ベクトル補間画像生成部における画素値の生成を説明する図である。
【図１１】フレーム全体の後処理の詳細を説明するフローチャートである。
【図１２】破綻箇所後処理部の構成の例を示すブロック図である。
【図１３】ばらつきを示す値の算出の対象となる動きベクトルが割り付けられている画素の範囲を示す図である。
【図１４】VDASの算出に用いる動きベクトルが割り付けられている画素の範囲を示す図である。
【図１５】画像の破綻の誤検出を説明する図である。
【図１６】画像の破綻の誤検出を説明する図である。
【図１７】差分絶対値Ｄ（ｐ）の算出を説明する図である。
【図１８】破綻箇所の後処理の詳細を説明するフローチャートである。
【図１９】フィルタの特性を説明する図である。
【図２０】破綻箇所後処理部の構成の他の例を示すブロック図である。
【図２１】破綻箇所の後処理の詳細の他の例を説明するフローチャートである。
【図２２】画像処理装置の機能の構成の他の例を示すブロック図である。
【図２３】画像処理装置の機能の構成のさらに他の例を示すブロック図である。
【図２４】画像処理装置の機能の構成のさらに他の例を示すブロック図である。
【符号の説明】
【０２００】
１１  CPU，  １２  ROM，  １３  RAM，  １８  記憶部，  ２１  リムーバブルメディア，  ５１  フレームメモリ，  ５２  ベクトル検出部，  ５３  検出ベクトルメモリ，  ５４  ベクトル割付部，  ５５  割付ベクトルメモリ，  ５６  割付フラグメモリ，  ５７  割付補償部，  ５８  画像補間部，  ５９  フレーム全体後処理部，  ６０  破綻箇所後処理部，  １１１  ０ベクトル補間画像生成部，  １１２  画像混合部，  １４１  ベクトル特徴量算出部，  １４２  破綻箇所判定部，  １４３  画像特徴量算出部，  １４４  フィルタ係数ROM，  １４５  フィルタ選択部，  １４６  フィルタ処理部，  １６１  破綻箇所判定部
【図１】
0004650683.tif 000004
【図２】
0004650683.tif 000005
【図３】
0004650683.tif 000006
【図４】
0004650683.tif 000007
【図５】
0004650683.tif 000008
【図６】
0004650683.tif 000009
【図７】
0004650683.tif 000010
【図８】
0004650683.tif 000011
【図９】
0004650683.tif 000012
【図１０】
0004650683.tif 000013
【図１１】
0004650683.tif 000014
【図１２】
0004650683.tif 000015
【図１３】
0004650683.tif 000016
【図１４】
0004650683.tif 000017
【図１５】
0004650683.tif 000018
【図１６】
0004650683.tif 000019
【図１７】
0004650683.tif 000020
【図１８】
0004650683.tif 000021
【図１９】
0004650683.tif 000022
【図２０】
0004650683.tif 000023
【図２１】
0004650683.tif 000024
【図２２】
0004650683.tif 000025
【図２３】
0004650683.tif 000026
【図２４】
0004650683.tif 000027