(57)【特許請求の範囲】
【請求項１】
第１のフレームの動きベクトルを第２のフレームに割り付ける画像処理装置において
前記第１のフレームの着目点の動きベクトルを取得する取得手段と、
前記着目点の動きベクトルの大きさ、並びに前記着目点の動きベクトルが属する前記第１のフレーム上の領域を検出する検出手段と、
検出された前記大きさと領域に基づいて、前記着目点の動きベクトルの前記第２のフレームに対する割り付けを禁止する禁止手段と
を備える画像処理装置。
【請求項２】
前記検出手段は、前記着目点の動きベクトルが属する領域が、貫き劣化を発生するおそれがある領域であることを検出する
請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記着目点の動きベクトルが属する領域が、前景である第１の領域と、前記前景により隠されるために動きが求まらない第２の領域により挟まれた第３の領域であることを検出する
請求項１に記載の画像処理装置。
【請求項４】
前記取得手段は、前記着目点の動きベクトルである第１の動きベクトルを取得するとともに、前記着目点から前記第１の動きベクトルの方向に位置する第１の参照点の第２の動きベクトルと、前記着目点から前記第１の動きベクトルの方向と逆方向に位置する第２の参照点の第３の動きベクトルを取得し、
前記検出手段は、前記第１の動きベクトルと前記第２の動きベクトルの大きさの差、並びに前記第１の動きベクトルと前記第３の動きベクトルの大きさの差の基準値との比較に基づき前記第３の領域を検出するとともに、前記第１の動きベクトルの前記第２の動きベクトルと前記第３の動きベクトルに対する大きさを検出する
請求項３に記載の画像処理装置。
【請求項５】
前記第１の参照点は、前記第１のフレームの前記着目点から前記第１の動きベクトルの方向の画素であって、前記第１の動きベクトルの大きさをｎ対ｍに内分する位置の近傍のＮ個の画素のうちのいずれかであり、前記第２の参照点は、前記第１のフレームの前記着目点から前記第１の動きベクトルの方向と逆方向の画素であって、前記第１の動きベクトルの大きさをｍ対ｎに内分する位置の近傍のＮ個の画素のうちのいずれかである
請求項４に記載の画像処理装置。
【請求項６】
前記Ｎ個の画素は、前記内分する位置を基準として、前記第１の動きベクトルのｘ座標成分とｙ座標成分の大きさの±α倍または±β倍の範囲の画素である
請求項５に記載の画像処理装置。
【請求項７】
前記内分する比ｎ対ｍは、１対１、１対３、または３対１である
請求項５に記載の画像処理装置。
【請求項８】
前記動きベクトルの評価値を演算する演算手段と、
前記第２のフレームに対して割り付ける動きベクトルを、前記評価値に基づいて選択する選択手段と
をさらに備える請求項１に記載の画像処理装置。
【請求項９】
第１のフレームの動きベクトルを第２のフレームに割り付ける画像処理方法において、
前記第１のフレームの着目点の動きベクトルを取得し、
前記着目点の動きベクトルの大きさ、並びに前記着目点の動きベクトルが属する前記第１のフレーム上の領域を検出し、
検出された前記大きさと領域に基づいて、前記着目点の動きベクトルの前記第２のフレームに対する割り付けを禁止する
ステップを備える画像処理方法。
【請求項１０】
第１のフレームの動きベクトルを第２のフレームに割り付けるプログラムにおいて、
前記第１のフレームの着目点の動きベクトルを取得し、
前記着目点の動きベクトルの大きさ、並びに前記着目点の動きベクトルが属する前記第１のフレーム上の領域を検出し、
検出された前記大きさと領域に基づいて、前記着目点の動きベクトルの前記第２のフレームに対する割り付けを禁止する
ステップを備えるコンピュータが実行可能なプログラム。
【請求項１１】
請求項１０に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、画質の劣化を抑制することができるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
画像のフレーム周波数を変換する場合、動きベクトルの割り付けが行われる（例えば、特許文献１）。
【０００３】
例えば、時刻ｔのフレーム（以下、フレームｔとも記述する。以下、同様。）の所定の画素（例えば前景の画素）が時刻ｔ＋１のフレーム（フレームｔ＋１）上の所定の位置の画素に対応するとき、両者を結ぶベクトルがその画素の動きベクトルＶａとされる。フレーム周波数を変換する場合（フレームｔとフレームｔ＋１の間の時刻ｔ＋ｐのフレーム（フレームｔ＋ｐ）を生成する場合）、フレームｔ＋ｐ上の画素Ｇに対して、その画素Ｇの近傍を通過するフレームｔの動きベクトルが割り付けられる。例えばフレームｔ＋ｐ上の画素Ｇの近傍を動きベクトルＶａが通過する場合、画素Ｇに対して動きベクトルＶａが割り付けられる。
【０００４】
しかし、画面内に、例えば比較的ゆっくり移動する前景と高速に移動する背景が混在しているような場合、１つの画素Ｇの近傍を、前景の画素の動きベクトルＶａだけでなく、背景の画素の動きベクトルＶｂも通過することがある。
【０００５】
このような場合、２つのフレームの注目するベクトル量分ずらしたブロック間の相関値を表す差分絶対値和（DFD(Displaced Frame Difference)）を演算し、その値に基づいて画素Ｇに対応する１つの動きベクトルが決定されていた。例えば、動きベクトルＶａに基づくDFDであるDFDaと、動きベクトルＶｂに基づくDFDであるDFDｂが演算され、両者の値のうち小さい方に対応する動きベクトルが画素Ｇの動きベクトルとして割り付けられる。
【特許文献１】特開平９−１７２６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前景は本来１つのオブジェクトであり、前景の画素にはすべて前景の動きベクトルが割り付けられるべきところ、実際には前景の一部の画素に対して背景の動きベクトルが割り付けられてしまうことがある。
【０００７】
例えば、図１に示されるように、背景１００１の前に前景１００２が存在する場合において、図２に示されるように、前景１００２が、図中右方向に比較的小さい（ゆっくりとした）速度で移動しているとき、大きい速度で図中左方向に移動する背景１００１の領域のうち、前景１００２が移動した後、前景１００２により覆われる（カバーされる）領域は、動きベクトルを求めることが困難なカバード領域１００３となる。
【０００８】
例えば、背景１００１の動きが、Ｖ１（例えば、８０画素分）である場合、カバード領域１００３は、前景１００２から背景１００１の動きＶ１と逆方向に、８０画素分離れた位置に出現する。
【０００９】
カバード領域１００３においては、その動きは０とされるか（０ベクトルとされるか）、または非常に小さい動きとしてその動きベクトルが検出される。
【００１０】
このような場合、図３に示されるように、前景１００２とカバード領域１００３の間に形成される危険領域１００４の動きベクトルＶ１が、前景１００２に対して割り付けられると、その動きは前景１００２の動きではないため、前景１００２に貫き劣化部１００５が形成されてしまう。貫き劣化部１００５においては、図３に示されるように、前景１００２の一部が欠落したような画像となってしまう。
【００１１】
このようにフレームｔ＋ｐ上の画像は、画像の一部が欠損するなどして画質が劣化する問題があった。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、画質の劣化を抑制することができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面は、第１のフレームの動きベクトルを第２のフレームに割り付ける画像処理装置において前記第１のフレームの着目点の動きベクトルを取得する取得手段と、前記着目点の動きベクトルの大きさ、並びに前記着目点の動きベクトルが属する前記第１のフレーム上の領域を検出する検出手段と、検出された前記大きさと領域に基づいて、前記着目点の動きベクトルの前記第２のフレームに対する割り付けを禁止する禁止手段とを備える画像処理装置である。
【００１４】
前記検出手段は、前記着目点の動きベクトルが属する領域が、貫き劣化を発生するおそれがある領域であることを検出することができる。
【００１５】
前記検出手段は、前記着目点の動きベクトルが属する領域が、前景である第１の領域と、前記前景により隠されるために動きが求まらない第２の領域により挟まれた第３の領域であることを検出することができる。
【００１６】
前記取得手段は、前記着目点の動きベクトルである第１の動きベクトルを取得するとともに、前記着目点から前記第１の動きベクトルの方向に位置する第１の参照点の第２の動きベクトルと、前記着目点から前記第１の動きベクトルの方向と逆方向に位置する第２の参照点の第３の動きベクトルを取得し、前記検出手段は、前記第１の動きベクトルと前記第２の動きベクトルの大きさの差、並びに前記第１の動きベクトルと前記第３の動きベクトルの大きさの差の基準値との比較に基づき前記第３の領域を検出するとともに、前記第１の動きベクトルの前記第２の動きベクトルと前記第３の動きベクトルに対する大きさを検出することができる。
【００１７】
前記第１の参照点は、前記第１のフレームの前記着目点から前記第１の動きベクトルの方向の画素であって、前記第１の動きベクトルの大きさをｎ対ｍに内分する位置の近傍のＮ個の画素のうちのいずれかであり、前記第２の参照点は、前記第１のフレームの前記着目点から前記第１の動きベクトルの方向と逆方向の画素であって、前記第１の動きベクトルの大きさをｍ対ｎに内分する位置の近傍のＮ個の画素のうちのいずれかとすることができる。
【００１８】
前記Ｎ個の画素は、前記内分する位置を基準として、前記第１の動きベクトルのｘ座標成分とｙ座標成分の大きさの±α倍または±β倍の範囲の画素とすることができる。
【００１９】
前記内分する比ｎ対ｍは、１対１、１対３、または３対１とすることができる。
【００２０】
前記動きベクトルの評価値を演算する演算手段と、前記第２のフレームに対して割り付ける動きベクトルを、前記評価値に基づいて選択する選択手段とをさらに備えることができる。
【００２１】
また、本発明の側面は、第１のフレームの動きベクトルを第２のフレームに割り付ける画像処理方法、プログラム、または記録媒体において、前記第１のフレームの着目点の動きベクトルを取得し、前記着目点の動きベクトルの大きさ、並びに前記着目点の動きベクトルが属する前記第１のフレーム上の領域を検出し、検出された前記大きさと領域に基づいて、前記着目点の動きベクトルの前記第２のフレームに対する割り付けを禁止するステップを備える画像処理方法、プログラム、または記録媒体である。
【００２２】
本発明の一側面においては、第１のフレームの着目点の動きベクトルの大きさ、並びに着目点の動きベクトルが属する第１のフレーム上の領域が検出され、検出された大きさと領域に基づいて、着目点の動きベクトルの第２のフレームに対する割り付けが禁止される。
【発明の効果】
【００２３】
以上のように、本発明の一側面によれば、高品質の画像を得ることができる。特に、本発明の一側面によれば、画像のフレーム周波数を変換した場合における画像の一部の欠損を抑制することができる。
【発明を実施するための最良の形態】
【００２４】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２５】
本発明の一側面は、第１のフレーム（例えば、図３７のフレームｔ１）の動きベクトルを第２のフレーム（例えば、図３７のフレームＦ）に割り付ける画像処理装置（例えば、図４の画像信号記録再生装置１）において、前記第１のフレームの着目点（例えば、図２７の着目画素２８１）の動きベクトル（例えば、図２７の動きベクトルＶｃ）を取得する取得手段（例えば、図２４のステップＳ２５２の処理を実行する図１６の貫き改善処理部７０６）と、前記着目点の動きベクトルの大きさ、並びに前記着目点の動きベクトルが属する前記第１のフレーム上の領域を検出する検出手段（例えば、図２４のステップＳ２５９、Ｓ２６０の処理を実行する図１６の貫き改善処理部７０６）と、検出された前記大きさと領域に基づいて、前記着目点の動きベクトルの前記第２のフレームに対する割り付けを禁止する禁止手段（例えば、図２４のステップＳ２６２の処理を実行する図１６の貫き改善処理部７０６）とを備える画像処理装置である。
【００２６】
前記検出手段は、前記着目点(例えば、図３９の画素１０１５)の動きベクトル（例えば、図３９の動きベクトルＶ１）が属する領域が、貫き劣化を発生するおそれがある領域(例えば、図３９の危険領域１０１４)であることを検出することができる。
【００２７】
前記検出手段は、前記着目点(例えば、図３７の着目画素３０１)の動きベクトル（例えば、図３７の動きベクトルＶｃ）が属する領域が、前景である第１の領域(例えば、図３７の前景３０２)と、前記前景により隠されるために動きが求まらない第２の領域(例えば、図３７のカバード領域３２１)により挟まれた第３の領域(例えば、図３７の領域３９１)であることを検出することができる。
【００２８】
前記取得手段は、前記着目点(例えば、図２７の着目画素２８１)の動きベクトルである第１の動きベクトル（例えば、図２７の動きベクトルＶｃ）を取得するとともに、前記着目点から前記第１の動きベクトルの方向に位置する第１の参照点(例えば、図２７の参照点２８２)の第２の動きベクトル(例えば、図２７の動きベクトルＶｌ)と、前記着目点から前記第１の動きベクトルの方向と逆方向に位置する第２の参照点(例えば、図２７の参照点２８３)の第３の動きベクトル(例えば、図２７の動きベクトルＶｒ)を取得し、前記検出手段は、前記第１の動きベクトルと前記第２の動きベクトルの大きさの差(例えば、式(１５)のＭL)、並びに前記第１の動きベクトルと前記第３の動きベクトルの大きさの差(例えば、式(１６)のＭR)の基準値(例えば、値２８)との比較に基づき前記第３の領域を検出するとともに、前記第１の動きベクトルの前記第２の動きベクトルと前記第３の動きベクトルに対する大きさ(例えば、式(１７)，式（１８）)を検出することができる。
【００２９】
前記第１の参照点は、前記第１のフレームの前記着目点(例えば、図３４の着目画素２８１)から前記第１の動きベクトル(例えば、図３４の動きベクトルＶｃ)の方向の画素であって、前記第１の動きベクトルの大きさをｎ対ｍに内分する位置(例えば、図３４の参照点２８２)の近傍のＮ個(例えば、図３４の９個)の画素(例えば、図３４の参照点２８２、周囲参照点２８２−１乃至２８２−８)のうちのいずれかであり、前記第２の参照点は、前記第１のフレームの前記着目点から前記第１の動きベクトルの方向と逆方向の画素であって、前記第１の動きベクトルの大きさをｍ対ｎに内分する位置(例えば、図３４の参照点２８３)の近傍のＮ個の画素(例えば、図３４の参照点２８３、周囲参照点２８３−１乃至２８３−８)のうちのいずれかとすることができる。
【００３０】
前記Ｎ個の画素は、前記内分する位置を基準として、前記第１の動きベクトルのｘ座標成分(例えば、図３４の｜Vcx｜)とｙ座標成分(例えば、図３４の｜Vcy｜)の大きさの±α倍または±β倍の範囲の画素とすることができる。
【００３１】
前記内分する比ｎ対ｍは、１対１(例えば、図３４)、１対３(例えば、図３６)、または３対１(例えば、図３５)とすることができる。
【００３２】
前記動きベクトルの評価値(例えば、DFD、差異性)を演算する演算手段(例えば、図２２のステップＳ２０３の処理を実行する図１６の評価値演算部７０２、図４８のステップＳ７８１の処理を実行する図４３の評価値演算部７５２)と、前記第２のフレームに対して割り付ける動きベクトルを、前記評価値に基づいて選択する選択手段(例えば、図４２のステップＳ７４９の処理を実行する図１６のベクトル選択部７０５、図４８のステップＳ７８７の処理を実行する図４３のベクトル選択部７５４)とをさらに備えることができる。
【００３３】
また、本発明の側面は、第１のフレーム（例えば、図３７のフレームｔ１）の動きベクトルを第２のフレーム（例えば、図３７のフレームＦ）に割り付ける画像処理方法、プログラム、または記録媒体において、前記第１のフレームの着目点（例えば、図２７の着目画素２８１）の動きベクトル（例えば、図２７の動きベクトルＶｃ）を取得し（例えば、図２４のステップＳ２５２）前記着目点の動きベクトルの大きさ、並びに前記着目点の動きベクトルが属する前記第１のフレーム上の領域を検出し（例えば、図２４のステップＳ２５９，Ｓ２６０）、検出された前記大きさと領域に基づいて、前記着目点の動きベクトルの前記第２のフレームに対する割り付けを禁止するステップ（例えば、図２４のステップＳ２６２）を備える画像処理方法、プログラム、または記録媒体である。
【００３４】
以下、図を参照して本発明の実施の形態について説明する。
【００３５】
図４は、本発明を適用した画像処理装置としての画像信号記録再生装置の構成を示すブロック図である。この画像信号記録再生装置１は、画像信号入力部２、信号処理装置３、並びに画像信号出力部４により構成されている。
【００３６】
画像信号入力部２は、例えばチューナやディスクドライバなどにより構成され、受信した画像信号あるいは記録媒体より再生した画像信号を信号処理装置３に出力する。信号処理装置３は、画像信号入力部２より供給された画像信号のフレーム周波数の変換処理を実行する。信号処理装置３より出力されたフレーム周波数が変換された画像信号は、画像信号出力部４に供給される。画像信号出力部４は、信号処理装置３より入力された画像信号をLCD（Liquid Crystal Display）やCRT（cathode-ray tube）などの表示部に出力し、表示させる他、さらにユーザからの指示に応じて図示せぬ記録媒体に記録する。
【００３７】
図５は、信号処理装置３の構成を示すブロック図である。
【００３８】
なお、信号処理装置３の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えてもよい。
【００３９】
図５に構成を示す信号処理装置３においては、例えば、フレーム周波数が２４Ｈｚのプログレッシブ画像信号（以下、２４Ｐ信号と称する）の画像が入力され、入力された画像（入力画像）が、フレーム周波数が６０Ｈｚのプログレッシブ画像信号（以下、６０Ｐ信号と称する）の画像に変換されて、出力される。
【００４０】
信号処理装置３に入力された２４Ｐ信号の入力画像は、フレームメモリ５１、ベクトル検出部５２、ベクトル割付部５４、割付補償部５７、および画像補間部５８に供給される。フレームメモリ５１は、入力画像をフレーム単位で記憶し、出力する（１フレーム分の時間だけ遅延して出力する）。フレームメモリ５１は、時刻ｔ＋１の入力画像の１つ前の時刻ｔのフレームを記憶する。フレームメモリ５１に記憶される時刻ｔのフレームは、ベクトル検出部５２、ベクトル割付部５４、割付補償部５７、および画像補間部５８に供給される。なお、以下、フレームメモリ５１上の時刻ｔのフレームをフレームｔと称し、時刻ｔ＋１の入力画像のフレームを、フレームｔ＋１と称する。
【００４１】
ベクトル検出部５２は、フレームメモリ５１上のフレームｔの着目ブロックと、入力画像のフレームｔ＋１の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ５３に記憶する。この２フレーム間の動きベクトルの検出方法には、勾配法またはブロックマッチング法などが用いられる。ベクトル検出部５２の構成の詳細は、図１２を参照して後述する。検出ベクトルメモリ５３は、フレームｔにおいて、ベクトル検出部５２により検出された動きベクトルを記憶する。
【００４２】
ベクトル割付部５４は、２４Ｐ信号のフレームｔ上において求められた動きベクトルを、割付ベクトルメモリ５５上の、補間する６０Ｐ信号のフレーム（以下、６０Ｐ信号のフレームは、２４Ｐ信号のフレームと区別するため、内挿フレームとも称する）上の画素に割り付け、動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグを１(true)に書き換える。ベクトル割付部５４の構成の詳細は、図１６と図４３を参照して後述する。
【００４３】
割付ベクトルメモリ５５は、ベクトル割付部５４により割り付けられた動きベクトルを、内挿フレームの各画素に対応させて記憶する。割付フラグメモリ５６は、内挿フレームの画素毎に、割り付けられる動きベクトルの有無を示す割付フラグを記憶している。例えば、true(1)である割付フラグは、対応する画素に動きベクトルが割り付けられていることを示し、false(0)である割付フラグは、対応する画素に動きベクトルが割り付けられていないことを示す。
【００４４】
割付補償部５７は、割付フラグメモリ５６の割付フラグを参照し、ベクトル割付部５４により動きベクトルが割り付けられなかった着目画素に対して、その着目画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ５５の内挿フレーム上に割り付ける。このとき、割付補償部５７は、動きベクトルを割り付けた着目画素の割付フラグを１(true)に書き換える。割付補償部５７の構成の詳細は、図４９を参照して後述する。
【００４５】
画像補間部５８は、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよび次のフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成する。そして、画像補間部５８は、生成された内挿フレームを出力し、その次に、必要に応じて、フレームｔ＋１を出力することにより、６０Ｐ信号の画像を、後段の画像信号出力部４に出力する。なお、以下においては、画素値を、適宜、輝度値とも称する。
【００４６】
図６は、信号処理装置３における処理の原理を説明する図である。図６の例においては、点線が、信号処理装置３に入力される、時刻ｔ，ｔ＋１，およびｔ＋２における２４Ｐ信号のフレームを表しており、実線が、入力された２４Ｐ信号から信号処理装置３により、生成される時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，ｔ＋１．６，およびｔ＋２における６０Ｐ信号の内挿フレームを表している。
【００４７】
一般に、２４Ｐ信号を、６０Ｐ信号に変換するためには、５／２倍のフレームが必要になる。すなわち、２枚の２４Ｐ信号の画像から５枚の６０Ｐ信号の画像が生成されなければならない。このとき、生成される６０Ｐ信号の内挿フレームは、そのフレーム間隔を等しくするために、２４Ｐ信号上での時間位相が０．０，０．４，０．８，１．２，および１．６となる位置に配置される。この中で、時間位相が０．０である時刻ｔの１フレームを除く４フレーム（ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６のフレーム）は、２４Ｐ信号上には存在しない画像である。したがって、信号処理装置３は、２４Ｐ信号の画像が入力されると、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームから、４つの内挿フレームを生成する。したがって、信号処理装置３からは、時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６の５枚のフレームからなる６０Ｐ信号の画像が出力される。
【００４８】
以上のようにして、信号処理装置３は、２４Ｐ信号の画像から６０Ｐ信号の画像に、フレーム周波数を変換する処理を実行する。
【００４９】
なお、原理的には、上述したように、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームから、時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６の５枚の６０Ｐ信号のフレームが新しく生成されるが、実際には、図６の例の場合、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームに基づいて、ｔ，ｔ＋０．４，ｔ＋０．８の６０Ｐ信号のフレームが生成され、２４Ｐ信号の時刻ｔ＋１およびｔ＋２の２枚のフレームに基づいて、ｔ＋１．２，ｔ＋１．６，およびｔ＋２の６０Ｐ信号のフレームが生成される。
【００５０】
図７は、信号処理装置３の処理をより具体的に説明する図である。図７の例においては、太線矢印は、各状態への遷移を表しており、矢印Ｔは、状態８１乃至８５における時間の経過方向を表している。また、状態８１乃至８５は、信号処理装置３を構成する各部への入出力時の、２４Ｐ信号の時刻ｔのフレームｔ、時刻ｔの次の時刻ｔ＋１のフレームｔ＋１、または、フレームｔおよびフレームｔ＋１の間に生成される６０Ｐ信号の内挿フレームＦの状態を概念的に表している。すなわち、実際には、例えば、状態８２に示されるような動きベクトルが検出されたフレームがベクトル割付部５４に入力される訳ではなく、フレームと動きベクトルは、別々にベクトル割付部５４に入力される。
【００５１】
状態８１は、ベクトル検出部５２に入力される、２４Ｐ信号のフレームｔおよびフレームｔ＋１の状態を表している。状態８１のフレームｔ上の黒点は、フレームｔ上の画素を表している。ベクトル検出部５２は、状態８１のフレームｔ上の画素が、次の時刻のフレームｔ＋１において、どの位置に移動するかを検出し、その動きを、状態８２のフレームｔ上に示されるように、各画素に対応する動きベクトルとして出力する。この２フレーム間の動きベクトルの検出方法には、ブロックマッチング法または勾配法などが用いられる。なお、このとき、画素に複数の動きベクトルが検出された場合、ベクトル検出部５２は、各動きベクトルについて、図８を参照して後述する評価値を求め、その評価値に基づいて動きベクトルを選択する。
【００５２】
状態８２は、ベクトル割付部５４に入力される、フレームｔおよびフレームｔ＋１の状態を表している。状態８２において、フレームｔの各画素の矢印は、ベクトル検出部５２により検出された動きベクトルを表している。
【００５３】
ベクトル割付部５４は、状態８２のフレームｔの各画素に対して検出された動きベクトルを、次のフレームｔ＋１まで延長させ、予め設定されている時間位相（例えば、図６のｔ＋０．４）にある内挿フレームＦ上のどの位置を通過するかを求める。これは、フレームｔおよびフレームｔ＋１の間が一定動きであると仮定すると、動きベクトルが内挿フレームＦを通過した点が、そのフレームでの画素位置となるためである。したがって、ベクトル割付部５４は、この通過する動きベクトルを、状態８３の内挿フレームＦ上の近傍４画素に割り付ける。また、このとき、内挿フレームの画素によっては、動きベクトルが存在しない場合、あるいは、複数の動きベクトルが、割付候補となりうる場合がある。後者のような場合には、ベクトル割付部５４は、ベクトル検出部５２と同様に、各動きベクトルについての評価値を求め、その評価値に基づいて割り付ける動きベクトルを選択する。
【００５４】
状態８３は、割付補償部５７に入力される、フレームｔおよびフレームｔ＋１、並びに動きベクトルが割り付けられた内挿フレームＦの状態を表している。状態８３の内挿フレームＦにおいては、ベクトル割付部５４により動きベクトルが割り付けられている画素と、動きベクトルが割り付けられなかった画素が示されている。
【００５５】
割付補償部５７は、状態８３の動きベクトルが割り付けられていない画素に対して、その画素の周辺画素に割り付けられている動きベクトルを用いて補う。これは、ある着目画素の近傍領域が同じ動きであるという仮定が成り立つならば、着目画素の周辺画素の動きベクトルと、その着目画素の動きベクトルは似たものであることに基づく処理である。これにより、動きベクトルが割り付けられなかった画素にも、ある程度正確な動きベクトルが与えられ、状態８４の内挿フレームＦ上のすべての画素に動きベクトルが割り付けられる。なお、この場合にも、複数の周辺画素の動きベクトルが候補として存在するため、割付補償部５７は、ベクトル割付部５４と同様に、各動きベクトルについての評価値を求め、その評価値に基づいて割り付ける動きベクトルを選択する。
【００５６】
状態８４は、画像補間部５８に入力される、フレームｔおよびフレームｔ＋１、並びに、すべての画素に動きベクトルが割り付けられた内挿フレームＦの状態を表している。これらのすべての画素に割り付けられた動きベクトルにより、画像補間部５８は、内挿フレームＦ上の画素と、２枚のフレームｔおよびフレームｔ＋１の画素の位置関係を決定することができる。したがって、画像補間部５８は、内挿フレームＦ上に割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、状態８５の内挿フレームＦの黒点に示されるように、内挿フレームＦ上の画素値を補間生成する。そして、画像補間部５８は、生成された内挿フレームを出力し、その次に、必要に応じて、フレームｔ＋１を出力することにより、６０Ｐ信号の画像を、後段の画像信号出力部４に出力する。
【００５７】
次に、図８を参照して、信号処理装置３において用いられる動きベクトルの評価値を説明する。図７を参照して上述したように、信号処理装置３の各部（ベクトル検出部５２、ベクトル割付部５４、および割付補償部５７）において、後段の処理に最適な動きベクトルが選択される。このとき、信号処理装置３の各部においては、動きベクトルに対する評価値として、２つのフレームの注目するベクトルに対応する分だけずらしたブロック間の相関値を表す差分絶対値和（DFD(Displaced Frame Difference)）が用いられる。
【００５８】
図８の例においては、時刻ｔのフレームｔ上の画素位置ｐを中心としたｍ×ｎのブロック、および、時刻ｔ＋１のフレームｔ＋１上の画素位置ｐから注目する動きベクトルｖのベクトル量分ずらした画素位置ｐ＋ｖを中心としたｍ×ｎのブロックの２つのブロックが示されている。これら２つのブロック間において求められる差分絶対値和DFDt（ｐ）は、次の式（１）で表される。
【００５９】
【数１】
0004655217.tif 000002
・・・（１）
【００６０】
ここで、Ｆt（ｐ）は、時刻ｔにおける画素位置ｐの輝度値を表しており、ｍ×ｎは、差分絶対値和を求めるためのDFD演算範囲（ブロック）を表している。この差分絶対値和は、２つのフレームにおけるDFD演算範囲（ブロック）間の相関値を表しているため、一般的には、この差分絶対値和が小さいほどフレーム間のブロックの波形が一致しており、差分絶対値和が小さいほど、動きベクトルｖの信頼度が高いと判定される。これにより、この差分絶対値和は、複数の候補の中から、最も確からしい動きベクトルを選ぶ場合などに用いられる。
【００６１】
したがって、以降、信号処理装置３の各部（ベクトル検出部５２、ベクトル割付部５４、および割付補償部５７）においては、動きベクトルが選択される場合の評価値として、特に言及しない場合には、差分絶対値和（以下、評価値DFDと称する）が用いられることとする。
【００６２】
次に、図９のフローチャートを参照して、信号処理装置３のフレーム周波数を変換する処理を説明する。
【００６３】
ステップＳ１において、ベクトル検出部５２は、フレームの画素値を入力する。すなわち、時刻ｔ＋１の入力画像のフレームｔ＋１と、フレームメモリ５１に記憶されている入力画像の１つ前の時刻ｔのフレームｔの画素値が入力される。なお、このとき、ベクトル割付部５４、割付補償部５７および画像補間部５８も、時刻ｔ＋１の入力画像のフレームｔ＋１と、フレームメモリ５１の入力画像の１つ前の時刻ｔのフレームｔの画素値を入力する。
【００６４】
ステップＳ２において、ベクトル検出部５２は、動きベクトル検出処理を実行する。すなわち、ベクトル検出部５２は、フレームメモリ５１上のフレームｔの着目ブロックと、入力画像である次のフレームｔ＋１の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ５３に記憶する。この２フレーム間の動きベクトルの検出方法には、勾配法またはブロックマッチング法などが用いられる。また、動きベクトルの候補が複数ある場合には、各動きベクトルに対して、評価値DFDが求められ、求められた評価値DFDに基づいた信頼度の高い動きベクトルが検出される。すなわち、この場合、動きベクトルを検出する着目ブロックにおいて、最も確からしい動きベクトルが選択され、検出される。ステップＳ２における、動きベクトル検出処理の詳細は、図１５を参照して後述する。
【００６５】
ステップＳ３において、ベクトル割付部５４は、ベクトル割付処理を実行する。すなわち、ベクトル割付部５４は、ステップＳ３において、フレームｔ上において求められた動きベクトルを、割付ベクトルメモリ５５上の、補間する内挿フレーム上の着目画素に割り付け、動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグを１(true)に書き換える。例えば、trueである割付フラグは、対応する画素に動きベクトルが割り付けられていることを示し、falseである割付フラグは、対応する画素に動きベクトルが割り付けられていないことを示す。なお、各画素において、動きベクトルの候補が複数ある場合には、各動きベクトルに対して、評価値DFDが求められ、求められた評価値DFDに基づいた信頼度の高い動きベクトルが割り付けられる。すなわち、この場合、動きベクトルを割り付ける着目画素において、最も確からしい動きベクトルが選択され、割り付けられる。ステップＳ３における、ベクトル割付処理の詳細は、図２２と図４６を参照して後述する。
【００６６】
ステップＳ４において、割付補償部５７は、割付補償処理を実行する。すなわち、割付補償部５７は、ステップＳ４において、割付フラグメモリ５６の割付フラグを参照し、ベクトル割付部５４により動きベクトルが割り付けられなかった着目画素に対して、その着目画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ５５の内挿フレーム上に割り付ける。このとき、割付補償部５７は、動きベクトルを補い、割付けた着目画素の割付フラグを１(true)に書き換える。なお、周辺画素の動きベクトルが複数ある場合には、各動きベクトルに対して、評価値DFDが求められ、求められた評価値DFDに基づいた、信頼度の高い動きベクトルが割り付けられる。すなわち、この場合、動きベクトルを割り付ける着目画素において、最も確からしい動きベクトルが選択され、割り付けられる。ステップＳ５４における、割付補償処理の詳細は、図６１を参照して後述する。
【００６７】
ステップＳ５において、画像補間部５８は、画像補間処理を実行する。すなわち、画像補間部５８は、ステップＳ５において、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成する。ステップＳ５における、画像補間処理の詳細は、図１１を参照して後述する。画像補間部５８は、ステップＳ６において、６０Ｐ信号の画像を出力し（生成された内挿フレームを出力し）、その次に、必要に応じて、フレームｔ＋１を出力することにより、６０Ｐ信号の画像を、後段の画像信号出力部４に出力する。
【００６８】
ステップＳ７において、ベクトル検出部５２は、すべてのフレームの処理が終了したかを判断し、すべてのフレームの処理がまだ終了していないと判断した場合、処理はステップＳ１に戻り、それ以降の処理が繰り返される。一方、ベクトル検出部５２は、ステップＳ７において、すべてのフレームの処理が終了したと判断した場合、フレーム周波数を変換する処理を終了する。
【００６９】
以上のように、信号処理装置３は、２４Ｐ信号の入力画像のフレームから動きベクトルを検出し、検出した動きベクトルを、６０Ｐ信号のフレーム上の画素に割付け、割付けられた動きベクトルに基づいて、６０Ｐ信号のフレーム上の画素値を生成する。このとき、信号処理装置３は、各処理において、評価値DFD（差分絶対値和）に基づく、より信頼度の高い動きベクトルを選択する。したがって、信号処理装置３においては、動きが破綻することなどが抑制され、より精度のよい画像を生成することができる。
【００７０】
次に、画像補間部５８の構成の詳細について説明する。
【００７１】
図１０は、画像補間部５８の構成を示すブロック図である。図１０に構成を示す画像補間部５８は、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成し、６０Ｐ信号の画像を出力する処理を行う。
【００７２】
図１０の例において、時刻ｔの画像のフレームｔは、空間フィルタ９２−１に入力され、時刻ｔ＋１の画像のフレームｔ＋１は、空間フィルタ９２−２およびバッファ９５に入力される。
【００７３】
補間制御部９１は、割付ベクトルメモリ５５の内挿フレームの画素を選択し、選択した画素に割り付けられている動きベクトルに基づいて、内挿フレーム上の画素と、２枚のフレームｔおよびフレームｔ＋１の画素との位置関係（空間シフト量）をそれぞれ求める。すなわち、補間制御部９１は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ上の位置と、内挿フレームの画素に対応するフレームｔ上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−１に供給する。同様に、補間制御部９１は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ＋１上の位置と、内挿フレームの画素に対応するフレームｔ＋１上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−２に供給する。
【００７４】
また、補間制御部９１は、予め設定されている内挿フレームの時間位相（時刻）に基づいて、フレームｔとフレームｔ＋１の間における補間重みを求め、求めた補間重みを、乗算器９３−１および９３−２に設定する。例えば、内挿フレームの時刻が、フレームｔ＋１の時刻ｔ＋１から「ｋ」離れた時刻で、かつ、フレームｔの時刻ｔから「１−ｋ」離れた時刻である場合（すなわち、内挿フレームが時刻ｔと時刻ｔ＋１を「１−ｋ」：「ｋ」に内分する時刻に生成される場合）、補間制御部９１は、乗算器９３−１に「１−ｋ」の補間重みを設定し、乗算器９３−２に「ｋ」の補間重みを設定する。
【００７５】
空間フィルタ９２−１および９２−２は、例えば、キュービックフィルタなどにより構成される。空間フィルタ９２−１は、入力されるフレームｔ上の画素の画素値と、補間制御部９１から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、フレームｔ上の画素値を求め、求めた画素値を乗算器９３−１に出力する。空間フィルタ９２−２は、入力されるフレームｔ＋１上の画素の画素値と、補間制御部９１から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、フレームｔ＋１上の画素値を求め、求めた画素値を乗算器９３−２に出力する。
【００７６】
なお、内挿フレームの画素の位置が、フレームｔまたはフレームｔ＋１上の画素の位置と一致しない場合（すなわち、内挿フレームの画素の位置が、フレームｔまたはフレームｔ＋１において画素以下成分である（画素と画素の間の位置である）場合）、空間フィルタ９２−１および９２−２は、フレームｔまたはフレームｔ＋１における内挿フレームの画素の位置の周辺４画素の画素値を用いて、周辺４画素の距離の逆比の和を求めることにより、内挿フレームの画素に対応するフレーム上の画素値を求める。すなわち、画素以下位置の画素値は、周辺４画素との距離を基にした線形補間で値が求められる（その詳細は、図１７を参照して後述する）。
【００７７】
乗算器９３−１は、空間フィルタ９２−１から入力されるフレームｔ上の画素値に、補間制御部９１により設定された補間重み「１−ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。乗算器９３−２は、空間フィルタ９２−２から入力されるフレームｔ＋１上の画素値に、補間制御部９１により設定された補間重み「ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。
【００７８】
加算器９４は、乗算器９３−１から入力される画素値と、乗算器９３−２から入力される画素値を加算することにより、内挿フレームの画素の画素値を生成し、生成された内挿フレームの画素値を、バッファ９５に出力する。バッファ９５は、入力されたフレームｔ＋１をバッファしている。バッファ９５は、生成された内挿フレームを出力し、その次に、予め設定されている６０Ｐフレームの時間位相（時刻）に基づいて、必要に応じて、バッファしているフレームｔ＋１を出力することにより、６０Ｐ信号の画像を、後段に出力する。
【００７９】
以上のように構成される画像補間部５８の画像補間処理の詳細を、図１１のフローチャートを参照して説明する。
【００８０】
補間制御部９１は、ステップＳ５１において、処理する内挿フレームの補間重みを求める。すなわち、処理する内挿フレームの時間位相に基づいて、フレームｔとフレームｔ＋１の間における内挿フレームの補間重み（例えば、「ｋ」および「１−ｋ」）が求められ、求められた補間重みが、乗算器９３−１および９３−２にそれぞれ設定される。補間制御部９１は、ステップＳ５２において、割付ベクトルメモリ５５の内挿フレーム上の画素を選択する。なお、内挿フレーム上の画素は、フレームの左上の画素からラスタスキャン順に１個ずつ選択される。
【００８１】
補間制御部９１は、ステップＳ５３において、選択された画素の動きベクトルに基づいて、空間シフト量を求める。すなわち、ステップＳ５２で選択された画素に割り付けられている動きベクトルに基づいて、内挿フレーム上の画素と、２枚のフレームｔおよびフレームｔ＋１の画素との位置関係（空間シフト量）がそれぞれ求められ、求められた空間シフト量が、それぞれ空間フィルタ９２−１および９２−２に供給される。具体的には、補間制御部９１は、ステップＳ５３において、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ上の位置と、内挿フレームの画素に対応するフレームｔ上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−１に供給する。同様に、補間制御部９１は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ＋１上の位置と、内挿フレームの画素に対応するフレームｔ＋１上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−２に供給する。
【００８２】
時刻ｔの画像のフレームｔの画素値は、空間フィルタ９２−１に入力され、時刻ｔ＋１の画像のフレームｔ＋１の画素値は、空間フィルタ９２−２に入力されている。ステップＳ５４において、空間フィルタ９２−１および９２−２は、内挿フレームの画素に対応する各フレーム上の画素値を求める。すなわち、入力されるフレームｔおよびｔ＋１上の画素の画素値と、補間制御部９１から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、各フレーム上の画素値が求められ、求められた画素値が乗算器９３−１および９３−２にそれぞれ出力される。
【００８３】
乗算器９３−１および９３−２は、ステップＳ５５において、画素値に重み付けをする。すなわち、空間フィルタ９２−１または９２−２から入力される各フレーム上の画素値に、補間制御部９１により設定された補間重みが重み付けされ、重み付けされた画素値が、加算器９４に出力される。具体的には、乗算器９３−１は、空間フィルタ９２−１から入力されるフレームｔ上の画素値に、補間制御部９１により設定された補間重み「１−ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。乗算器９３−２は、空間フィルタ９２−２から入力されるフレームｔ＋１上の画素値に、補間制御部９１により設定された補間重み「ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。
【００８４】
加算器９４は、ステップＳ５６において、選択された画素の画素値を生成する。すなわち、乗算器９３−１により重み付けされた画素値と、乗算器９３−２により重み付けされた画素値を加算することにより、内挿フレームの画素の画素値が生成され、生成された画素値が、バッファ９５に出力される。補間制御部９１は、ステップＳ５７において、内挿フレーム上のすべての画素についての処理が終了したかを判断し、内挿フレーム上のすべての画素についての処理がまだ終了していないと判断した場合、処理はステップＳ５２に戻り、それ以降の処理が繰り返される。補間制御部９１は、ステップＳ５７において、内挿フレーム上のすべての画素についての処理が終了したと判断した場合、画像補間処理を終了する。
【００８５】
以上のように、内挿フレームに割り付けられた動きベクトルに基づいて、内挿フレームの画素値が生成され、上述した図９のステップＳ６において、バッファ９５により、内挿フレームが出力され、その次に、必要に応じて、フレームｔ＋１が出力されることにより、６０Ｐ信号の画像が、後段に出力される。したがって、内挿フレームの画素に、最も確からしい動きベクトルが割り付くので、精度のよい内挿フレームを生成することができる。
【００８６】
次に、ベクトル検出部５２の構成の詳細について説明する。
【００８７】
図１２は、ベクトル検出部５２の構成を示すブロック図である。図１２に構成を示すベクトル検出部５２は、入力される時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１を用いて、フレームｔ上の動きベクトルを検出する。この動きベクトルを検出する処理は、複数の画素からなる所定のブロック毎に実行される。
【００８８】
初期ベクトル選択部１０１は、所定のブロック毎に、過去の動きベクトルの検出結果から求められる信頼度が高い動きベクトルを、勾配法に用いられる初期値となる初期ベクトルＶ０として、反復勾配法演算部１０３に出力する。具体的には、初期ベクトル選択部１０１は、検出ベクトルメモリ５３に記憶されてい過去に求められた周辺のブロックの動きベクトルや、シフト初期ベクトルメモリ１０７に記憶されているシフト初期ベクトルを、初期ベクトルの候補ベクトルとして選択する。そして、初期ベクトル選択部１０１は、フレームｔとフレームｔ＋１を用いて、候補ベクトルの評価値DFDを求め、候補ベクトルの中から、求められた評価値DFDに基づく、最も信頼度が高いものを選択し、初期ベクトルＶ０として出力する。
【００８９】
プリフィルタ１０２−１および１０２−２は、ローパスフィルタやガウシアンフィルタにより構成され、それぞれ、入力される画像のフレームｔおよびフレームｔ＋１のノイズ成分を除去し、反復勾配法演算部１０３に出力する。
【００９０】
反復勾配法演算部１０３は、初期ベクトル選択部１０１から入力された初期ベクトルＶ０と、プリフィルタ１０２−１および１０２−２を介して入力されるフレームｔおよびフレームｔ＋１を用いて、所定のブロック毎に、勾配法により、動きベクトルＶｎを算出する。反復勾配法演算部１０３は、初期ベクトルＶ０と、算出された動きベクトルＶｎをベクトル評価部１０４に出力する。また、反復勾配法演算部１０３は、ベクトル評価部１０４による動きベクトルの評価結果に基づいて、勾配法の演算を繰り返し行い、動きベクトルＶｎを算出する。
【００９１】
ベクトル評価部１０４は、反復勾配法演算部１０３からの動きベクトルＶｎ−１（または初期ベクトルＶ０）と、動きベクトルＶｎの評価値DFDを求め、求められた評価値DFDに基づいて、反復勾配法演算部１０３を制御し、勾配法の演算を繰り返し実行させ、最終的に、評価値DFDに基づく、信頼性の高いものを選択し、動きベクトルＶとして、検出ベクトルメモリ５３に記憶する。このとき、ベクトル評価部１０４は、動きベクトルＶとともに、その動きベクトルＶに対して求められた評価値DFDを、シフト初期ベクトル割付部１０５に供給する。
【００９２】
シフト初期ベクトル割付部１０５は、ベクトル評価部１０４より動きベクトルＶおよびその評価値DFDが供給されると、次のフレーム上の着目ブロックを通過する動きベクトルを、その着目ブロックにシフトさせた、シフト初期ベクトルとして設定する。換言すると、シフト初期ベクトル割付部１０５は、動きベクトルＶの終点のブロックと同じ位置の次のフレーム上の着目ブロックを始点とした、動きベクトルＶと同じ大きさで同じ向きの動きベクトルを、シフト初期ベクトルとして設定する。そして、シフト初期ベクトル割付部１０５は、設定したシフト初期ベクトルを、着目ブロックに対応させて、シフト初期ベクトルメモリ１０７に割り付ける。
【００９３】
具体的には、シフト初期ベクトル割付部１０５は、シフト初期ベクトルとして割り付けられた動きベクトルＶの評価値DFDを、着目ブロックに対応させて、評価値メモリ１０６に記憶させておき、同じ着目ブロックを通過する（すなわち、着目ブロックと同じ位置の過去のフレームのブロックを終点とする）他の動きベクトルＶの評価値DFDと比較する。そして、シフト初期ベクトル割付部１０５は、評価値DFDに基づく、信頼度が高いとされた動きベクトルＶを、着目ブロックにシフトさせ、着目ブロックのシフト初期ベクトルとして、シフト初期ベクトルメモリ１０７に割り付ける。
【００９４】
次に、ベクトル検出部５２において用いられる勾配法の原理について説明する。まず、動画像中において、水平、垂直、時間軸を用いた座標（ｘ，ｙ，ｔ）で表される画素の輝度値をｇ（ｘ，ｙ，ｔ）とする。ここで、着目画素（ｘ0，ｙ0，ｔ0）が、微小時間中に、（ｄｘ，ｄｙ，ｄｔ）だけ変位したとき、水平、垂直、時間軸の勾配（差分差）を、それぞれｇｘ（ｘ0，ｙ0，ｔ0），ｇｙ（ｘ0，ｙ0，ｔ0），ｇｔ（ｘ0，ｙ0，ｔ0）と表すと、変位後の画素の輝度値は、Taylor展開近似を用いて、次の式（２）で表される。
【００９５】
ｇ（ｘ0＋ｄｘ，ｙ0＋ｄｙ，ｔ0＋ｄｔ）
≒  ｇ（ｘ0，ｙ0，ｔ0）＋ｇｘ（ｘ0，ｙ0，ｔ0）ｄｘ
＋  ｇｙ（ｘ0，ｙ0，ｔ0）ｄｙ＋ｇｔ（ｘ0，ｙ0，ｔ0）ｄｔ
・・・（２）
【００９６】
ここで、動画像中のある着目画素が１フレーム後に水平ｖｘ，垂直ｖｙだけ移動した場合（以降、（ｖｘ，ｖｙ）と表す）、その画素の輝度値は、次の式（３）で表される。
【００９７】
ｇ（ｘ0＋ｖｘ，ｙ0＋ｖｙ，ｔ0＋１）  ＝  ｇ（ｘ0，ｙ0，ｔ0）
・・・（３）
【００９８】
式（２）を式（３）に代入すると、次の式（４）で表される。
【００９９】
ｇｘ（ｘ0，ｙ0，ｔ0）ｖｘ＋ｇｙ（ｘ0，ｙ0，ｔ0）ｖｙ
＋ｇｔ（ｘ0，ｙ0，ｔ0）  ＝  ０
・・・（４）
【０１００】
式（４）は、ｖｘ，ｖｙの２変数の式であるので、着目１画素に対する単独の式では、その解を求めることができない。そこで、次に説明するように、着目画素の周辺領域であるブロックを１つの処理単位として考え、ブロック（周辺領域）内の全画素が同じ動き（ｖｘ，ｖｙ）をすると仮定し、各画素について同様の式を立てる。仮定が前提となるが、２変数に対して周辺画素の個数の式が得られる。したがって、それらの式を連立させ、ブロック内全画素の動き補償フレーム差分の自乗和が最小になるような（ｖｘ，ｖｙ）を求める。
【０１０１】
画素（ｘ，ｙ，ｔ）が１フレーム間に（ｖｘ，ｖｙ）だけ移動したとき、その動き補償フレーム間差分dは、次の式（５）で表される。
【０１０２】
ｄ  ＝  ｇ（ｘ＋ｖｘ，ｙ＋ｖｙ，ｔ＋１）−ｇ（ｘ，ｙ，ｔ）
＝  Δｘｖｘ＋Δｙｖｙ＋Δｔ
・・・（５）
【０１０３】
式（５）において、Δｘ=ｇｘ（ｘ，ｙ，ｔ）であり、水平方向の勾配を表し、Δｙ＝ｇｙ（ｘ，ｙ，ｔ）であり、垂直方向の勾配を表し、Δｔ＝ｇｔ（ｘ，ｙ，ｔ）であり、時間方向の勾配を表す。これらを用いて、動き補償フレーム間差分の自乗和をＥとすると、式（６）で表される。
【０１０４】
Ｅ  ＝  Σｄ2
＝  Σ（Δｘ2ｖｘ2＋Δｙ2ｖｙ2＋２ΔｘΔｙｖｘｖｙ
＋２ΔｘΔｔｖｘ＋２ΔｙΔｔｖｙ＋Δｔ2）
＝ｖｘ2ΣΔｘ2＋ｖｙ2ΣΔｙ2＋２ｖｘｖｙΣΔｘΔｙ
＋２ｖｘΣΔｘΔｔ＋２ｖｙΣΔｙΔｔ＋ΣΔｔ2
・・・（６）
【０１０５】
ここで、Ｅが最小となる（ｖｘ，ｖｙ）は、各変数における偏微分値が０になるとき、すなわち、δＥ／δｖｘ＝δＥ／δｖｙ＝０の条件が成立するときなので、式（６）から、次の式（７）および式（８）となる。
【０１０６】
ｖｘΣΔｘ2＋ｖｙΣΔｘΔｙ＋ΣΔｘΔｔ  ＝  ０
・・・（７）
ｖｙΣΔｙ2＋ｖｘΣΔｘΔｙ＋ΣΔｙΔｔ  ＝  ０
・・・（８）
【０１０７】
これらの式（７）および式（８）から、求めたい動きである（ｖｘ，ｖｙ）は、次の式（９）を演算することにより求めることができる。
【０１０８】
【数２】
0004655217.tif 000003
・・・（９）
【０１０９】
以上の勾配法の原理を、図１３を参照して、具体的に説明する。図１３の例において、矢印Ｘは、水平方向を示しており、矢印Ｙは、垂直方向を示している。また、矢印Ｔは、図中、右奥の時刻ｔのフレームｔから、左手前の時刻ｔ＋１のフレームｔ＋１への時間の経過方向を示している。なお、図１３の例においては、各フレームは、着目画素ｐの周辺領域（ブロック）として、勾配法演算に用いられる８画素×８画素の領域のみ示されている。
【０１１０】
フレームｔにおいて、左上の画素から下に５番目、右に５番目の画素である着目画素ｐの動きベクトルＶ（ｖｘ，ｖｙ）を、上述した勾配法を用いて求める場合、動きベクトルＶ（ｖｘ，ｖｙ）は、着目画素ｐのｘ，ｙ方向のそれぞれについて求められる隣接画素ｐｘおよびｐｙとの輝度の差分差（すなわち、勾配）ΔｘおよびΔｙ、フレームｔ＋１において求められる着目画素ｐの同位相に位置する画素ｑとの時間方向の輝度の差分差（勾配）Δｔを、着目画素ｐの周辺領域（８画素×８画素）のすべての画素について求め、それらの差分差を、式（９）を用いて演算することにより、求めることができる。
【０１１１】
すなわち、勾配法とは、２フレーム間において、勾配Δｘ，Δｙ，およびΔｔを求め、求められたΔｘ，Δｙ，およびΔｔから、差分自乗和を用いて、統計的に、動きベクトルＶ（ｖｘ，ｖｙ）を算出するものである。
【０１１２】
一般的に、このような勾配法を用いた動きベクトル検出方法においては、微小動きに対して精度の高い結果が得られる。しかしながら、実際の動画像の中で動きを求めようとするとする場合、この勾配法は、その動き量が大きすぎるため実用的とはいえない。これに対応して、この勾配法を複数回反復する方法が考えられる。勾配法を反復して実行することにより、各演算で求められる動き量が収束するため、徐々に正しい動きが求められる。
【０１１３】
しかしながら、ただ、勾配法を反復するだけでは、リアルタイム処理を行おうとした場合、演算時間の面から実用的ではない。そこで、ベクトル検出部５２においては、過去フレームと現在フレームでの周辺画素の動きに基づいて求められる初期ベクトルを、初期値として用いることで、勾配法の繰り返し回数を軽減している。すなわち、動きの起点となる着目画素から、初期ベクトルが指す先へオフセットを予め加えることで大まかな動きを算出し、オフセットが加えられたその位置から勾配法を用いた演算を行うようにすれば、画素以下動きを含めた微調整を行うことができる。これにより、演算時間を増大させることなく、精度のよい動きベクトルを検出することができる。
【０１１４】
図１４は、初期ベクトルを用いて実行される反復勾配法について具体的に説明する図である。図１４の例においては、矢印Ｔは、図中、左手前の時刻ｔのフレームｔから、右奥の時刻ｔ＋１のフレームｔ＋１への時間の経過を示している。なお、各画素ｐ，ｑ０，ｑ１，ｑ２，およびｑ３を中心としたブロックは、その画素の、勾配法演算に用いられる周辺領域（ブロック）を表している。
【０１１５】
図１４の例の場合、フレームｔにおける着目画素ｐに対して、フレームｔ＋１においては、着目画素ｐの同位相に位置する画素ｑ０ではなく、予め求めておいた初期ベクトルｖ０をオフセット（移動）して計算した位置（画素）ｑ１を開始点として１回目の勾配法演算が行われ、その結果、動きベクトルｖ１が得られる。
【０１１６】
次に、画素ｑ０からｖ０＋ｖ１をオフセットして計算した位置（画素）ｑ２を開始点として、２回目の勾配法演算が行われ、その結果、動きベクトルｖ２が得られる。これにより、最終的に動きベクトルＶは、式（１０）として求められる。
【０１１７】
Ｖ  ＝  ｖ０＋ｖ１＋ｖ２
・・・（１０）
【０１１８】
以上のようにして、初期ベクトルを用いて、反復勾配法の演算を実行することにより、演算時間を短縮させつつ、精度の高い動きベクトルを求めることができる。
【０１１９】
次に、図１５のフローチャートを参照して、動きベクトル検出処理の詳細について説明する。ベクトル検出部５２には、入力される時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１が入力される。
【０１２０】
初期ベクトル選択部１０１は、ステップＳ１０１において、着目ブロックを選択する。すなわち、フレームｔ上の処理の対象となる１つのブロックが、着目ブロックとして選択される。なお、フレーム上においては、左上のブロックからラスタスキャン順に処理が実行される。
【０１２１】
ステップＳ１０２において、初期ベクトル選択部１０１は、初期ベクトル選択処理を実行する。初期ベクトル選択部１０１は、ステップＳ１０１において、所定のブロック毎に、過去の動きベクトルの検出結果から、信頼度が高い動きベクトルを選択し、選択した動きベクトルを、勾配法に用いられる初期値となる初期ベクトルＶ０として、反復勾配法演算部１０３に出力する。
【０１２２】
すなわち、初期ベクトル選択部１０１は、過去の勾配法演算評価処理（後述するステップＳ１０３）において求められ、検出ベクトルメモリ５３に記憶された周辺ブロックの動きベクトルや、過去のシフト初期ベクトル割付処理（後述するステップＳ１０４）においてシフト初期ベクトルメモリ１０７に記憶されたシフト初期ベクトルを、初期ベクトルの候補ベクトルとして選択する。そして、初期ベクトル選択部１０１は、フレームｔとフレームｔ＋１を用いて、候補ベクトルの評価値DFDを求め、候補ベクトルの中から、求められた評価値DFDに基づいた信頼度が高いものを選択し、選択された候補ベクトルを、初期ベクトルＶ０として出力する。
【０１２３】
ステップＳ１０３において、反復勾配法演算部１０３およびベクトル評価部１０４は、反復勾配法演算評価処理（なお、反復勾配法演算処理とも称する）を実行する。具体的には、ステップＳ１０３において、反復勾配法演算部１０３は、初期ベクトル選択部１０１から入力された初期ベクトルＶ０と、プリフィルタ１０２−１および１０２−２を介して入力されるフレームｔおよびフレームｔ＋１を用いて、ベクトル評価部１０４による動きベクトルの評価結果に基づいて、勾配法の演算を繰り返し行い、動きベクトルＶｎを算出する。また、ベクトル評価部１０４は、反復勾配法演算部１０３からの動きベクトルＶｎ−１と、動きベクトルＶｎの評価値DFDを求め、求められた評価値DFDに基づく、最も信頼性の高いものを選択し、動きベクトルＶとして、検出ベクトルメモリ５３に記憶する。このとき、ベクトル評価部１０４は、動きベクトルＶとともに、その動きベクトルＶに対して求めた評価値DFDを、シフト初期ベクトル割付部１０５に供給する。
【０１２４】
ステップＳ１０４において、シフト初期ベクトル割付部１０５は、シフト初期ベクトル割付処理を実行する。シフト初期ベクトル割付部１０５は、ベクトル評価部１０４より動きベクトルＶおよびその評価値DFDが供給されると、ステップＳ１０４において、次のフレーム上の着目ブロックを通過する動きベクトルを、その着目ブロックにシフトさせた、シフト初期ベクトルとして設定する。すなわち、換言すると、動きベクトルＶの終点のブロックと同じ位置の次のフレーム上の着目ブロックを始点とした、動きベクトルＶと同じ大きさで同じ向きの動きベクトルが、シフト初期ベクトルとして設定される。そして、シフト初期ベクトル割付部１０５は、設定したシフト初期ベクトルを、着目ブロックに対応させて、シフト初期ベクトルメモリ１０７に割り付ける。
【０１２５】
なお、具体的には、シフト初期ベクトル割付部１０５は、シフト初期ベクトルとして割り付けられた動きベクトルＶの評価値DFDを、着目ブロックに対応させて、評価値メモリ１０６に記憶させておき、同じ着目ブロックを通過する（すなわち、着目ブロックと同じ位置の過去のフレームのブロックを終点とする）他の動きベクトルＶの評価値DFDと比較し、評価値DFDに基づく、信頼度が高いとされた動きベクトルＶを、そのブロックにシフトさせてシフト初期ベクトルと設定し、シフトさせたブロックに対応させて、シフト初期ベクトルメモリ１０７に割り付ける。
【０１２６】
ステップＳ１０５において、初期ベクトル選択部１０１は、フレームｔにおいて、すべてのブロックの処理が終了したか否かを判断し、すべてのブロックの処理が終了していないと判断した場合、処理はステップＳ１０１に戻り、それ以降の処理が繰り返される。また、ステップＳ１０５において、初期ベクトル選択部１０１は、フレームｔにおいて、すべてのブロックの処理が終了したと判断した場合、すなわち、フレームｔ上のすべてのブロックにおいて、動きベクトルＶが検出されたと判断し、動きベクトル検出処理を終了する。
【０１２７】
以上のように、過去に検出された動きベクトルから初期ベクトルが選択され、選択された初期ベクトルに基づいて、反復勾配法の演算が用いられて、繰り返し動きベクトルが算出され、算出された動きベクトルの中から、評価値DFDに基づく、信頼度が高い（すなわち、最も確からしい）動きベクトルが検出される。この結果、検出ベクトルメモリ５３に、フレームｔ上のすべてのブロックに対応する動きベクトルＶが記憶される。
【０１２８】
次に、ベクトル割付部５４の構成の詳細について説明する。
【０１２９】
図１６は、ベクトル割付部５４の構成を示すブロック図である。図１６に構成を示すベクトル割付部５４は、２４Ｐ信号の入力される時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１を用いて、フレームｔ上において検出された動きベクトルを、割付ベクトルメモリ５５上の、補間する６０Ｐ信号の内挿フレーム上の画素に割り付ける処理を行う。
【０１３０】
図１６の例において、時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１は、画素情報演算部７０１、評価値演算部７０２、および着目画素差分演算部７０３に入力される。
【０１３１】
画素情報演算部７０１は、検出ベクトルメモリ５３のフレームｔ上の画素に検出された動きベクトルを、左上の画素からラスタスキャン順に取得し、取得した動きベクトルを、次の時刻のフレームｔ＋１方向に延ばし、延ばした動きベクトルと、内挿フレームとの交点を算出する。そして、画素情報演算部７０１は、算出された動きベクトルと内挿フレームとの交点から、内挿フレーム上において、その動きベクトルの割付対象となる画素（以下、割付対象画素と称する）を設定し、動きベクトルおよび割付対象画素の位置の情報を、ベクトル選択部７０５に出力する。また、画像情報演算部７０１は、割付対象画素と、動きベクトルで対応付けられるフレームｔの位置Ｐおよびフレームｔ＋１上の位置Ｑを算出し、算出されたフレームｔおよびフレームｔ＋１上の位置情報を、評価値演算部７０２、および着目画素差分演算部７０３に出力する。
【０１３２】
評価値演算部７０２は、画素情報演算部７０１から、割付対象画素と、動きベクトルで対応付けられるフレームｔおよびフレームｔ＋１上の位置情報を入力すると、フレームｔの位置Ｐおよびフレームｔ＋１の位置Ｑの評価値DFDを演算するため、位置Ｐおよび位置Ｑを中心とした一定範囲のDFD演算範囲（ｍ×ｎ）をそれぞれ設定し、それらのDFD演算範囲が画枠内にあるか否かを判断する。評価値演算部７０２は、DFD演算範囲が画枠内にあると判断した場合、このDFD演算範囲を用いて演算することにより、動きベクトルに対する割付対象画素の評価値DFDを求め、求めた評価値DFDを、ベクトル評価部７０４に出力する。
【０１３３】
着目画素差分演算部７０３は、画素情報演算部７０１から、割付対象画素と、動きベクトルで対応付けられるフレームｔおよびフレームｔ＋１上の位置情報を入力すると、フレームｔの位置Ｐおよびフレームｔ＋１の位置Ｑを用いて、割付対象画素に対する輝度差分絶対値を求め、求めた輝度差分絶対値を、ベクトル評価部７０４に出力する。
【０１３４】
ベクトル評価部７０４は、画素差分判断部７１１および評価値判断部７１２により構成される。画素差分判断部７１１は、着目画素差分演算部７０３から入力された割付対象画素に対する輝度差分絶対値が所定のしきい値よりも小さいか否かを判断する。評価値判断部７１２は、画素差分判断部７１１により着目画素差分演算部７０３から入力された割付対象画素に対する輝度差分絶対値が所定のしきい値よりも小さいと判断された場合に、評価値演算部７０２から入力された割付対象画素の評価値DFDが、ベクトル選択部７０５が有するDFDテーブルの最小評価値より小さいか否かを判断する。そして、評価値判断部７１２は、割付対象画素の評価値DFDが、DFDテーブルの最小評価値より小さいと判断した場合に、割付対象画素が対応する動きベクトルの信頼度が高いと判断し、ベクトル選択部７０５に、割付対象画素の評価値DFDを出力する。
【０１３５】
ベクトル選択部７０５は、内挿フレーム上の各画素における最小評価値を保持するDFDテーブルを有しており、内挿フレーム上の各画素に対して、０ベクトルを割り付けた場合の評価値DFD０を、内挿フレーム上の各画素における最小評価値としてDFDテーブルに予め保持している。ベクトル選択部７０５は、ベクトル評価部７０４からの割付対象画素の評価値DFDを入力すると、画素情報演算部７０１からの割付対象画素の位置の情報に基づいて、割付フラグメモリ５６のフラグを１(true)に書き換え、割付対象画素のDFDテーブルの最小評価値を、その割付対象画素の評価値DFDに書き換える。また、ベクトル選択部７０５は、画素情報演算部７０１からの割付対象画素の位置の情報と貫き改善処理部７０６からの貫き危険フラグに基づいて、割付ベクトルメモリ５５の割付対象画素に、画素情報演算部７０１からの動きベクトルを割り付ける。
【０１３６】
貫き改善処理部７０６は、検出ベクトルメモリ５３に記憶されている動きベクトルのうち、貫き劣化部の発生の原因となる動きベクトルを検出し、その検出結果を貫き危険フラグとしてベクトル選択部７０５に出力する。ベクトル選択部７０５はこの貫き危険フラグが貫き劣化部の発生の原因となる動きベクトルであることを示している場合、その動きベクトルの割り付けを禁止する。貫き改善処理部７０６の処理の詳細は、図２４と図４０を参照して後述する。
【０１３７】
次に、動きベクトルの画素以下精度を説明する。上述した式（１）で表されるDFD評価の演算においては、フレームｔの画素位置ｐをベクトルｖ量分ずらした先のフレームｔ＋１上の位相ｐ＋ｖは、実際には、２４ｐ信号のフレームｔ＋１上の画素位置と一致しない場合が多く、その場合の輝度値は定義されていない。したがって、画素以下精度を有する動きベクトルｖに対する評価値DFDの演算を行うためには、画素以下の位相における輝度値を何らかの方法で生成しなければならない。
【０１３８】
これに対応して、フレームｔの画素位置ｐをベクトルｖ量分ずらした先のフレームｔ＋１上の位相ｐ＋ｖに最も近い画素の輝度値をそのまま用いる方法がある。しかしながら、この方法では、評価する動きベクトルの画素以下成分を丸めてしまうため、動きベクトルの画素以下成分を捨てていることになり、これにより求められた評価値DFDの信頼度は、低くなってしまう。
【０１３９】
そこで、本発明の実施の形態においては、周辺４画素の輝度値による４点補間処理を用いている。図１７は、本発明の４点補間処理の概念を示す図である。図１７においては、矢印Ｘが、フレームｔ＋１における水平方向を示しており、矢印Ｙが、フレームｔ＋１における垂直方向を示している。このフレームｔ＋１において、白丸は、フレームｔ＋１上の画素位置を表しており、黒点は、画素以下の位置を表している。また、フレームｔ＋１上における最左上の黒点ｐ＋ｖとその周辺４画素は、ウインドウＥに拡大して示されている。ウインドウＥにおいて、白丸内のアルファベットは、周辺４画素の輝度値を示している。
【０１４０】
このフレームｔ＋１における最左上の黒点ｐ＋ｖが、フレームｔの画素位置ｐをベクトルｖ量分ずらした先の位相ｐ＋ｖとすると、位相ｐ＋ｖの輝度値Ｆt+1（ｐ＋ｖ）は、位相ｐ＋ｖの水平方向の画素以下成分αおよび垂直方向の画素以下成分β、並びに、位相ｐ＋ｖの周辺４画素の輝度値Ｌ０乃至Ｌ３を用いて、周辺４画素の距離の逆比の和で求められる。すなわち、輝度値Ｆt+1（ｐ＋ｖ）は、次の式（１１）で表される。
【０１４１】
Ｆt+1（ｐ＋ｖ）  ＝  （１―α）（１−β）Ｌ０＋α（１−β）Ｌ１
＋（１−α）βＬ２＋αβＬ３  ・・・（１１）
【０１４２】
以上のように、４点補間処理により求められる輝度値Ｆt+1（ｐ＋ｖ）を用いて、評価値DFDの演算を行うことにより、ハードウェア実装上のコストを引き上げることなく、評価値DFDの信頼度の低下を抑制することができる。なお、以下においては、ベクトル割付の際の評価値DFDや輝度差分絶対値などの演算において、この４点補間を適用した例を説明するが、もちろん、上述した初期ベクトル選択処理やベクトル検出処理、または、後述する割付補償処理などのベクトルを評価する場合の評価値DFDの演算においても、この４点補間は適用される。
【０１４３】
次に、ベクトル割付処理の概念を説明する。例えば、２４Ｐ信号上でオブジェクトが速度ｖで動いており、任意の２フレーム間で、このオブジェクトの動きについて等速仮定が成り立つと仮定した場合に、２４Ｐ信号のフレーム間に、新しくフレームを内挿することを考える。この場合、２４Ｐ信号のオブジェクトから動きベクトルｖを延ばすと、動きベクトルｖと内挿フレームとの交点は、同じオブジェクトであり、同じ速度ｖを有する。
【０１４４】
したがって、ベクトル検出部５３で検出された２４Ｐ信号のフレーム（以下、内挿フレームに対して、元フレームとも称する）の動きベクトルを、その動きベクトルと、内挿する６０Ｐ信号の内挿フレーム上との交点に割り付けることで、内挿フレーム上の各画素の動きを求めることができる。また、逆に、割り付けられた動きベクトルから、内挿フレーム上の画素が２４Ｐ信号フレーム上でどの位置から動いたものなのかを求めることができる。
【０１４５】
図１８は、２４Ｐ信号の元フレームで検出された動きベクトルと、６０Ｐ信号の内挿フレーム上の画素の例を１次元で示している。図１８の例においては、２つの２４Ｐ信号の時刻ｔのフレームｔおよび時刻ｔ＋１のフレームｔ＋１の間に、例えば、時刻ｔ＋０．４の内挿フレームＦ１、および時刻ｔ＋０．８の内挿フレームＦ２が２つ挿入されている。なお、この内挿フレームの位置は、上述したように、２４Ｐ信号上での時間位相が０．０，０．４，０．８，１．２，および１．６となる位置に、６０Ｐ信号のフレームが置かれることから、信号処理装置３において予め設定されている。
【０１４６】
各フレーム上の丸は、各画素を示している。前段のベクトル検出部５２によりフレームｔにおいて検出された動きベクトルｖ１、ｖ２、およびｖ３が、フレームｔ＋１方向に延ばされている。これらの動きベクトルを内挿フレームＦ１およびＦ２の各画素に割り付ける場合、内挿フレーム上の各画素の近傍を通る動きベクトルは、その画素に割り付けられる候補ベクトル（以下、割付候補ベクトルとも称する）とされる。
【０１４７】
したがって、フレームｔの最も左側の画素から、フレームｔ＋１の左から４番目と５番目の画素近傍への動きベクトルｖ１は、内挿フレームＦ１上の左から２番目と３番目の画素の間、内挿フレームＦ２上の左から３番目と４番目の画素の間を通っている。したがって、動きベクトルｖ１は、動きベクトルｖ１が内挿フレームＦ１およびＦ２を交差する点の近傍Ｎ１に含まれる画素（内挿フレームＦ１の左から２番目と３番目の画素および内挿フレームＦ２の左から３番目と４番目の画素）に割り付けられる割付候補ベクトルとなる。
【０１４８】
また、フレームｔの左から３番目の画素から、フレームｔ＋１の左から２番目と３番目の画素近傍への動きベクトルｖ２は、内挿フレームＦ１上の左から２番目と３番目の画素の間、内挿フレームＦ２上の左から２番目と３番目の画素の間を通っている。したがって、動きベクトルｖ２は、動きベクトルｖ２が内挿フレームＦ１およびＦ２を交差する点の近傍領域Ｎ２に含まれる画素（内挿フレームＦ１の左から２番目と３番目の画素および内挿フレームＦ２の左から２番目と３番目の画素）に割り付けられる割付候補ベクトルとなる。
【０１４９】
さらに、フレームｔの左から５番目の画素から、フレームｔ＋１の左から４番目と５番目の画素近傍への動きベクトルｖ３は、内挿フレームＦ１上の左から４番目と５番目の画素の間、内挿フレームＦ２上の左から４番目と５番目の画素の間を通っている。したがって、動きベクトルｖ３は、動きベクトルｖ３が内挿フレームＦ１およびＦ２を交差する点の近傍領域Ｎ３に含まれる画素（内挿フレームＦ１の左から４番目と５番目の画素および内挿フレームＦ２の左から４番目と５番目の画素）に割り付けられる割付候補ベクトルとなる。
【０１５０】
すなわち、内挿フレームＦ２の左から２番目の画素の割付候補ベクトルは、動きベクトルｖ２であり、内挿フレームＦ１上の左から２番目および３番目の画素、並びに内挿フレームＦ２の左から３番目の画素の割付候補ベクトルは、動きベクトルｖ１およびｖ２である。また、内挿フレームＦ２の左から４番目の画素の割付候補ベクトルは、動きベクトルｖ１およびｖ３であり、内挿フレームＦ１上の左から４番目および５番目の画素、並びに内挿フレームＦ２の左から５番目の画素の割付候補ベクトルは、動きベクトルｖ３である。
【０１５１】
以上のように、元フレームにおいて検出された動きベクトルの中から、内挿フレーム上の各画素に割り付けられる割付候補ベクトルが求められる。なお、内挿フレームＦ１およびＦ２の左端の画素および右端の画素（図中黒丸）においては、近傍を通る動きベクトルは、示されていない。すなわち、内挿フレームＦ１およびＦ２の左端の画素および右端の画素には、割り付けられる割付候補ベクトルが存在しない。したがって、これらの画素については、後述する後段の割付補償部５７において割付補償処理が実行される。
【０１５２】
さらに、図１９を参照して、元フレームで検出された動きベクトルと、６０Ｐ信号の内挿フレーム上の画素について詳しく説明する。図１９の例において、矢印Ｔは、図中、左前の時刻ｔのフレームｔから、右奥の時刻ｔ＋１のフレームｔ＋１への時間の経過方向を示している。また、時刻ｔと時刻ｔ＋１の間の時刻ｔ＋ｐｏｓtに内挿フレームＦ１が置かれている。
【０１５３】
図１９の例の場合、フレームｔ上の画素（ｘa，ｙa）で検出された動きベクトルｖa（ｘva，ｙva）をフレームｔ＋１方向に延ばし、内挿フレームＦ１との交点（ｘia，ｙia）を演算する。交点は、２４Ｐ信号のフレームｔ上の動きベクトルｖaの端点にあたる画素が移動した点であると考えられるので、具体的には、式（１２）および式（１３）のように表される。
【０１５４】
ｘia  ＝  ｘa＋ｐｏｓtｘva                              ・・・（１２）
ｙia  ＝  ｙa＋ｐｏｓtｙva                              ・・・（１３）
【０１５５】
ここで、上述したように、動きベクトルｖaが画素以下精度を有する場合には、動きベクトルｖaの交点と、内挿フレームＦ１上の画素位置は、一致するとは限らない。一致しない場合、図１９に示されるように、動きベクトルｖaは、内挿フレームＦ１上の交点の近傍４画素Ｇ１乃至Ｇ４に対して割り付けられる。すなわち、動きベクトルｖaは、近傍の各画素Ｇ１乃至Ｇ４上にシフト（平行移動）されて、それぞれの画素に対して割り付けられる割付候補ベクトルとされ、割付補償処理が実行される。
【０１５６】
なお、このように、１つの動きベクトルが、近傍４画素に対して割り付けられる候補となることもあるため、画素によっては、複数の動きベクトルが割付候補ベクトルとされる。この場合、ベクトル割付部５４は、各動きベクトルについて、内挿フレーム上の画素と、その動きベクトルで対応付けられる元フレーム上の交点を算出し、その交点を用いて、各動きベクトルを評価することにより、最終的に、内挿フレーム上の画素に、割り付ける動きベクトルを決定する。
【０１５７】
図２０を参照して、ベクトル割付部５５における動きベクトルの評価について説明する。図２０は、下から、図１９の時刻ｔのフレームｔ、時刻ｔ＋ｐｏｓtの内挿フレームＦ１、および、時刻ｔ＋１のフレームｔ＋１を、１次元的に示している。
【０１５８】
図２０の例において、動きベクトルｓｖaは、フレームｔ上の画素（ｘa，ｙa）において検出された動きベクトルｖaが、近傍の画素Ｇ４の割付候補ベクトルとして、画素Ｇ４上にシフト（平行移動）されたものである。ここで、画素Ｇ４上にシフトされた動きベクトルｓｖaと、フレームｔおよびフレームｔ＋１との交点を、それぞれ点Ｐおよび点Ｑとする。
【０１５９】
ベクトル割付部５４は、動きベクトルｓｖaの第１の評価として、まず、点Ｐおよび点Ｑを中心としたDFD演算範囲をそれぞれ求め、求めたDFD演算範囲が画枠をはみ出してしまうか否かを判断する。したがって、点Ｐおよび点Ｑを中心としたDFD演算範囲が画枠をはみ出てしまった場合には、動きベクトルｓｖaは、候補から除外される。
【０１６０】
また、この点Ｐおよび点Ｑが、例えば、異なるオブジェクトに属する場合、点Ｐの輝度値Ｆt（Ｐ）と、点Ｑの輝度値Ｆt+1（Ｑ）の差は、大きくなってしまう。したがって、ベクトル割付部５４は、動きベクトルｓｖaの第２の評価として、点Ｐと点Ｑを用いて、画素Ｇ４における輝度差分絶対値ｄｐを求め、輝度差分絶対値ｄｐが所定の値より大きいか否かを判断する。輝度差分絶対値ｄｐが所定の値より大きいと判断された場合には、画素Ｇ４における動きベクトルｓｖaの信頼度が低いとされ、動きベクトルｓｖaは、候補から除外される。なお、輝度差分絶対値ｄｐは、次の式（１４）で表される。
【０１６１】
ｄｐ  ＝  ｜Ｆt（Ｐ）―  Ｆt+1（Ｑ）｜                    ・・・（１４）
【０１６２】
そして、動きベクトルｓｖaの第３の評価として、ベクトル割付部５４は、点Ｐおよび点Ｑを中心としたDFD演算範囲の相関値を表す差分絶対値による評価判断を行う。すなわち、ベクトル割付部５４は、点Ｐおよび点Ｑを中心としたDFD演算範囲を用いて、画素Ｇ４における動きベクトルｓｖaの評価値DFD（差分絶対値）を求め、求められた評価値DFDがDFDテーブルの最小評価値よりも小さいか否かを判断する。以上の評価の結果、ベクトル割付部５４は、求められた評価値DFDの中で最小の評価値DFDを有する動きベクトルを、画素Ｇ４に割り付ける。
【０１６３】
以上のように、内挿フレームの画素における割付候補の動きベクトルを、割付対象画素の評価値DFDだけでなく、割付対象画素における輝度差分絶対値を用いて評価するようにしたので、従来の評価値DFDを用いるだけの場合よりも、確からしい動きベクトルを、割付対象画素に割り付けることができる。この結果、ベクトル割付の精度が向上する。
【０１６４】
また、ベクトル割付部５４は、貫き危険フラグが貫き劣化部の発生の原因となる動きベクトルであることを示している場合、その動きベクトルの割り付けを禁止する。これにより、貫き劣化部が発生するのを抑制することができる。
【０１６５】
なお、上述したように内挿フレームの画素における割付候補の動きベクトルを評価するためには、内挿フレームの画素を基準に、その動きベクトルで対応付けられる元フレーム上の位置が用いられるが、輝度差分絶対値ｄｐおよび評価値DFDを求める際に、割付候補の動きベクトルは、内挿フレームの画素位置を基準に延長するため、動きベクトルと元フレーム上の交点は、元フレームの画素位置と一致しないことがあり、このままでは画素値を求めることができない。このような場合に、図１７を参照して上述した４点補間処理が実行される。
【０１６６】
図２１は、ベクトル割付処理における４点補間の例を示している。図２１において、図１９および図２０における場合と対応する部分には対応する符号を付してあり、その説明は繰り返しになるので省略する。
【０１６７】
図２１の例においては、割付候補の動きベクトルｓｖaは、内挿フレームＦ１の画素位置Ｇ４を基準に延長されているため、動きベクトルｓｖaとフレームｔとの交点Ｐは、フレームｔ上の画素位置（フレームｔ上の白丸）と一致しておらず、また、動きベクトルｓｖaとフレームｔ＋１との交点Ｑも、フレームｔ＋１上の画素位置（フレームｔ上の白丸）と一致していない。したがって、フレームｔおよびフレームｔ＋１においては、それぞれ交点Ｐおよび交点Ｑを中心とした近傍Ｅの４画素（フレームｔおよびフレームｔ＋１上の白丸）を用いて、上述した４点補間演算が行なわれ、交点Ｐおよび交点Ｑの画素値が求められる。
【０１６８】
このように、このベクトル割付処理においては、４点補間処理により求められる交点Ｐおよび交点Ｑの画素値が用いられて、輝度差分絶対値ｄｐおよび評価値DFDが演算されるので、従来の画素以下成分を丸めてしまう方法よりも、輝度差分絶対値ｄｐや評価値DFDを精度よく求めることができる。
【０１６９】
次に、図２２のフローチャートを参照して、ベクトル割付処理の詳細を説明する。２４Ｐ信号の元フレームである、時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１は、画素情報演算部７０１、評価値演算部７０２、および着目画素差分演算部７０３に入力される。
【０１７０】
画素情報演算部７０１は、新しい元フレームが入力されると、ベクトル選択部７０５を制御し、ステップＳ２０１において、割付フラグメモリ５６の割付フラグを０(false)で初期化させる。また、ステップＳ２０２において、ベクトル選択部７０５は、画素情報演算部７０１により制御され、割付ベクトルメモリ５５を０ベクトルで初期化する。これにより、結果的に、動きベクトルが割り付けられない画素に、０ベクトル（動きが０であることを意味する動きベクトル）が割り付けられる。
【０１７１】
また、画素情報演算部７０１は、ステップＳ２０３において、評価値演算部７０２を制御し、０ベクトルを用いて評価値DFD０を算出させる。すなわち、内挿フレーム上のすべての画素に対して、０ベクトルを用いて評価値DFD０が算出される。また、画像情報演算部７０１は、ベクトル選択部７０５を制御し、評価値演算部７０２により算出された０ベクトルの評価値DFD０を、内挿フレームの各画素に対する最小評価値としてベクトル選択部７０５のDFDテーブルに記憶させる。すなわち、ステップＳ２０３において、評価値演算部７０２は、内挿フレームのすべての画素に対して、０ベクトルを用いて評価値DFD０を算出し、算出した評価値DFD０を、ベクトル評価部７０４を介して、ベクトル選択部７０５に出力する。そして、ベクトル選択部７０５は、ベクトル評価部７０４を介して入力された評価値DFD０を、DFDテーブルの対応する画素の最小評価値として記憶する。
【０１７２】
画素情報演算部７０１は、ステップＳ２０４において、検出ベクトルメモリ５３上の元フレームから画素を選択する。なお、この場合、フレームの左上からラスタスキャン順に画素が１つずつ選択される。
【０１７３】
ステップＳ２０５において、貫き改善処理部７０６は、貫き改善処理を実行する。その詳細は図２４を参照して後述するが、これにより、貫き劣化部を発生するおそれのある動きベクトルが検出され、その動きベクトルの貫き危険フラグはtrueに設定される。そこでステップＳ２０６において、ベクトル選択部７０５は、ステップＳ２０４で選択された画素の貫き危険フラグがtrueであるかを判定する。
【０１７４】
選択された画素の貫き危険フラグがtrueではない場合（falseである場合）、画素情報演算部７０１は、ステップＳ２０７において、画素位置演算処理を実行する。この画素位置演算処理の詳細は図４１を参照して後述するが、これにより、ステップＳ２０４において選択された画素において検出された動きベクトルが割り付けられる対象となる内挿フレーム上の割付対象画素が算出され、算出された割付対象画素を基準に、その動きベクトルで対応付けられる元フレーム上の位置が算出される。
【０１７５】
画素情報演算部７０１は、ステップＳ２０８において、算出された割付対象画素を選択し、選択した割付対象画素と、その動きベクトルを、ベクトル選択部７０５に出力する。このとき、同時に、画素情報演算部７０１は、選択した割付対象画素を基準に、その動きベクトルで対応付けられる元フレーム上の位置の情報を、評価値演算部７０２および着目画素演算部７０３に出力する。なお、ステップＳ２０８において、画素情報演算部７０１は、割付対象画素が複数存在する場合には、左上の画素から選択する。
【０１７６】
ステップＳ２０９において、画素情報演算部７０１は、選択された割付対象画素に関して、割付ベクトル評価処理を実行する。この割付ベクトル評価処理の詳細は図４２を参照して後述するが、これにより、割付対象画素における動きベクトルの評価値DFDおよび輝度差分絶対値が求められ、割付対象画素における動きベクトルの信頼度が判断され、これらの判断の結果、信頼度が高いとされた動きベクトルで、割付ベクトルメモリ５５の動きベクトルが書き換えられる。
【０１７７】
画素情報演算部７０１は、ステップＳ２１０において、すべての割付対象画素の処理が終了したか否かを判断する。まだ、すべての割付対象画素の処理が終了していない場合には、処理はステップＳ２０８に戻り、次の割付対象画素が選択され、それ以降の処理が繰り返される。
【０１７８】
ステップＳ２１０において、すべての割付対象画素の処理が終了したと判断された場合、並びにステップＳ２０６で貫き危険フラグがtrueであると判定された場合、処理はステップＳ２１１進む。画素情報演算部７０１は、ステップＳ２１１において、検出ベクトルメモリ５３上の元フレームのすべての画素の処理を終了したかを判断する。ステップＳ２１１において、検出ベクトルメモリ５３上の元フレームのすべての画素の処理がまだ終了していないと判断された場合、処理はステップＳ２０４に戻り、検出ベクトルメモリ５３上の元フレームの次の画素が選択され、それ以降の処理が繰り返される。また、画素情報演算部７０１は、ステップＳ２１１において、検出ベクトルメモリ５３のすべての画素についての処理を終了したと判断した場合、ベクトル割付処理を終了する。
【０１７９】
次に、貫き改善処理について説明するが、その前に、貫き劣化部の発生する原因について、図２３を参照して説明する。同図に示されるように、２４Ｐのフレームｔ１上の前景２０２が、２４Ｐのフレームｔ１＋１上の前景２１２に移動した場合、前景２０２の画素２０３と前景２１２の画素２１３を結ぶ線で、画素２０３の動きベクトルＶｆが表される。同様に、フレームｔ１上の背景の画素２０１がフレームｔ１＋１上の画素２１１に対応する場合、両者を結ぶ線で表される動きベクトルＶｂが、画素２０１の動きベクトルとなる。動きベクトルＶｆは、図中右方向に比較的小さい速度で移動するものであるのに対して、動きベクトルＶｂは、図中左方向に比較的大きい速度で移動するものである。フレームｔ１とフレームｔ１＋１の間に６０Ｐのフレームｔ＋Ｐを生成する場合、その画素２０４は動きベクトルを割り付ける必要がある。
【０１８０】
しかしながら、近傍を動きベクトルＶｆと動きベクトルＶｂの両者が通過する画素２０４に対して、前景２０２の動きベクトルＶｆを割り付けた場合には、画素２０４は、前景２０２の画素２０３−３として認識されるし、背景の画素２０１の動きベクトルＶｂを割り付けた場合には、画素２０４は背景の画素２０１−３の画素として認識される。画素２０４は、本来、前景２０２の画素であるのに、これに背景の動きベクトルＶｂが割り付けられた場合には、正しい割り付けが行われなかったことになる。このとき、貫き劣化部が発生することになる。
【０１８１】
次に、図２４のフローチャートを参照して、図２２のステップＳ２０５における貫き改善処理の詳細について説明する。
【０１８２】
ステップＳ２５１において、貫き改善処理部７０６は、貫き危険フラグにfalseを初期設定する。この貫き危険フラグは、貫き劣化部が発生する恐れがない場合そのままとされるが、貫き劣化部が発生する恐れがある場合には、後述するステップＳ２６２において、trueに書き換えられる。
【０１８３】
次に、ステップＳ２５２において、貫き改善処理部７０６は、着目画素の動きベクトルを取得する。すなわち、検出ベクトルメモリ５３に記憶されている動きベクトルから、今処理対象とされている着目画素の動きベクトルが読み出される。
【０１８４】
この読み出す処理は、図２５に示されるように、１フレーム（７２０×４８０画素）のうちの所定の範囲のブロック内において、左上から右下方向に順次１つずつ選択される。そして、図２６に示されるように、選択された１つの画素の動きベクトルＶｃが読み取られる。図２６においては、着目画素（ｘ，ｙ）の動きベクトルＶｃは（Vcx，Vcy）として表されている。
【０１８５】
ステップＳ２５３において、貫き改善処理部７０６は参照モードを選択する。参照モードとしては、図２７に示されるように３つのモードが用意されており、そのうちの１つがここで選択される。第１の参照モードは、図２７Ａに示されるように、着目画素２８１を基準として、動きベクトルＶｃの方向に位置する画素であって、動きベクトルＶｃを１対１に内分する点に位置する画素を第１の参照点２８２とするモードである。このとき、動きベクトルＶｃと逆方向のベクトルを、やはり１対１に内分する位置の画素が第２の参照点２８３とされる。第２の参照モードにおいては、図２７Ｂに示されるように、動きベクトルＶｃの方向の画素であって、動きベクトルＶｃを３対１に内分する位置の画素が第１の参照点２８２とされ、動きベクトルＶｃの逆方向の画素であって、その大きさを１対３に内分する位置の画素が第２の参照点２８３とされる。さらに、図２７Ｃに示されるように、第３の参照モードにおいては、着目画素２８１から動きベクトルＶｃの方向の画素であって、動きベクトルＶｃの大きさを１対３に内分する点の画素が第１の参照点２８２とされ、動きベクトルＶｃの逆方向の画素であって、その大きさを３対１に内分する位置の画素が第２の参照点２８３とされる。
【０１８６】
ステップＳ２５４において、貫き改善処理部７０６は、左右参照点の座標を算出する。すなわち、図２７に示されるように、第１の参照モードが選択された場合には、着目画素２８１から動きベクトルＶｃの方向に、動きベクトルＶｃの１／２の大きさの位置が第１の参照点（左側の参照点）２８２の位置としてその座標が算出されるとともに、動きベクトルＶｃと逆方向の動きベクトルＶｃの１／２の大きさだけ離れた位置が第２の参照点（右側の参照点）２８３の位置としてその座標が算出される。同様に、図２７Ｂ、または図２７Ｃに示されるように、第２の参照モードまたは第３の参照モードが選択された場合にも、それぞれ参照点２８２，２８３の座標がここで算出される。
【０１８７】
このように周囲参照点を設定するのは、着目画素の近傍に前景（またはカバード領域）が存在するか否かを判断するためである。
【０１８８】
すなわち、貫き劣化部が発生する事例を観測すると、その原因となる２４Ｐ画像上の着目画素の動きベクトルは、前景を通り越して（６０Ｐ画像上で交差して）２４Ｐ画像上の次のフレームと対応する背景の動きベクトルであることが多い。換言すると、着目画素から背景の動き分だけ移動した点との間に前景が存在する場合に、貫き劣化部が発生することが多い。
【０１８９】
例えば、図２８に示されるように、フレームｔ１上の着目画素３０１が図中左方向に大きく移動して、フレームｔ１＋１上の画素３１１に対応するとき、着目画素３０１と画素３１１を結ぶ動きベクトルが着目画素３０１の動きベクトルＶｃとなる。そして、フレームｔ１上の前景３０２が、フレームｔ１＋１上において前景３１２に図中右方向に少しだけ移動する時、フレームｔ１の前景３０２の画素３０３とフレームｔ１＋１上の前景３１２の画素３１３を結ぶベクトルＶｌが画素３０３の動きベクトルとなる。
【０１９０】
動きベクトルＶｃと動きベクトルＶｌが交差し、フレームｔ１＋１上の画素３１１に対応するフレームｔ１上の画素が画素３０４であるとすると、フレームｔ１において、前景３０２は画素３０４と着目画素３０１の間に位置する。ただし、前景３１２の幅Ｗｌは未知である。
【０１９１】
そこで、図２９に示されるように、例えば前景３０２の幅が、着目画素３０１の動きベクトルＶｃの大きさの１／２以上である場合には、画素３０４と着目画素３０１の中間の位置（動きベクトルＶｃを１対１に内分する位置Ｐ）において、前景３０２を検出することが可能となる。
【０１９２】
これに対して、前景３０３の幅が動きベクトルＶｃの大きさの１／４以上である場合には、図２９に示される動きベクトルＶｃの大きさを１対１に内分する位置Ｐで、前景３０２を検出することができる保証はないが、その位置と図３０と図３１に示されるように、動きベクトルＶｃを１対３に内分する点Ｐ（図３０）、または３対１に内分する点Ｐ（図３１）においても検索すれば、そのいずれかの位置で前景３０２を検出することができる。すなわち、二分枝検索の形で前景が検索されることになる。そこで、図２７に示されるように、動きベクトルＶｃの大きさの範囲内の３つの内分位置において参照点を設定するのである（第１乃至第３の参照モードを設けるのである）。
【０１９３】
以上においては、検索のための内分の最小単位を動きベクトルＶｃの１／４の大きさとしたが（１／２に内分する回数を２回としたが）、その長さをより細かく区分すれば（その回数をより多くすれば）、より小さい大きさの前景も検出することが可能となる。
【０１９４】
また、１／４の長さの大きさで検出することは、図３２に示されるような効果もある。すなわち、図３２Ａに示されるように、前景３０２の大きさが、動きベクトルＶｃの１／２以上の大きさである場合、前景３０２が、図３２Ａに示されるように、着目画素３０１から比較的離れた位置に存在する場合には、この前景３０２とカバード領域３２１は、１／２の内分の位置Ｐ１，Ｐ２において検出されることになる。しかし、図３２Ｂに示されるように、前景３０２が着目画素３０１に比較的近い位置に存在する場合には、前景３０２は、１／２の内分位置Ｐ１で検出できるが、カバード領域３２１は、１／２の内分位置Ｐ２では検出できない（カバード領域３２１は、前景３０２と動きベクトルＶｃの大きさだけ離間するため）。しかしながら、図３２Ｃに示されるように、動きベクトルＶｃを１対３（３対１）に内分する位置（１／４の位置）で検出するようにすれば、前景３０２は位置Ｐ１１で、カバード領域３２１は位置Ｐ１２で、それぞれ検出することができる。
【０１９５】
図２４に戻って、以上のようにして、ステップＳ２５４において、左側の参照点２８２と右側の参照点２８３の座標が算出された後、ステップＳ２５５において、貫き改善処理部７０６は周囲参照点を選択する。
【０１９６】
図３３Ａに示されるように、着目画素２８１に対して左側の参照点２８２と右側の参照点２８３が存在したとする。着目画素２８１は背景の画素であり、左側（第１）の参照点２８２は人体である前景３７１の画素である。それに対して右側（第２）の参照点２８３は、カバード領域３７２上の画素であるので、その動きベクトルを検出することは困難になる。この実施の形態の場合、カバード領域３７２上の画素に対しては、０ベクトル(動きが０の動きベクトル) が検出されるのが望ましいが、困難ゆえ０ベクトルが検出されない場合も多い。しかし、図３３Ｂに示されるように、カバード領域３７２の画像は、前景物体同様、連続した領域として０ベクトルが検出されることから、参照点２８３だけでなく、その近傍の周囲参照点２８３−１乃至２８３−８の画素も、参照点２８３とほぼ同様の動きベクトルを有しているはずである。そこで、参照点２８３の動きベクトルが検出できない場合には、それに替わって、その近傍の周囲参照点２８３−１乃至２８３−８の動きベクトルを代用することが可能である。
【０１９７】
従って、図３４（第１の参照モード）、図３５（第２の参照モード）、並びに図３６（第３の参照ード）に示されるように、参照点２８２とその近傍の周囲参照点２８２−１乃至２８１−８のうちの１つ、並びに参照点２８３とその近傍の周囲参照点２８３−１乃至２８３−８のうちの１つが、ステップＳ２５５において選択され、ステップＳ２５６でその座標が演算される（但し、参照点の座標は、ステップＳ２５４で既に演算されている）。周囲参照点の対応は次のようになる。すなわち、参照点２８２に対しては参照点２８３、参照点２８２−１に対しては参照点２８３−１、参照点２８２−２に対しては参照点２８３−２、以下同様に、参照点２８２−ｎに対しては参照点２８３−ｎがそれぞれ対応する。なお、周囲参照点を算出する範囲は、着目点２８１の動きベクトルＶｃのｘ座標成分｜Vcx｜のα倍（０＜α＜１）とされる。同様に、ｙ座標方向の範囲は動きベクトルＶｃのｙ座標成分｜Vcy｜のβ倍（０＜β＜１）とされる。
【０１９８】
ステップＳ２５７において、貫き改善処理部７０６は、周囲参照点は画枠内かを判定する。なお、ここにおける周囲参照点には参照点も含むものとする。以下、両者を特に区別する必要がない場合も同様とする。ステップＳ２５４，Ｓ２５６の処理で算出された周囲参照点が画枠の外である場合には、その周囲参照点は参照することができない。そこでその場合には、処理はステップＳ２６３に進む。
【０１９９】
周囲参照点が画枠の枠外ではない（画枠内である）と判定された場合には、ステップＳ２５８において、貫き改善処理部７０６は、周囲参照点の動きベクトルを取得する。すなわち、検出ベクトルメモリ５３から、ステップＳ２５４，Ｓ２５６で算出された座標の周囲参照点の動きベクトルが取得される。ステップＳ２５９において、貫き改善処理部７０６は、相対動き量を算出する。具体的には、次の、式（１５）と式（１６）が演算される。
【０２００】
【数３】
0004655217.tif 000004
【０２０１】
すなわち、相対動き量ＭLは、着目画素２８１の動きベクトルＶｃと、周囲参照点２８２，２８２−１乃至２８１−８の動きベクトル（参照点２８２の動きベクトルＶｌ、周囲参照点２８２−１乃至２８１−８の動きベクトルＶｌ１乃至Ｖｌ８）のうちの選択された動きベクトルＶLとの大きさの差を表す。同様に、相対動き量ＭRは、着目画素２８１の動きベクトルＶｃと、周囲参照点２８３，２８３−１乃至２８３−８の動きベクトル（参照点２８３、またはその周囲参照点２８３−１乃至２８３−８の動きベクトルＶｒ，Ｖｒ１乃至Ｖｒ８）のうちの選択された動きベクトルＶRとの大きさの差を表す。
【０２０２】
ステップＳ２６０において、貫き改善処理部７０６は動き量（ノルム）を算出する。すなわち、着目画素２８１の動きベクトルＶｃの絶対値｜Ｖｃ｜、周囲参照点２８２，２８２−１乃至２８２−８のうち選ばれたものの動きベクトルＶLの絶対値｜ＶL｜、ならびに周囲参照点２８３，２８３−１乃至２８３−８のうちの選ばれたものの動きベクトルＶRの絶対値｜ＶR｜が演算される。
【０２０３】
ステップＳ２６１において、貫き改善処理部７０６は次式が成立するかを判定する。
【０２０４】
【数４】
0004655217.tif 000005
【０２０５】
すなわち、ステップＳ２６０で演算された動き量のうち、着目画素２８１の動きベクトルＶｃの動き量｜Ｖｃ｜が、周囲参照点の動きベクトルＶL，ＶRの動き量｜ＶL｜，｜ＶR｜より大きいかが判定される。さらに、ステップＳ２５９で算出された相対動きＭL，ＭRが、予め実験などにより設定されている基準値２８より大きいかが次式に従って判定される。
【０２０６】
【数５】
0004655217.tif 000006
【０２０７】
式（１７）乃至式（２０）のいずれもが満足される場合には、ステップＳ２６２において、貫き改善部７０６は、貫き危険フラグにtrueを設定する。すなわち、ステップＳ２５１でfalseに初期設定された貫き危険フラグが、ここでtrueに書き換えられる。
【０２０８】
貫き危険フラグをtrueに設定する条件を、図３７と図３８を参照して説明する。図３７において、前景３０２は、その中心の画素３０３がフレームｔ１からフレームｔ１＋１に図中右方向に遅い速度で移動した場合において中心の画素３１３を有する前景３１２となる。この前景３０２の動きベクトルＶｌは、画素３０３と画素３１３を結んだ線で表現される。前景３０２の幅Ｗ302は不明である。フレームｔ１の背景の画素３０１は図中左方向の高速で移動し、フレームｔ１＋１において画素３１１となっている。したがって、画素３０１と画素３１１を結ぶ線Ｖｃにより、画素３０１の動きベクトルが表される。動きベクトルＶｃは、フレームｔ＋Ｐ近傍で動きベクトルＶｌと交差している。
【０２０９】
フレームｔ１の画素３２２を中心に有するカバード領域３２１は背景であり、近傍の背景画素３０１の動きベクトルＶｃとほぼ同様の動きベクトルを有しているはずである。しかしながら、カバード領域３２１から動きベクトルＶｃに対応するフレームｔ１＋１の領域には、前景３１２が位置する。従って、カバード領域３２１の動きベクトルは、検出することが困難となる。そこで、この実施の形態の場合、カバード領域３２１の画素３２２に対しては、０ベクトル（動きが０の動きベクトル）が、画素３２２の動きベクトルＶｒとされる。
【０２１０】
貫き劣化部は、この画素（着目画素）３０１が、図３７に示されるように、前景３０２とカバード領域３２１にはさまれる領域３９１内に位置する場合に発生することが多い。従って、着目画素３０１が領域３９１に属することを検出することができれば、そこに位置する画素の動きベクトルは、貫き劣化を発生しやすい動きベクトルということになる。そこで、式（１９）と式（２０）が成立することを判定することで、前景３０２とカバード領域３２１の存在が検出される。すなわち、画素３０１が前景３０２とカバード領域３２１の間の領域３９１に属することが検出される。
【０２１１】
さらに、貫き劣化を発生するおそれがある動きベクトルは、自分自身が大きな動き量を持つことが多く、また、周囲の前景の動きよりも大きく、かつカバード領域にあてられた動きよりも大きいことが多い。そこで、この条件が式（１７）と式（１８）で判定される。すなわち、図３８に示されるように、着目画素の動きベクトルＶｃは、参照点の動きベクトルＶｌ，Ｖｒ（周囲参照点の動きベクトルＶL，ＶR）より大きいことが条件として判定される。
【０２１２】
以上のようにして、式（１７）乃至式（２０）のすべてが充足される場合には、その動きベクトルは、貫き劣化を発生させる恐れが大きいと判定される。そこで、この場合には、ステップＳ２６２において、その動きベクトルの貫き危険フラグがtrueに設定される。
【０２１３】
ステップＳ２６１において、式（１７）乃至式（２０）のいずれか１つでも充足されないと判定された場合には、ステップＳ２６２の処理はスキップされる。すなわち、この場合には、ステップＳ２５１で初期設定されたfalseが、そのまま貫き危険フラグとして設定されることになる（その動きベクトルは貫き劣化を発生させる恐れが少ない動きベクトルであることを意味するフラグが設定されることになる）。
【０２１４】
ステップＳ２６３において、貫き改善処理部７０６は、すべての周囲参照点を選択したかを判定する。まだ選択していない周囲参照点が存在する場合には、処理はステップＳ２５５に戻り、新たな周囲参照点が選択され、その周囲参照点に関してそれ以降の処理が同様に実行される。ステップＳ２６３において、すべての周囲参照点を選択したと判定された場合、ステップＳ２６４において、貫き改善処理部７０６は、すべての参照モードを選択したかを判定する。まだ、すべての参照モードを選択していない場合には、処理はステップＳ２５３に戻り、次の参照モードが選択され、その選択された参照モードについて同様の処理が実行される。
【０２１５】
ステップＳ２６４において、すべての参照モードを選択したと判定された場合、ステップＳ２６５において、貫き改善処理部７０６は、ステップＳ２５１またはステップＳ２６２において設定した貫き危険フラグを出力する。
【０２１６】
貫き危険フラグがtrueと設定された場合には、図２２を参照して説明したように、ステップＳ２０６においてYESと判定され、ステップＳ２０７乃至Ｓ２１０の処理はスキップされる。すなわち、その動きベクトルは、割り付け処理の対象からはずされる（割り付けが禁止される）ことになる。貫き危険フラグがfalseに設定されている動きベクトルについてだけ、割り付け処理が実行されることになる。
【０２１７】
その結果、図３９に示されるように、小動きの前景１０１２と小動きまたは静止状態（０ベクトル）のカバード領域１０１３との間に形成される危険領域１０１４の画素１０１５の大きな動きベクトルＶ１がフレームｔ＋Ｐ上の前景に割り付けられることが少なくなり、貫き劣化部の発生が抑制される。
【０２１８】
図４０は、貫き改善処理の他の実施の形態を表している。この実施の形態におけるステップＳ３５１乃至ステップＳ３６５の処理は、図２４のステップＳ２５１乃至ステップＳ２６５の処理と基本的に同様の処理である。ただし、図２４の貫き改善処理においては、９個の周囲参照点の動きベクトルのすべてについて、それぞれが貫き危険フラグを設定するか否かが判定されている。しかしながら、少なくとも１個の周囲参照点について貫き危険フラグがtrueに設定された場合には、その他の周囲参照点の動きベクトルが、貫き劣化の恐れが少ないとしても、結果として貫き危険フラグとしてはtrueが出力される。そこで、図４０の実施の形態においては、ステップＳ３６２において、今処理中の動きベクトルに関して貫き危険フラグにtrueが設定された場合には、処理はステップＳ３６３に進み、すべての周囲参照点を選択したかの判定処理を行うのではなく、直ちにステップＳ３６５に進み、貫き危険フラグを出力する処理が実行されるようになされている。その結果、処理をより迅速に完了させることが可能となる。その他の処理は図２４の処理と同様であり、その説明は繰り返しになるので省略する。
【０２１９】
次に、図４１のフローチャートを参照して、図２２のステップＳ２０７の画素位置演算処理の詳細を説明する。
【０２２０】
ステップＳ７２１において、画素情報演算部７０１は、ステップＳ２０４の処理により選択された画素で検出された動きベクトルであって、貫き危険フラグがfalseである動きベクトルを、検出メモリベクトル５３から取得する。なお、選択された画素の動きベクトルが０ベクトルである場合、割付ベクトルメモリ５５には、初期値として０ベクトルが予め記憶されているので、以降のステップＳ７２２乃至Ｓ７２４、および、図２２のステップＳ２０８乃至Ｓ２１０の処理はスキップされ、処理はステップＳ２１１に進む。
【０２２１】
画素情報演算部７０１は、ステップＳ７２２において、取得された動きベクトルと内挿フレームの交点を算出する。すなわち、画素情報演算部７０１は、取得した動きベクトルを、次フレームｔ＋１方向に延ばし、延ばした動きベクトルと、内挿フレームとの交点を算出する。
【０２２２】
画素情報演算部７０１は、ステップＳ７２３において、動きベクトルと内挿フレームから算出された交点から、割付対象となる画素を設定する。このとき、画素情報演算部７０１は、交点が内挿フレーム上の画素位置に一致する場合には、交点を、割付対象画素に設定する。一方、画素情報演算部７０１は、交点が内挿フレーム上の画素位置に一致しない場合には、上述したように、内挿フレーム上の交点の近傍４画素を、割付対象画素に設定する。
【０２２３】
ステップＳ７２４において、画素情報演算部７０１は、評価値演算部７０２および着目画素差分演算部７０３が評価値DFDおよび輝度差分絶対値を求める上で必要である、各割付対象画素を基準に、取得された動きベクトルで対応付けた元フレーム上の位置を算出する。具体的には、画素情報演算部７０１は、ステップＳ７２４において、取得された動きベクトルを、設定された割付対象画素にシフト（平行移動）し、シフトされた動きベクトルと、元フレーム上の交点の位置を求め、画素位置演算処理を終了する。その後、処理は図２２のステップＳ２０８に戻る。
【０２２４】
次に、図４２のフローチャートを参照して、図２２のステップＳ２０９の割付ベクトル評価処理の詳細を説明する。
【０２２５】
図２２のステップＳ２０８において、画素情報演算部７０１により選択した割付対象画素を基準に、その動きベクトルで対応付けられる元フレーム上の位置が求められ、求められた元フレーム上の位置の情報が、評価値演算部７０２および着目画素差分演算部７０３に入力される。
【０２２６】
評価値演算部７０２は、画素情報演算部７０１から、元フレーム上の位置の情報が入力されると、ステップＳ７４１において、割付対象画素における動きベクトルの評価値DFDを求めるために、フレームｔおよびフレームｔ＋１上の位置を中心としたDFD演算範囲（ｍ×ｎ）をそれぞれ求め、さらにステップＳ７４２において、求められたDFD演算範囲が画枠内にあるかを判断する。評価値演算部７０２は、ステップＳ７４２において、DFD演算範囲が画枠からはみ出していると判断した場合、その動きベクトルは、割付対象画素に割り付ける割付候補ベクトルにはならないと判断し、ステップＳ７４３乃至Ｓ７４９の処理をスキップし、割付ベクトル評価処理を終了する。その後、処理は図２２のステップＳ２１０に戻る。
【０２２７】
評価値演算部７０２は、ステップＳ７４２において、求められたDFD演算範囲が画枠内にあると判断した場合、ステップＳ７４３において、画枠内にあると判断されたDFD演算範囲を用いて、割付対象画素の評価値DFDを演算し、求められた評価値DFDを、評価値判断部７１２に出力する。なお、このとき、元フレーム上の位置が画素以下であった場合には、上述した４点補間を用いて、元フレーム上の交点の輝度値を求めることにより、割付対象画素の評価値DFDが演算される。
【０２２８】
一方、着目画素差分演算部７０３は、画素情報演算部７０１から、元フレーム上の位置の情報が入力されると、ステップＳ７４４において、割付対象画素における輝度差分絶対値ｄｐを求め、求められた輝度差分絶対値ｄｐを、画素差分判断部７１１に出力する。なお、このときも、元フレーム上の位置が画素以下であった場合には、着目画素差分演算部７０３は、上述した４点補間を用いて、元フレーム上の交点の輝度値を求めることにより、割付対象画素における輝度差分絶対値ｄｐを演算する。
【０２２９】
画素差分判断部７１１は、ステップＳ７４５において、着目画素差分演算部７０３からの割付対象画素の輝度差分絶対値ｄｐが、所定のしきい値以下であるかを判断し、割付対象画素の輝度差分絶対値ｄｐが、所定のしきい値より大きいと判断した場合、フレームｔおよびフレームｔ＋１の交点がそれぞれ異なるオブジェクトに属する可能性が高いと判断し、すなわち、その動きベクトルは、割付対象画素における信頼度が低く、割付対象画素に割り付ける割付候補ベクトルにはならないと判断し、ステップＳ７４６乃至Ｓ７４９の処理をスキップし、割付ベクトル評価処理を終了する。その後、処理は図２２のステップＳ２１０に戻る。
【０２３０】
割付対象画素の輝度差分絶対値ｄｐが、所定のしきい値以下である場合、評価値判断部７１２は、ステップＳ７４６において、ベクトル選択部７０５のDFDテーブルを参照し、評価値演算部７０２からの割付対象画素の評価値DFDが、DFDテーブルに記憶されている割付対象画素の最小評価値（いまの場合、０ベクトルの評価値DFD０）よりも小さいかを判断し、評価値演算部７０２からの割付対象画素の評価値DFDが、DFDテーブルに記憶されている割付対象画素の最小評価値以上であると判断した場合、その動きベクトルは、割付対象画素において、信頼度が高くないと判断し、ステップＳ７４７乃至Ｓ７４９の処理をスキップし、割付ベクトル評価処理を終了する。その後、処理は図２２のステップＳ２１０に戻る。
【０２３１】
一方、評価値判断部７１２は、ステップＳ７４６において、評価値演算部７０２からの割付対象画素の評価値DFDが、DFDテーブルに記憶されている割付対象画素の最小評価値よりも小さいと判断した場合、その動きベクトルは、割付対象画素において、いままで比較した動きベクトルの中で最も、評価値DFDに基づく信頼度が高いと判断し、信頼度が高いと判断された割付対象画素の評価値DFDを、ベクトル選択部７０５に出力する。
【０２３２】
ベクトル選択部７０５は、評価値判断部７１２からの割付対象画素の評価値DFDを入力すると、ステップＳ７４７において、割付フラグメモリ５６の割付対象画素の割付フラグを１(true)に書き換え、ステップＳ７４８において、DFDテーブルの割付対象画素が対応する最小評価値を、評価値判断部７１２により信頼度が高いと判断された評価値DFDに書き換える。
【０２３３】
ベクトル選択部７０５には、ステップＳ２０８において、画素情報演算部７０１から選択した割付対象画素とその動きベクトルが入力されている。したがって、ベクトル選択部７０５は、ステップＳ７４９において、割付ベクトルメモリ５５の割付対象画素に割り付けられている動きベクトルを、信頼度が高いと判断された評価値DFDに対応する動きベクトルで書き換え、割付ベクトル評価処理を終了する。その後、処理は図２２のステップＳ２１０に戻る。
【０２３４】
以上のように、内挿フレームの割付対象画素に割り付けられる動きベクトルを選ぶときに、評価値DFDだけでなく、割付対象画素を基準に動きベクトルで対応付けた元フレーム上の位置に基づいて求められる、割付対象画素の輝度差分絶対値を別扱いにし、評価するようにしたので、従来の評価値DFDを用いるだけの場合よりも、割付候補ベクトルの中から、最も確からしい動きベクトルを選んで、割付対象画素に割り付けることができる。これにより、ベクトル割付の精度が向上し、後段の画像補間処理において生成される画像の不連続性などを抑制することができ、画像の品質を向上させることができる。
【０２３５】
さらに、評価値DFDや輝度差分絶対値を求める際などに、画素以下位置の画素値が必要な場合に、その画素以下位置の近傍４画素との距離を基にした線形補間で値を求めるようにしたので、画素以下位置精度の処理が可能になり、さらに、従来の画素以下成分を丸めてしまう方法よりも、輝度差分絶対値ｄｐや評価値DFDを精度よく求めることができ、これにより、割付候補ベクトルの中から、着目画素により確からしい動きベクトルを割り付けることができる。すなわち、ベクトル割付処理の精度が向上する。
【０２３６】
また、０ベクトルによる評価値DFDを初期値として、DFDテーブルに予め保持しておき、動きベクトルを順次処理している間に、ある動きベクトルによる評価値DFDがその時点で最小評価値となった場合に、DFDテーブルの最小評価値と、割付ベクトルメモリ５５に割り付けられている動きベクトルを、随時更新するようにしたので、時間とリソースを効率的に使用することができる。
【０２３７】
図４３は、ベクトル割付部５４の他の構成を示すブロック図である。図４３に構成を示すベクトル割付部５４は、フレームｔ上において検出された動きベクトルを、その動きベクトルの周囲の動きベクトルとの差異性（ばらつき）の値（以下、差異性値とも称する）を評価値として用いて信頼度を評価することにより、割付ベクトルメモリ５５上の、補間する６０Ｐ信号の内挿フレーム上の画素に割り付ける処理を行う。
【０２３８】
すなわち、図４３のベクトル割付部５４には、図１６のベクトル割付部５４と異なり、フレームｔおよびｔ＋１の画素値は入力されない。
【０２３９】
画素情報演算部７５１は、検出ベクトルメモリ５３のフレームｔ上の画素を、左上の画素からラスタスキャン順に選択し、選択された画素に検出された動きベクトルを取得し、取得した動きベクトルを、次の時刻のフレームｔ＋１方向に延ばし、延ばした動きベクトルと、内挿フレームとの交点を算出する。そして、画素情報演算部７５１は、算出された動きベクトルと内挿フレームとの交点から、内挿フレーム上において、その動きベクトルの割付対象画素を設定し、動きベクトルおよび割付対象画素の位置の情報を、ベクトル選択部７５４に出力する。
【０２４０】
画素情報演算部７５１が動きベクトルを取得したとき、評価値演算部７５２には、画素情報演算部７５１により選択された画素の動きベクトルと、その動きベクトルの画素の周囲の画素（例えば、周囲８画素）に検出された動きベクトルが入力される。評価値演算部７５２は、画素情報演算部７５１により選択された画素の動きベクトルと、その動きベクトルの画素の周囲の画素（例えば、周囲８画素）に検出された動きベクトルを用いて、動きベクトルの差異性値を演算して求め、求めた動きベクトルの差異性値を、ベクトル評価部７５３に出力する。
【０２４１】
ベクトル評価部７５３は、評価値演算部７５２から入力された動きベクトルの差異性値が、ベクトル選択部７５４からの割付対象画素の最小評価値より小さいか否かを判断し、動きベクトルの差異性値が、割付対象画素の最小評価値よりも小さいと判断した場合、その動きベクトルの信頼度が高いと判断し、ベクトル選択部７５４に、その動きベクトルの差異性値を出力する。
【０２４２】
ベクトル選択部７５４は、内挿フレーム上の各画素における最小評価値を保持する評価値メモリ（図示しない）を有している。なお、この評価値メモリは、図１６のベクトル選択部７０５が有するDFDテーブルと同様の構成を有するものである。ベクトル選択部７５４は、動きベクトルが割り付けられる割付対象画素に対応する、割付フラグメモリ５６のフラグを１(true)に書き換えたり、画素情報演算部７５１からの割付対象画素の位置の情報に基づいて、割付対象画素の評価値メモリの最小評価値を、その動きベクトルの差異性値に書き換える。また、ベクトル選択部７５４は、ベクトル評価部７５３の制御のもと、画素情報演算部７５１からの割付対象画素の位置の情報に基づいて、割付ベクトルメモリ５５の割付対象画素に、画素情報演算部７５１からの動きベクトルを割り付ける。
【０２４３】
貫き改善部７５５は、図１６の貫き改善部７０６と同様の処理を行い、貫き危険フラグをベクトル選択部７５４に出力する。そこでベクトル選択部７５４はまた、貫き危険フラグに基づいて、その値がtrueである動きベクトルの割り付けを禁止する。
【０２４４】
次に、図４４を参照して、図４３のベクトル割付部５４における動きベクトルの評価について説明する。図４４は、下から、時刻ｔのフレームｔ、時刻ｔと時刻ｔ＋１の間の時刻の内挿フレームＦ１、および、時刻ｔ＋１のフレームｔ＋１を、１次元的に示している。また、各フレーム上の丸は、フレーム上の画素を示している。
【０２４５】
図４４の例においては、前段のベクトル検出部５２によりフレームｔにおいて検出された動きベクトルｖ１およびｖ２は、フレームｔ＋１方向に延ばされている。
【０２４６】
フレームｔの最も左側の画素から、フレームｔ＋１の左から３番目の画素近傍への動きベクトルｖ１は、内挿フレームＦ１上の左から２番目の画素Ｇの近傍を通っており、フレームｔの左から３番目の画素から、フレームｔ＋１の左から２番目の画素の近傍への動きベクトルｖ２は、内挿フレームＦ１上の左から２番目の画素Ｇの近傍を通っている。すなわち、動きベクトルｖ１およびｖ２は、それぞれ内挿フレームＦ１の画素Ｇの近傍を通るので内挿フレームＦ１の画素Ｇの割付候補ベクトルとされる。
【０２４７】
ベクトル割付部５４は、割付候補ベクトルである、動きベクトルｖ１と動きベクトルｖ２を比較するために、フレームｔ上における各動きベクトルの差異性値（ばらつき）を次の式（２１）で求め、これを評価値として用いる。
【０２４８】
動きベクトルの差異性値  ＝  Σ｜ｖi−ｖ｜                ・・・（２１）
【０２４９】
式（２１）において、ｖは、対象となる動きベクトルであり、ｖiは、フレームｔ上における動きベクトルｖが検出された画素の、周囲の画素（例えば、周囲８画素）で検出された動きベクトル（すなわち、周囲ベクトル）である。なお、式（２１）においては、絶対値の代わりに、自乗した値を用いるようにしてもよい。
【０２５０】
ベクトル割付部５４は、式（２１）を用いて、動きベクトルｖ１とｖ２の差異性値をそれぞれ求め、求めた差異性を比較した結果、周囲ベクトルとの差異性が小さい、すなわち、動きベクトルが、その周囲ベクトルとの差異性が小さい動きベクトルの方が、フレームｔ上において安定して検出されている動きベクトルであると判定し、周囲ベクトルとの差異性が小さい動きベクトルを画素Ｇに割り付ける。
【０２５１】
以上のように、動きベクトルの差異性により動きベクトルを評価することにより、ベクトル割付においては、画像依存性が低く、評価値DFDの場合よりも、確からしくない動きベクトルを選択してしまうことが抑制される。これにより、例えば、図４５に示されるようなベクトル割付の際に生じる恐れのある貫き劣化といった問題を抑制することができる。
【０２５２】
図４５の例において、物体Ｏｂの画像オブジェクトは、時刻ｔ乃至時刻ｔ＋１（すなわち、フレームｔ乃至フレームｔ＋１）を、動きベクトルｖ１で、図中左側から右側へ通過している。一方、背景は、時刻ｔ乃至時刻ｔ＋１を、動きベクトルｖ２で、図中右側から左側へ通過している。
【０２５３】
したがって、本来ならば、内挿フレームＦ１において物体Ｏｂの画像オブジェクトが通過する位置にある画素Ｇには、動きベクトルｖ１が割り付けベクトルとして選択されるべきであるが、例えば、物体Ｏｂの画像オブジェクトよりも大きいサイズである、ｍ×ｎのブロックＢの画素を用いて、評価値DFDを求め、その評価値DFDにより、動きベクトルｖ１とｖ２を評価してしまうと、背景は、平坦なことが多く、もともと背景の評価値DFDが小さくなる傾向があることから、誤って、背景の動きベクトルｖ２が選ばれてしまう恐れがある。これにより生成される内挿フレームＦ１の物体Ｏｂの画像オブジェクトには、背景が貫いてしまう結果となってしまう。
【０２５４】
しかしながら、背景は、平坦であった場合、平坦であるがゆえ、動きベクトル検出処理においては、ディテールを有する物体よりも、誤った動きベクトルが検出されている場合が多い。このような場合には、動きベクトルｖ２と、その周囲ベクトルとの差異性は、大きな値となってしまう。一方、ディテールを有する物体は、ディテールを有するがゆえ、平坦な背景よりも、より確からしい動きベクトルが検出されている可能性が高い。したがって、この場合には、動きベクトルｖ１と、その周囲ベクトルとの差異性は、動きベクトルｖ２と、その周囲ベクトルとの差異性よりも小さな値となる。
【０２５５】
以上のことから、動きベクトルとその周囲ベクトルとの差異性を評価値として用いることにより、内挿フレームＦ１の画素Ｇにおいては、物体Ｏｂのオブジェクトに背景が貫いてしまう貫き劣化が抑制され、より確からしい動きベクトルが割付ベクトルとして割り付けられる。
【０２５６】
次に、図４６のフローチャートを参照して、図４３のベクトル割付部５４のベクトル割付処理の詳細を説明する。すなわち、このベクトル割付処理は、図２２のベクトル割付処理の他の例である。
【０２５７】
検出ベクトルメモリ５３に、前段のベクトル検出部５２により、フレームｔにおいて検出された動きベクトルが記憶されると、画素情報演算部７５１は、ベクトル選択部７５４を制御し、ステップＳ７６１において、割付フラグメモリ５６の割付フラグを０(false)で初期化する。
【０２５８】
画素情報演算部７５１は、ステップＳ７６２において、検出ベクトルメモリ５３上の元フレームから画素を選択する。なお、この場合、フレームの左上からラスタスキャン順に画素が１つずつ選択される。
【０２５９】
ステップＳ７６３において、貫き改善処理部７５５は、貫き改善処理を実行する。その詳細は図２４または図４０を参照して上述したとおりであり、これにより、貫き劣化を発生するおそれのある動きベクトルが検出され、その動きベクトルの貫き危険フラグはtrueに設定される。そこでステップＳ７６４において、ベクトル選択部７５４は、選択された画素の貫き危険フラグがtrueであるかを判定する。
【０２６０】
選択された画素の貫き危険フラグがtrueではない場合（falseである場合）、画素情報演算部７５１は、ステップＳ７６５において、画素位置演算処理を実行する。
【０２６１】
この画素位置演算処理の詳細を、図４７のフローチャートを参照して説明する。なお、図４７の画素位置演算処理は、図４１の画素位置演算処理のうち、ステップＳ７２４の元フレーム上の位置の算出処理を除いた点が異なるだけであり、その他の処理は、図４１の画素位置演算処理と基本的に同様の処理である。
【０２６２】
図４７のステップＳ７７１において、画素情報演算部７５１は、図４６のステップＳ７６２の処理により選択された画素で検出された動きベクトルであって、貫き危険フラグがfalseである動きベクトルを、検出メモリベクトル５３から取得する。なお、このとき、画素情報演算部７５１により選択された画素の動きベクトルと、その動きベクトルの画素の周囲の画素（例えば、周囲８画素）に検出された動きベクトルは、評価値演算部７５２に入力される。
【０２６３】
画素情報演算部７５１は、ステップＳ７７２において、取得された動きベクトルと内挿フレームの交点を算出する。すなわち、画素情報演算部７５１は、取得した動きベクトルを、次フレームｔ＋１方向に延ばし、延ばした動きベクトルと、内挿フレームとの交点を算出する。
【０２６４】
画素情報演算部７５１は、ステップＳ７７３において、動きベクトルと内挿フレームから算出された交点から、割付対象となる画素を設定する。このとき、画素情報演算部７５１は、交点が内挿フレーム上の画素位置に一致する場合には、交点を、割付対象画素に設定する。一方、画素情報演算部７５１は、交点が内挿フレーム上の画素位置に一致しない場合には、上述したように、内挿フレーム上の交点の近傍４画素が、割付対象画素に設定される。そして、画素情報演算部７５１は、画素位置演算処理を終了する。その後、処理は、図４６のステップＳ７６６に戻る。
【０２６５】
画素情報演算部７５１は、ステップＳ７６６において、割付ベクトル評価処理を実行する。この割付ベクトル評価処理の詳細は、図４８を参照して後述するが、この割付ベクトル評価処理により、動きベクトルの差異性値が求められ、求められた動きベクトルの差異性値に基づいて、割付対象画素における動きベクトルの信頼度が判断され、これらの判断の結果、信頼度が高いとされた動きベクトルで、割付ベクトルメモリ５５の動きベクトルが書き換えられる。
【０２６６】
画素情報演算部７５１は、ステップＳ７６７において、検出ベクトルメモリ５３上の元フレームのすべての画素の処理を終了したかを判断する。ステップＳ７６７において、検出ベクトルメモリ５３上の元フレームのすべての画素の処理がまだ終了していないと判断された場合、処理はステップＳ７６２に戻り、検出ベクトルメモリ５３上の元フレームの次の画素が選択され、それ以降の処理が繰り返される。また、画素情報演算部７５１は、ステップＳ７６７において、検出ベクトルメモリ５３のすべての画素についての処理を終了したと判断した場合、ベクトル割付処理を終了する。
【０２６７】
次に、図４８のフローチャートを参照して、図４６のステップＳ７６６の割付ベクトル評価処理の詳細を説明する。
【０２６８】
評価値演算部７５２は、図４８のステップＳ７８１において、図４６のステップＳ７６２において選択された画素の動きベクトルの差異性値を演算する。すなわち、図４７のステップＳ７７１において、画素情報演算部７５１が動きベクトルを取得したとき、評価値演算部７５２には、画素情報演算部７５１により選択された画素の動きベクトルと、その動きベクトルの画素の周囲の画素（例えば、周囲８画素）に検出された動きベクトルが入力される。
【０２６９】
したがって、評価値演算部７５２は、図４８のステップＳ７８１において、画素情報演算部７５１により選択された画素の動きベクトルと、その動きベクトルの画素の周囲の画素（例えば、周囲８画素）に検出された動きベクトルを用いて、式（２１）に示される動きベクトルの差異性値を演算して求め、求めた動きベクトルの差異性値を、ベクトル評価部７５３に出力する。
【０２７０】
ステップＳ７８２において、画素情報演算部７５１は、図４７のステップＳ７７３において算出された割付対象画素を選択し、選択した割付対象画素と、その動きベクトルを、ベクトル選択部７５４に出力する。なお、ステップＳ７８２において、画素情報演算部７５１は、割付対象画素が複数存在する場合には、左上の画素から選択する。
【０２７１】
ベクトル選択部７５４は、ステップＳ７８３において、画素情報演算部７５１からの割付対象画素に対応する割付フラグメモリ５６のフラグが１(true)であるかを判定し、割付フラグメモリ５６のフラグが１(true)ではないと判定した場合、ステップＳ７８４において、割付対象画素に対応する割付フラグメモリ５６のフラグを１(true)に書き換える。
【０２７２】
すなわち、割付フラグメモリ５６のフラグが０(false)の場合、その割付対象画素の割付ベクトルメモリ５５には、割付ベクトルがまだ割り付いておらず、ベクトル選択部７５４に内蔵される評価値メモリにも最小評価値が記憶されていない。したがって、ベクトル選択部７５４は、割付フラグメモリ５６のフラグが０(false)の場合、割付フラグメモリ５６のフラグを１(true)に書き換えて、最小評価値と比較することなく（すなわち、ステップＳ７８５の処理を実行することなく）、ステップＳ７８６の処理に進む。なお、評価値メモリには、初期値として、そのメモリに記憶される最大値を記憶しておくようにしてもよい。
【０２７３】
一方、ステップＳ７８３において、割付フラグメモリ５６のフラグが１(true)であると判定された場合、すでに、その割付対象画素の割付ベクトルメモリ５５には、他の割付ベクトルがまだ割り付いており、評価値メモリに、対応する最小評価値が記憶されている。
【０２７４】
したがって、ステップＳ７８３において、割付フラグメモリ５６のフラグが１(true)であると判定された場合、ベクトル選択部７５４は、評価値メモリより、割付対象画素に対応する最小評価値を読み出し、ベクトル評価部７５３に供給する。
【０２７５】
ベクトル評価部７５３は、ベクトル選択部７５４から最小評価値が供給されると、ステップＳ７８１において求めた動きベクトルの差異性値が、ベクトル選択部７５４からの割付対象画素の最小評価値よりも小さいかを判定し、動きベクトルの差異性値が、割付対象画素の最小評価値よりも小さいと判定した場合、その動きベクトルの信頼度が高いと判定し、動きベクトルの差異性値を、ベクトル選択部７５４に供給する。
【０２７６】
ベクトル選択部７５４は、ステップＳ７８６において、評価値メモリの対応する最小評価値を、ベクトル評価部７５３からの動きベクトルの差異性値に書き換え、ステップＳ７８７において、割付ベクトルメモリ５５の割付対象画素に割り付けられている動きベクトルを、信頼度が高いと判断された評価値に対応する動きベクトルで書き換える。
【０２７７】
また、ステップＳ７８５において、動きベクトルの差異性値が、評価値メモリの割付対象画素の最小評価値よりも小さくない（評価値メモリの割付対象画素の最小評価値の方が、動きベクトルの差異性値よりも小さい）と判定された場合、その動きベクトルの信頼度は低く、割付ベクトルメモリ５５にすでに書き込まれている動きベクトルの信頼度の方が高いので、ステップＳ７８６およびＳ７８７の処理はスキップされ、処理はステップＳ７８８に進む。
【０２７８】
画素情報演算部７５１は、ステップＳ７８８において、すべての割付対象画素（例えば、４画素）の処理が終了したか否かを判断する。まだ、すべての割付対象画素の処理が終了していない場合には、処理はステップＳ７８２に戻り、次の割付対象画素が選択され、それ以降の処理が繰り返される。すなわち、割付対象画素が４つある場合であっても、その動きベクトルの差異性値は、一度求められれば、４つの割付対象画素に対してそれを用いることができるので、評価値の比較毎に、ステップＳ７８１の演算処理を行う必要がなくなる。
【０２７９】
ステップＳ７８８において、すべての割付対象画素の処理が終了したと判断された場合、画素情報演算部７５１は、割付ベクトル評価処理を終了する。その後、処理は図４６のステップＳ７６７に戻る。
【０２８０】
以上のように、内挿フレームの割付対象画素に割り付けられる動きベクトルを選ぶときに、割り付けられる動きベクトルの差異性（ばらつき）を評価値として用いるようにしたので、評価値DFDを用いる場合よりも、特に、図４５を参照して上述したような貫き劣化などの問題を抑制することができ、割付候補ベクトルの中から、より確からしい動きベクトルを選んで、割付対象画素に割り付けることができる。これにより、ベクトル割付の精度が向上し、後段の画像補間処理において生成される画像の不連続性などを抑制することができ、画像の品質を向上させることができる。
【０２８１】
また、割り付けられる動きベクトルの差異性（ばらつき）を評価値として用いることにより、図１６のベクトル割付部５４が実行する割付ベクトル評価に較べて、２枚の元フレームの位置を線形補間で求める（図４１のステップＳ７２４の処理を実行する）必要がなく、割付対象画素毎に、評価値DFDや輝度差分絶対値ｄｐを求める必要がない。したがって、図４２の割付ベクトル評価処理と、図４８の割付ベクトル評価処理を単純に比較しても、図４８の割付ベクトル評価処理の方がステップ数も少なくなり、処理時間も少なくなる。
【０２８２】
さらに、画像情報演算部７５１においては、画像情報演算部７０１に必要とされる２枚の元フレームの位置の求め直し、線形補間などの演算ブロックが必要なくなり、また、図１６のベクトル割付部５４の評価値演算部７０２および着目画素演算部７０３に必要とされるフレームｔおよびｔ＋１の画素値は必要ないので、図４３のベクトル割付部５４には、その画素値を記憶しておくメモリが必要なくなるので、かなり回路規模を小さくすることができる。
【０２８３】
なお、上記説明においては、検出ベクトルメモリ５３の動きベクトルは、勾配法が用いられて検出されているが、ブロックマッチング法など他の方法により求められた動きベクトルが用いられるようにしてもよい。
【０２８４】
次に、割付補償部５７の構成の詳細について説明する。
【０２８５】
図４９は、割付補償部５７の構成を示すブロック図である。図４９に構成を示す割付補償部５７は、割付ベクトル判定部８０１およびベクトル補償部８０２により構成され、ベクトル割付部５４により動きベクトルが割り付けられなかった６０Ｐ信号の内挿フレーム上の画素に、その周辺画素の動きベクトルを補って割り付ける処理を行う。
【０２８６】
前段のベクトル割付部５４により、割付ベクトルメモリ５５上の内挿フレームの画素には動きベクトルが割り付けられている。また、ベクトル割付部５４により動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグには、１(true)が書き込まれており、動きベクトルが割り付けられなかった画素の割付フラグメモリ５６の割付フラグには、０(false)が書き込まれている。
【０２８７】
割付ベクトル判定部８０１は、割付フラグメモリ５６の割付フラグを参照し、着目画素に、ベクトル割付部５４により動きベクトルが割り付けられているか否かを判定する。そして、割付ベクトル判定部８０１は、ベクトル割付部５４により動きベクトルが割り付けられなかった着目画素を選択し、選択した着目画素に対して、ベクトル補償部８０２を制御し、その着目画素の周辺画素の動きベクトルを選択して、割付ベクトルメモリ５５の内挿フレーム上に割り付けさせる。
【０２８８】
ベクトル補償部８０２は、割付ベクトルメモリ５５から、着目画素の周辺画素に割り付けられている動きベクトルを取得し、入力される時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１を用いて、取得した動きベクトルの評価値DFDを求めて比較することにより、着目画素の周辺画素に割り付けられた動きベクトルのうち、評価値DFDに基づく、最も信頼度が高い動きベクトルを、割付ベクトルメモリ５５の着目画素に割り付ける。また、ベクトル補償部８０２は、動きベクトルが割り付けられた着目画素の割付フラグを１(true)に書き換える。
【０２８９】
図５０は、ベクトル補償部８０２の構成を示すブロック図である。図５０に構成を示すベクトル補償部８０２は、補償処理部８１１および評価値演算部８１２により構成される。
【０２９０】
補償処理部８１１は、最小評価値DFDと、最小評価値DFDの動きベクトルを候補ベクトル（以下、補償候補ベクトルとも称する）として記憶するメモリ８２１を有しており、割付ベクトル判定部８０１により選択された着目画素の初期値として、０ベクトルの評価値DFDを最小評価値としてメモリ８２１に記憶し、０ベクトルを、補償候補ベクトルとしてメモリ８２１に記憶する。補償処理部８１１は、割付フラグメモリ５６を参照して、着目画素の周辺画素の動きベクトルの有無を判断し、割付ベクトルメモリ５５から、周辺画素に割り付けられている動きベクトルを取得し、評価値演算部８１２を制御し、その動きベクトルの評価値DFDを演算させる。
【０２９１】
また、補償処理部８１１は、評価値演算部８１２により演算された評価値DFDがメモリ８２１に記憶されている最小評価値よりも小さいか否かを判断し、演算された評価値DFDが最小評価値よりも小さいと判断した場合、メモリ８２１の補償候補ベクトルと最小評価値を、演算された評価値DFDとその動きベクトルに書き換え、最終的に、評価値DFDが最も小さいと判断された周辺画素の動きベクトル（補償候補ベクトル）を、着目画素の動きベクトルとして、割付ベクトルメモリ５５の着目画素に割り付ける。さらに、補償処理部８１１は、動きベクトルが割り付けられた着目画素の割付フラグメモリ５６の割付フラグを１(true)に書き換える。
【０２９２】
評価値演算部８１２は、割付ベクトルメモリ５５から周辺画素の動きベクトルを取得すると、入力される時刻ｔの２４Ｐ信号の画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１を用いて、割付ベクトルメモリ５５からの動きベクトルの評価値DFDを演算し、演算した評価値DFDを補償処理部８１１に出力する。
【０２９３】
図５１は、割付補償処理の原理を説明する図である。図５１の例においては、内挿フレーム上の各画素が示されている。画素から出力される矢印は、各画素に割り付けられている動きベクトルを表しており、矢印がない画素は、動きベクトルが割り付けられていない画素を表している。
【０２９４】
ここで、前段のベクトル割付部５４により動きベクトルの割り付けられなかった中央の着目画素Ｐに対して、着目画素Ｐの近傍の周辺画素に割り付けられている動きベクトルの中から、評価値DFDに基づく、信頼度が高いものを選択して割り付ける。図５１の例の場合、着目画素Ｐには、着目画素Ｐの上の画素の動きベクトル（太線矢印）が選択され、割り付けられている。これは、次に説明する動き相関に基づいて実行される処理である。
【０２９５】
図５２は、動き相関の原理について説明する図である。図５２の例においては、あるフレーム上を動きｖ１で動くオブジェクトＯ１と、動きｖ２で動くオブジェクトＯ２が示されている。オブジェクトＯ１に属している着目画素Ｐ１とその近傍Ｋ１は、オブジェクトＯ１とほぼ同一動きｖ１を有している。また、オブジェクトＯ２に属している着目画素Ｐ２とその近傍Ｋ２は、オブジェクトＯ２とほぼ同じ動きｖ２を有している。
【０２９６】
このように、動き相関とは、ある同じ時間における空間内（同一フレーム内）において、あるオブジェクトに属する画素の動きは、ほぼ同一動きをしていることが多いということを表すものである。したがって、動きベクトルを割り付けることができなかった画素に対しては、ある同じ時刻における空間内（同一フレーム内）において、このような動き相関があることを利用して、周辺画素の動きベクトルから、その画素の対応する動きベクトルを選択することができる。なお、説明は省略するが、時間方向の相関も同様である。
【０２９７】
次に、図５３乃至図５９を参照して、動き相関に基づいて実行される動きベクトルの補償処理について説明する。この処理は、周辺画素の動きベクトルから、動きベクトルを選択し、着目画素の動きベクトルとして補う処理である。図５３の例においては、白丸は、内挿フレーム上の画素を表しており、動きベクトルを求めようとしている着目画素Ｐの周辺に、周辺８画素が示されている。この着目画素Ｐの動きベクトルは、この周辺８画素の動きベクトルを参照して求められる。
【０２９８】
図５４の例においては、着目画素Ｐの周辺８画素の中で、左上画素、右上画素、および、右下画素（図中黒丸で示される画素）に、前段の処理（例えば、上述したベクトル割付処理）などにより求められた動きベクトル（矢印）が示されている。すなわち、この場合の着目画素Ｐの補償候補ベクトルは、左上画素、右上画素、および、右下画素の動きベクトルとされる。なお、フレーム上において、動きベクトルは、フレーム上の左上の画素からラスタスキャン順に求められていくため、周辺８画素のうち、まだ動きベクトルの求められていない画素も存在する可能性もあるが、まだ動きベクトルは求められていないため、補償候補ベクトルにはできない。
【０２９９】
ここで、図５５の例に示されるように、周辺８画素の中には、前段の処理において求められた動きベクトルを有する画素（黒丸で示される画素）の他に、本処理により求められた動きベクトルを有する画素（ハッチングされた丸で示される画素）も存在する。すなわち、本処理においては、本処理自体の前段の結果も利用される。したがって、図５５の例の場合の着目画素Ｐの補償候補ベクトルは、動きベクトルがすでに存在する画素（黒丸で示される画素）の動きベクトルと、前段の本処理により求められた動きベクトルを有する画素（ハッチングされた丸で示される画素）の動きベクトルにより構成されている。
【０３００】
また、図５６の例に示されるように、動き量を０とした０ベクトル（静止ベクトル）Ｓ０も補償候補ベクトルとして利用することができる。なお、図５５の例においては、本処理により求められた動きベクトルを有する画素と、動きベクトルがすでに存在する画素を別々に表したが、どちらも動きベクトルを有するという点で同じであるので、図５６乃至図５９においては、本処理により求められた動きベクトルを有する画素も、動きベクトルがすでに存在する画素（黒丸で示される画素）に含まれることとする。したがって、図５６の例の場合、着目画素Ｐの補償候補ベクトルは、動きベクトルがすでに存在する画素（黒丸で示される画素）の動きベクトルおよび０ベクトルＳ０により構成されている。
【０３０１】
以上のようにして構成される補償候補ベクトルの信頼度（確からしさ）を比較するために、動きベクトルの評価方法である評価値DFDは、以下の図５７乃至図５９に示されるようにして求められる。図５７は、補償候補ベクトルとして、０ベクトルＳ０が用いられる例を示している。図５８は、補償候補ベクトルとして、周辺８画素の左上画素の動きベクトルＶＫ１が用いられる例を示している。図５９は、補償候補ベクトルとして、周辺８画素の上中央画素の動きベクトルＶＫ２が用いられる例を示している。
【０３０２】
図５７の例においては、図中左側に示される着目画素Ｐの補償候補ベクトルの中から、０ベクトルＳ０が選択され、選択された０ベクトルＳ０の評価値DFDを求める例が示されている。すなわち、０ベクトルＳ０に対する評価値DFDは、着目画素Ｐ（６０Ｐ信号の内挿フレーム）を挟む、２４Ｐ信号のフレームｔとフレームｔ＋１上において、内挿フレーム上の着目画素Ｐを基準にして、選択された０ベクトルＳ０が対応付けられる交点を求め、この交点を中心として所定の範囲（ｍ×ｎ）のDFD演算範囲Ｄ１−１（フレームｔ）およびＤ１−２（フレームｔ＋１）を算出し、算出されたDFD演算範囲Ｄ１−１およびＤ１−２を用いて、上述した式（１）を演算することにより求められる。
【０３０３】
図５８の例においては、図中左側に示される着目画素Ｐの補償候補ベクトルの中から、周辺８画素の左上画素の動きベクトルＶＫ１が選択され、選択された動きベクトルＶＫ１の評価値DFDを求める例が示されている。すなわち、周辺８画素の左上画素の動きベクトルＶＫ１に対する評価値DFDは、着目画素Ｐ（内挿フレーム）を挟むフレームｔとフレームｔ＋１上において、内挿フレーム上の着目画素Ｐを基準にして、選択された動きベクトルＶＫ１が対応付けられる交点を求め、この交点を中心として所定の範囲（ｍ×ｎ）のDFD演算範囲Ｄ２−１（フレームｔ）およびＤ２−２（フレームｔ＋１）を算出し、算出されたDFD演算範囲Ｄ２−１およびＤ２−２を用いて、上述した式（１）を演算することにより求められる。
【０３０４】
図５９の例においては、図中左側に示される着目画素Ｐの補償候補ベクトルの中から、補償候補ベクトルとして、周辺８画素の上中央画素の動きベクトルＶＫ２が選択され、選択された動きベクトルＶＫ２の評価値DFDを求める例が示されている。すなわち、周辺８画素の上中央画素の動きベクトルＶＫ２に対する評価値DFDは、着目画素Ｐ（内挿フレーム）を挟むフレームｔとフレームｔ＋１上において、内挿フレーム上の着目画素Ｐを基準にして、選択された動きベクトルＶＫ２が対応付けられる交点を求め、この交点を中心として所定の範囲（ｍ×ｎ）のDFD演算範囲Ｄ３−１（フレームｔ）およびＤ３−２（フレームｔ＋１）を算出し、算出されたDFD演算範囲Ｄ３−１およびＤ３−２を用いて、上述した式（１）を演算することにより求められる。
【０３０５】
なお、図中左側に示される他の補償候補ベクトルについても、基本的に同様の処理であるため、その説明は省略するが、以上のようにして、着目画素Ｐの周辺画素の補償候補ベクトルすべての評価値DFDが求められ、求められたそれらの評価値DFDが比較され、その中で、最も評価値DFDが最小となる補償候補ベクトルが、図５０に示されるように、着目画素Ｐに割り付けられる最も信頼度がある、確からしい動きベクトルとして選択される。
【０３０６】
図６０の例の場合、着目画素Ｐの周辺画素の補償候補ベクトルの中から、周辺８画素の左上画素の動きベクトルＶＫ１の評価値DFDが最も小さいとして判断され、動きベクトルＶＫ１が、着目画素Ｐの動きベクトルとして選択され、割り付けられている。
【０３０７】
以上のように、ベクトル割付部５４において割り付けることができなかった画素の動きベクトルを、動き相関を利用して、周辺画素の動きベクトルから補償するようにしたので、動きベクトルが割り付けられず、例えば、０ベクトルが割り付けられていたような場合よりも、動きの乱れを抑制することができる。また、このようにして補償された画素の動きベクトルも、他の画素の補償候補ベクトルとして再度利用することができる。すなわち、空間方向の近傍の動きベクトルだけでなく、時間方向の近傍の動きベクトルも、補償候補ベクトルに用いることができるので、オブジェクト内でほぼ同じ動きをする画素には、ほぼ同一の動きベクトルが選択され、誤りの少ない安定した動きベクトルを得ることができる。これにより、ベクトル割付の精度が向上する。
【０３０８】
次に、図６１のフローチャートを参照して、図９のステップＳ４の割付補償処理の詳細を説明する。前段のベクトル割付部５４により、割付ベクトルメモリ５５上の内挿フレームの画素には動きベクトルが割り付けられている。また、ベクトル割付部５４により動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグには、１(true)が書き込まれており、動きベクトルが割り付けられなかった画素の割付フラグメモリ５６の割付フラグには、０(false)が書き込まれている。
【０３０９】
割付ベクトル判定部８０１は、ステップＳ８０１において、割付フラグメモリ５６の内挿フレームの画素を、着目画素として選択し、ステップＳ８０２に進む。このとき、割付ベクトル判定部８０１は、フレームの左上の画素からラスタスキャン順に画素を選択する。
【０３１０】
割付ベクトル判定部８０１は、ステップＳ８０２において、割付フラグメモリ５６内の着目画素の割付フラグが、０(false)であるか否かを判断し、割付フラグメモリ５６内の着目画素の割付フラグが、０(false)であると判断した場合、動きベクトルが割り付けられていないと判定し、ステップＳ８０３において、補償処理部８１１を制御し、ベクトル補償処理を実行させる。このベクトル補償処理により、周辺画素に割り付けられた動きベクトルの中から、評価値DFDの最小の動きベクトルが補償候補ベクトルとしてメモリ８２１に記憶される。
【０３１１】
補償処理部８１１は、ステップＳ８０４において、メモリ８２１の補償候補ベクトルを、着目画素の動きベクトルとして、割付ベクトルメモリ５５に割り付け、さらにステップＳ８０５において、割付フラグメモリ５６の着目画素の割り付けフラグを、１(true)に書き換える。
【０３１２】
一方、ステップＳ８０２において、割付ベクトル判定部８０１は、割付フラグメモリ５６内の着目画素の割付フラグが、０（false）ではない（１(true)である）と判断した場合、その着目画素にはすでに動きベクトルが割り付けられていると判定して、ステップＳ８０３乃至Ｓ８０５の処理をスキップする。
【０３１３】
割付ベクトル判定部８０１は、ステップＳ８０６において、割付フラグメモリ５６の内挿フレームのすべての画素の処理を終了したかを判断する。すべての画素の処理がまだ終了していないと判断された場合、処理はステップＳ８０１に戻り、割付フラグメモリ５６の内挿フレームの次の画素が、着目画素として選択され、それ以降の処理が実行される。ステップＳ８０６において、割付フラグメモリ５６の内挿フレームのすべての画素の処理が終了したと判断された場合、割付補償処理は終了される。
【０３１４】
以上のように、ベクトル割付処理において、割り付けることができなかった画素に関しても、動き相関があることを利用して、その画素の周辺の動きベクトルの中から、評価値DFDに基づく、最も信頼度がある、確からしい動きベクトルを得ることができる。これにより、ベクトルが割り付けられず、０ベクトルなどを割り付けておく場合よりも、ベクトル割付の精度が向上し、後段の画像補間処理において生成される画像の不連続性を抑制することができる。
【０３１５】
また、上述した割付補償処理により動きベクトルが割り付けられた画素の割付フラグを１(true)に書き換えるようにし、割付補償処理により割り付けられた動きベクトルも、次の画素の補償候補ベクトルとして用いるようにしたので、オブジェクト内でほぼ同じ動きをする画素には、ほぼ同一の動きベクトルが選択されるようになり、誤りの少ない安定した動きベクトルを得ることができる。その結果、後段において生成される画像のブロックノイズや粉状ノイズなどを抑制し、品質を向上させることができる。
【０３１６】
また、動きベクトルを求める着目画素について、０ベクトルの評価値DFDを予め算出し、最小評価値としてメモリに保持しておくことにより、すべての補償候補ベクトル評価値DFDを一度に算出し、その中から最小の評価値DFDを選択する場合よりも、時間とリソースを効率的に使用することができる。
【０３１７】
なお、上記説明においては、ベクトル割付部５４において割り付けられなかった画素に対してベクトル補償処理を行っているが、ベクトル検出部５２において検出されなかった（０ベクトルが検出された）画素など、何らかの処理において動きベクトルが求められなかった画素に対してベクトル補償処理を行うようにしてもよい。また、さらに、検出された動きベクトル、または、割り付けられた動きベクトルが確からしくない（信頼度が低い）とされる画素に対してベクトル補償処理を行うようにしてもよい。
【０３１８】
本実施の形態においては、動きベクトルを選択する際の評価値として、差分絶対値和である評価値DFDを用いて説明したが、評価値DFDに限定されず、動きベクトルの信頼度を評価するものであれば、他のものを用いるようにしてもよい。
【０３１９】
また、本実施の形態においては、各処理を行うブロックを、例えば、８画素×８画素や９画素×９画素などにより構成するようにして説明したが、これらは、一例であり、各処理を行うブロックを構成する画素は、上記画素数に限定されない。
【０３２０】
さらに、本実施の形態においては、２４Ｐ信号から６０Ｐ信号への信号変換を例に、説明を行ったが、本発明は、例えば、動画像のフレーム周波数変換として、インターレース信号や、他のフレームレート変換にも適用することができる。
【０３２１】
図６２は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）９２１は、ROM（Read Only Memory）９２２、または記憶部９２８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）９２３には、CPU９２１が実行するプログラムやデータなどが適宜記憶される。これらのCPU９２１、ROM９２２、およびRAM９２３は、バス９２４により相互に接続されている。
【０３２２】
CPU９２１にはまた、バス９２４を介して入出力インターフェース９２５が接続されている。入出力インターフェース９２５には、キーボード、マウス、マイクロホンなどよりなる入力部９２６、ディスプレイ、スピーカなどよりなる出力部９２７が接続されている。CPU９２１は、入力部９２６から入力される指令に対応して各種の処理を実行する。そして、CPU９２１は、処理の結果を出力部９２７に出力する。
【０３２３】
入出力インターフェース９２５に接続されている記憶部９２８は、例えばハードディスクからなり、CPU９２１が実行するプログラムや各種のデータを記憶する。通信部９２９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０３２４】
また、通信部９２９を介してプログラムを取得し、記憶部９２８に記憶してもよい。
【０３２５】
入出力インターフェース９２５に接続されているドライブ９３０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部９２８に転送され、記憶される。
【０３２６】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０３２７】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図６２に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９３１、または、プログラムが一時的もしくは永続的に格納されるROM９２２や、記憶部９２８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部９２９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０３２８】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３２９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０３３０】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０３３１】
なお、本明細書において、フローチャートに示されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０３３２】
【図１】従来の前景の画像の表示画面の図である。
【図２】従来のカバード領域の表示画面の図である。
【図３】画像の劣化を説明する表示画面の図である。
【図４】本発明の実施の形態としての画像信号記録再生装置の構成を示すブロック図である。
【図５】本発明の実施の形態としての信号処理装置の構成を示すブロック図である。
【図６】本発明の実施の形態のフレーム周波数変換処理の原理を説明する図である。
【図７】本発明の実施の形態の具体的処理を説明する図である。
【図８】信号処理装置において用いられる動きベクトルの評価値を説明する図である。
【図９】信号処理装置のフレーム周波数変換処理を説明するフローチャートである。
【図１０】画像補間部の構成を示すブロック図である。
【図１１】画像補間処理を説明するフローチャートである。
【図１２】ベクトル検出部の構成を示すブロック図である。
【図１３】ベクトル検出部で用いられる勾配法を説明する図である。
【図１４】初期ベクトルを用いた反復勾配法を説明する図である。
【図１５】動きベクトル検出処理を説明するフローチャートである。
【図１６】ベクトル割付部の構成を示すブロック図である。
【図１７】４点補間処理の概念を説明する図である。
【図１８】ベクトル割付処理の概要を説明する図である。
【図１９】動きベクトルと内挿フレームの交点の近傍画素の例を説明する図である。
【図２０】割付候補の動きベクトルの評価方法を説明する図である。
【図２１】ベクトル割付における４点補間の例を説明する図である。
【図２２】ベクトル割付処理を説明するフローチャートである。
【図２３】前景の動きベクトルと背景の画素の動きベクトルの関係を説明する図である。
【図２４】貫き改善処理を説明するフローチャートである。
【図２５】画素の選択を説明する図である。
【図２６】画素の動きベクトルを説明する図である。
【図２７】参照モードを説明する図である。
【図２８】前景と背景の関係を説明する図である。
【図２９】内分比が１対１の場合の検出を説明する図である。
【図３０】内分比が１対３の場合の検出を説明する図である。
【図３１】内分比が３対１の場合の検出を説明する図である。
【図３２】内分比が１対３である場合の検出を説明する図である。
【図３３】周囲参照点を説明する図である。
【図３４】内分比が１対１である場合の周囲参照点を説明する図である。
【図３５】内分比が３対１である場合の参照点を説明する図である。
【図３６】内分比が１対３である場合の参照点を説明する図である。
【図３７】貫き劣化と領域の関係を説明する図である。
【図３８】動きベクトルの関係を説明する図である。
【図３９】危険領域を説明する図である。
【図４０】貫き改善処理の他の実施の形態を説明するフローチャートである。
【図４１】画素位置演算処理を説明するフローチャートである。
【図４２】割付ベクトル評価処理を説明するフローチャートである。
【図４３】ベクトル割付部の他の実施の形態の構成を示すブロック図である。
【図４４】図４３のベクトル割付部の動きベクトルの評価を説明する図である。
【図４５】貫き劣化を説明する図である。
【図４６】図４３のベクトル割付部のベクトル割付処理を説明するフローチャートである。
【図４７】図４６のステップＳ７６５の画素位置演算処理を説明するフローチャートである。
【図４８】図４６のステップＳ７６６の割付ベクトル評価処理を説明するフローチャートである。
【図４９】割付補償部の構成を示すブロック図である。
【図５０】ベクトル補償部の構成を示すブロック図である。
【図５１】割付補償処理の原理を説明する図である。
【図５２】動き相関の原理を説明する図である。
【図５３】着目画素の周囲画素の構成を説明する図である。
【図５４】着目画素の動きベクトルの補償候補ベクトルの例を説明する図である。
【図５５】着目画素の動きベクトルの補償候補ベクトルの例を説明する図である。
【図５６】着目画素の動きベクトルの補償候補ベクトルの例を説明する図である。
【図５７】補償候補ベクトルを評価する例を説明する図である。
【図５８】補償候補ベクトルを評価する例を説明する図である。
【図５９】補償候補ベクトルを評価する例を説明する図である。
【図６０】補償候補ベクトルを着目画素の動きベクトルとして選択する例を説明する図である。
【図６１】割付補償処理を説明するフローチャートである。
【図６２】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
【０３３３】
３  信号処理装置，  ５１  フレームメモリ，  ５２  ベクトル検出部，  ５３  検出ベクトルメモリ，  ５５  ベクトル割付部，  ５６  割付ベクトルメモリ，  ５７  割付フラグメモリ，  ５８  割付補償部，  ５９  画像補間部，  １０１  初期ベクトル選択部，  １０３  反復勾配法演算部，  １０４  ベクトル評価部，  １０５  シフト初期ベクトル割付部，  １０６  評価値メモリ，  １０７  シフト初期ベクトルメモリ  ７０１  画素情報演算部，  ７０２  評価値演算部，  ７０３  着目画素差分演算部，  ７０４  ベクトル評価部，  ７０５  ベクトル選択部，７０６  貫き改善処理部，  ７１１  画素差分判断部，  ７１２  評価値判断部
【図１】
0004655217.tif 000007
【図２】
0004655217.tif 000008
【図３】
0004655217.tif 000009
【図４】
0004655217.tif 000010
【図５】
0004655217.tif 000011
【図６】
0004655217.tif 000012
【図７】
0004655217.tif 000013
【図８】
0004655217.tif 000014
【図９】
0004655217.tif 000015
【図１０】
0004655217.tif 000016
【図１１】
0004655217.tif 000017
【図１２】
0004655217.tif 000018
【図１３】
0004655217.tif 000019
【図１４】
0004655217.tif 000020
【図１５】
0004655217.tif 000021
【図１６】
0004655217.tif 000022
【図１７】
0004655217.tif 000023
【図１８】
0004655217.tif 000024
【図１９】
0004655217.tif 000025
【図２０】
0004655217.tif 000026
【図２１】
0004655217.tif 000027
【図２２】
0004655217.tif 000028
【図２３】
0004655217.tif 000029
【図２４】
0004655217.tif 000030
【図２５】
0004655217.tif 000031
【図２６】
0004655217.tif 000032
【図２７】
0004655217.tif 000033
【図２８】
0004655217.tif 000034
【図２９】
0004655217.tif 000035
【図３０】
0004655217.tif 000036
【図３１】
0004655217.tif 000037
【図３２】
0004655217.tif 000038
【図３３】
0004655217.tif 000039
【図３４】
0004655217.tif 000040
【図３５】
0004655217.tif 000041
【図３６】
0004655217.tif 000042
【図３７】
0004655217.tif 000043
【図３８】
0004655217.tif 000044
【図３９】
0004655217.tif 000045
【図４０】
0004655217.tif 000046
【図４１】
0004655217.tif 000047
【図４２】
0004655217.tif 000048
【図４３】
0004655217.tif 000049
【図４４】
0004655217.tif 000050
【図４５】
0004655217.tif 000051
【図４６】
0004655217.tif 000052
【図４７】
0004655217.tif 000053
【図４８】
0004655217.tif 000054
【図４９】
0004655217.tif 000055
【図５０】
0004655217.tif 000056
【図５１】
0004655217.tif 000057
【図５２】
0004655217.tif 000058
【図５３】
0004655217.tif 000059
【図５４】
0004655217.tif 000060
【図５５】
0004655217.tif 000061
【図５６】
0004655217.tif 000062
【図５７】
0004655217.tif 000063
【図５８】
0004655217.tif 000064
【図５９】
0004655217.tif 000065
【図６０】
0004655217.tif 000066
【図６１】
0004655217.tif 000067
【図６２】
0004655217.tif 000068