(57)【要約】【課題】画像のどの領域においても正しい動きベクトルを検出できるようにする。【解決手段】ベクトル検出部１０１は、ブロックマッチング法、勾配法などにより動きベクトルを検出し、ベクトル割り付け部１０２は、ベクトル検出部１０１により検出された動きベクトルを、入力画像の各画素に付加する。ベクトル選択部１０３は、ベクトル割り付け部１０２によって割り付けられた動きベクトルに基づいて、内挿フレームの注目画素の周辺の画素の動きベクトルから得られる補償ベクトルの候補と、主に画像の背景の動きを検出することにより得られる背景ベクトルの候補のなかから、注目画素の動きベクトルとして割り付けるべき動きベクトルを選択する。内挿フレーム生成部１０４は、ベクトル選択部１０３により選択された動きベクトルに基づいて、内挿フレームの各画素値を演算し、内挿フレームの画像を生成するようになされている。【選択図】図１０
2009188702.tif 000002
【特許請求の範囲】
【請求項１】
動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、
前記内挿フレームの画像の中の注目画素が含まれる領域について、
前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、
前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、
前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるか
を判定する領域判定手段と、
複数の候補となる動きベクトルの中から、前記Ｃ領域、前記UC領域または前記通常領域の画素に割り付けるべき動きベクトルを選択する動きベクトル選択手段と、
前記領域判定手段により判定された領域の種類に対応する方式で、前記動きベクトル選択手段により選択された前記動きベクトルに基づいて前記内挿フレームの画像の画素値を演算することで、前記内挿フレームの画像を生成する内挿フレーム生成手段と
を備える画像処理装置。
【請求項２】
前記内挿フレームを構成するそれぞれの画素に付加されている動きベクトルのヒストグラムに基づいて前記内挿フレームの背景の画像の動きを表す背景ベクトルを抽出する背景ベクトル抽出手段と、
前記内挿フレームの画像の中の注目画素の周辺の画素に付加されている動きベクトルを、補償ベクトルとして抽出する補償ベクトル抽出手段とをさらに備え、
前記動きベクトル選択手段は、
前記背景ベクトルおよび前記補償ベクトルを、前記複数の候補となる動きベクトルとして、前記動きベクトルを選択する
請求項１に記載の画像処理装置。
【請求項３】
前記領域判定手段は、
前記背景ベクトルの信頼性を評価するためのベクトル評価値を複数演算し、
前記補償ベクトルの信頼性を評価するためのベクトル評価値を演算し、
前記演算されたベクトル評価値のそれぞれの大小を比較することにより、前記注目画素が含まれる領域を判定する
請求項２に記載の画像処理装置。
【請求項４】
前記領域判定手段は、
前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定するとともに、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームより時間的に前の第３のフレームの画素、および前記注目画素に対応する前記第２のフレームより時間的に後の第４のフレームの画素を特定し、
前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して現在のDFDとし、
前記特定された前記第１のフレームの画素と前記第３のフレームの画素との間でDFDを演算して過去のDFDとし、
前記特定された前記第２のフレームの画素と前記第４のフレームの画素との間でDFDを演算して未来のDFDとし、
前記補償ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定し、
前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して補償ベクトルのDFDとし、
前記現在のDFD、前記過去のDFD、前記未来のDFD、および前記補償ベクトルのDFDを前記ベクトル評価値として、前記注目画素が含まれる領域を判定する
請求項３に記載の画像処理装置。
【請求項５】
前記領域判定手段は、
前記現在のDFD、前記過去のDFD、前記未来のDFD、および前記補償ベクトルのDFDのうち、
前記過去のDFDが最小である場合、前記注目画素が含まれる領域は、Ｃ領域であると判定し、
前記未来のDFDが最小である場合、前記注目画素が含まれる領域は、UＣ領域であると判定し、
前記現在のDFDが最小である場合、前記注目画素が含まれる領域は、第１の通常領域であると判定し、
前記補償ベクトルのDFDが最小である場合、前記注目画素が含まれる領域は、第２の通常領域であると判定する
請求項４に記載の画像処理装置。
【請求項６】
前記動きベクトル選択手段は、
前記注目画素が前記C領域、前記UC領域、または前記第１の通常領域の画素と判定された場合、前記注目画素に割り付けるべき動きベクトルとして、前記背景ベクトルを選択し、
前記注目画素が前記第２の通常領域の画素と判定された場合、前記注目画素に割り付けるべき動きベクトルとして、前記補償ベクトルを選択する
請求項５に記載の画像処理装置。
【請求項７】
前記領域判定手段は、
前記DFDに用いられるブロックサイズを、前記背景ベクトルの大きさ、および前記前景の動きを表す動きベクトルの大きさに対応させて設定する
請求項４に記載の画像処理装置。
【請求項８】
前記領域判定手段は、
現在のDFDの値、過去のDFDの値、および未来のDFDの値のダイナミックレンジをさらに演算し、前記ダイナミックレンジの値を所定の閾値とさらに比較して、前記注目画素が含まれる領域を判定する
請求項４に記載の画像処理装置。
【請求項９】
前記領域判定手段は、
前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームより時間的に前のフレームであって、前記第３のフレームより時間的に後の第５のフレームの画素、および前記注目画素に対応する前記第２のフレームより時間的に後のフレームであって、前記第４のフレームより時間的に前の第６のフレームの画素を特定し、
前記背景ベクトルのｘ成分およびｙ成分のそれぞれについて、前記内挿フレームの注目画素の動きベクトルのｘ成分およびｙ成分、または注目画素を中心とする周辺の画素の動きベクトルのｘ成分およびｙ成分との差分絶対値和を演算して現在のVDASとし、
前記背景ベクトルのｘ成分およびｙ成分のそれぞれについて、前記特定された第５のフレームの画素の動きベクトルのｘ成分およびｙ成分、またはその画素を中心とする周辺の画素の動きベクトルのｘ成分およびｙ成分との差分絶対値和を演算して過去のVDASとし、
前記背景ベクトルのｘ成分およびｙ成分のそれぞれについて、前記特定された第６のフレームの画素の動きベクトルのｘ成分およびｙ成分、またはその画素を中心とする周辺の画素の動きベクトルのｘ成分およびｙ成分との差分絶対値和を演算して未来のVDASとし、
前記現在のVDAS、前記過去のVDAS、および前記未来のVDASを前記ベクトル評価値として、前記注目画素が含まれる領域を判定する
請求項３に記載の画像処理装置。
【請求項１０】
前記内挿フレーム生成手段は、
前記動きベクトル選択手段により選択された前記動きベクトルに基づいて、前記内挿フレームの注目画素に対応する前記第１のフレームの画像の画素値と、前記内挿フレームの注目画素に対応する前記第２のフレームの画像の画素値を特定し、
前記領域判定手段により、前記注目画素が前記C領域の画素である場合、前記特定された前記第１のフレームの画像の画素値を、前記注目画素値として演算し、
前記領域判定手段により、前記注目画素が前記UC領域の画素である場合、前記特定された前記第２のフレームの画像の画素値を、前記注目画素値として演算し、
前記領域判定手段により、前記注目画素が前記第１の通常領域または前記第２の通常領域の画素である場合、前記特定された前記第１のフレームの画像の画素値と、前記第２のフレームの画像の画素値との線形補間により、前記注目画素値を演算する
請求項３に記載の画像処理装置。
【請求項１１】
動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置の画像処理方法であって、
前記内挿フレームの画像の中の注目画素が含まれる領域について、
前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、
前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、
前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるか
を判定し、
複数の候補となる動きベクトルの中から、前記Ｃ領域、前記UC領域または前記通常領域の画素に割り付けるべき動きベクトルを選択し、
前記判定された領域の種類に対応する方式で、前記選択された前記動きベクトルに基づいて前記内挿フレームの画像の画素値を演算することで、前記内挿フレームの画像を生成する
ステップを含む画像処理方法。
【請求項１２】
コンピュータを、
動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、
前記内挿フレームの画像の中の注目画素が含まれる領域について、
前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、
前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、
前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるか
を判定する領域判定手段と、
複数の候補となる動きベクトルの中から、前記Ｃ領域、前記UC領域または前記通常領域の画素に割り付けるべき動きベクトルを選択する動きベクトル選択手段と、
前記領域判定手段により判定された領域の種類に対応する方式で、前記動きベクトル選択手段により選択された前記動きベクトルに基づいて前記内挿フレームの画像の画素値を演算することで、前記内挿フレームの画像を生成する内挿フレーム生成手段とを備える画像処理装置として機能させる
プログラム。
【請求項１３】
請求項１２に記載のプログラムが記録されていることを特徴とする記録媒体。
【請求項１４】
動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームの画像を構成する各画素に動きベクトルを付加する画像処理装置であって、
前記第１のフレームの注目画素を中心とする複数の画素で構成されるブロックと、前記第２のフレームの複数の画素で構成されるブロックの、それぞれの画素値の差分に基づいて、前記注目画素の動きベクトルの候補となる候補ベクトルを抽出し、
前記第１のフレームを構成するそれぞれの画素の前記候補ベクトルのヒストグラムに基づいて前記内挿フレームの背景の画像の動きを表す背景ベクトルを抽出し、
前記候補ベクトルおよび前記背景ベクトルの信頼性を評価する評価値を演算し、
前記評価値に基づいて、前記候補ベクトルおよび前記背景ベクトルの中から、前記注目画素に付加すべき動きベクトルを選択する
画像処理装置。
【請求項１５】
前記背景ベクトルに基づいて、前記第1の中の注目画素に対応する前記第２のフレームの画素を特定するとともに、前記背景ベクトルに基づいて、前記第１のフレームの中の注目画素に対応する前記第１のフレームより時間的に前の第３のフレームの画素を特定し、
前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して現在のDFDとし、
前記特定された前記第１のフレームの画素と前記第３のフレームの画素との間でDFDを演算して過去のDFDとし、
前記候補ベクトルに基づいて、前記第１のフレームの中の注目画素に対応する前記第２のフレームの画素を特定し、
前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して候補ベクトルのDFDとし、
前記現在のDFD、前記過去のDFD、および前記候補ベクトルのDFDの大小を比較することにより、前記注目画素に付加すべき前記動きベクトルを選択する
請求項１４に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、画像のどの領域においても正しい動きベクトルを検出できるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来より、テレビジョン信号の動きを検出する動きベクトル検出回路からの複数の動きベクトルデータの平均動きベクトルデータに基づいて、フレームメモリから読み出されたテレビジョン信号にフレーム内挿処理を施すことが可能である。
【０００３】
内挿フレームの生成は、例えば、次のようにして行われる。動きベクトルvで対応づけられる2つのフレームである、時刻tのフレーム、および時刻t+1のフレーム上の交点をそれぞれ点q、点rとする。ここで、時刻tのフレーム、および時刻t+1のフレームの間に新たなフレームであって時刻t+kのフレーム上の画素pの値を、点q、点rから時間位置の逆比(1-k)：kにより次式のように線形補間してFt+k(p)を求める。
【０００４】
Ft+k(p) = (1-k)Ft(q) + kFt+1(r)
【０００５】
このようにして画素値が演算された画素により構成されるフレームが内挿フレームになる。
【０００６】
しかし、例えば、２つの動物体として背景と前景が違う動きを持っている動画像において内挿フレームを生成する場合、時刻t0と時刻t1との間では、画像の領域によって、異なる方向の動きベクトルが生成されることになるため、内挿フレーム生成を行う時刻において動きベクトルが通過しない領域が生じてしまい、内挿フレームを生成することができない。
【０００７】
このような場合、従来は、内挿フレームを生成するために、例えば、周辺の動きベクトル等を利用したベクトル補償が行われていた。このとき、2フレーム間の差分絶対値和(DFD: Displaced Frame Difference)が最小となるように、動きベクトルの割り付けが行われる。
【０００８】
差分絶対値和DFDは、例えば、動き量の評価値として用いられ、注目するベクトル量分だけずらしたブロック同士で求められる。一般的にはDFDが小さいほどフレーム間のブロックの波形が一致しており、動きベクトルの信頼度が高いと判定でき、例えば、複数の候補から確からしいベクトルを選びだす場合などに利用される。
【０００９】
また、内挿フレームの破綻の見え方を緩和し主観的な画質を改善するために、内挿フレーム生成にて求めた画素値を、大きさ0のベクトル(すなわち(0，0)のベクトル。以降0ベクトルと称する)により時間補間を行った画素値とある割合で混合することが提案されている（例えば、特許文献１参照）。これにより、画像的な破綻を目立たなくすることができる。
【００１０】
【特許文献１】特開２００７−７４５８８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、背景と前景が違う動きを持っている動画像においては、背景と前景との境界付近の領域では、動きベクトルが不安定となり、正しい動きベクトルの候補が得られにくい。
【００１２】
また、時間の経過に伴って、前景により隠れる背景の領域、または前景の後から現れる背景の領域においては、正しい動きベクトルの候補が得られたとしても時刻t0、時刻t1間のDFDでは、正しく評価できない。
【００１３】
すなわち、上述した領域は、時刻t0と時刻t1において対応する領域が存在しないので、結果として背景のテクスチャと前景のテクスチャとの差分をDFDにより演算することになってしまう。このため、間違った動きベクトルが正しい動きベクトルとして選択される可能性がある。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、画像のどの領域においても正しい動きベクトルを検出できるようにするものである。
【課題を解決するための手段】
【００１５】
本発明の第１の側面は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定する領域判定手段と、複数の候補となる動きベクトルの中から、前記Ｃ領域、前記UC領域または前記通常領域の画素に割り付けるべき動きベクトルを選択する動きベクトル選択手段と、前記領域判定手段により判定された領域の種類に対応する方式で、前記動きベクトル選択手段により選択された前記動きベクトルに基づいて前記内挿フレームの画像の画素値を演算することで、前記内挿フレームの画像を生成する内挿フレーム生成手段とを備える画像処理装置である。
【００１６】
前記内挿フレームを構成するそれぞれの画素に付加されている動きベクトルのヒストグラムに基づいて前記内挿フレームの背景の画像の動きを表す背景ベクトルを抽出する背景ベクトル抽出手段と、前記内挿フレームの画像の中の注目画素の周辺の画素に付加されている動きベクトルを、補償ベクトルとして抽出する補償ベクトル抽出手段とをさらに備え、前記動きベクトル選択手段は、前記背景ベクトルおよび前記補償ベクトルを、前記複数の候補となる動きベクトルとして、前記動きベクトルを選択するようにすることができる。
【００１７】
前記領域判定手段は、前記背景ベクトルの信頼性を評価するためのベクトル評価値を複数演算し、前記補償ベクトルの信頼性を評価するためのベクトル評価値を演算し、前記演算されたベクトル評価値のそれぞれの大小を比較することにより、前記注目画素が含まれる領域を判定するようにすることができる。
【００１８】
前記領域判定手段は、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定するとともに、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームより時間的に前の第３のフレームの画素、および前記注目画素に対応する前記第２のフレームより時間的に後の第４のフレームの画素を特定し、前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して現在のDFDとし、前記特定された前記第１のフレームの画素と前記第３のフレームの画素との間でDFDを演算して過去のDFDとし、前記特定された前記第２のフレームの画素と前記第４のフレームの画素との間でDFDを演算して未来のDFDとし、前記補償ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定し、前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して補償ベクトルのDFDとし、前記現在のDFD、前記過去のDFD、前記未来のDFD、および前記補償ベクトルのDFDを前記ベクトル評価値として、前記注目画素が含まれる領域を判定するようにすることができる。
【００１９】
前記領域判定手段は、前記現在のDFD、前記過去のDFD、前記未来のDFD、および前記補償ベクトルのDFDのうち、前記過去のDFDが最小である場合、前記注目画素が含まれる領域は、Ｃ領域であると判定し、前記未来のDFDが最小である場合、前記注目画素が含まれる領域は、UＣ領域であると判定し、前記現在のDFDが最小である場合、前記注目画素が含まれる領域は、第１の通常領域であると判定し、前記補償ベクトルのDFDが最小である場合、前記注目画素が含まれる領域は、第２の通常領域であると判定するようにすることができる。
【００２０】
前記動きベクトル選択手段は、前記注目画素が前記C領域、前記UC領域、または前記第１の通常領域の画素と判定された場合、前記注目画素に割り付けるべき動きベクトルとして、前記背景ベクトルを選択し、前記注目画素が前記第２の通常領域の画素と判定された場合、前記注目画素に割り付けるべき動きベクトルとして、前記補償ベクトルを選択するようにすることができる。
【００２１】
前記領域判定手段は、前記DFDに用いられるブロックサイズを、前記背景ベクトルの大きさ、および前記前景の動きを表す動きベクトルの大きさに対応させて設定するようにすることができる。
【００２２】
前記領域判定手段は、現在のDFDの値、過去のDFDの値、および未来のDFDの値のダイナミックレンジをさらに演算し、前記ダイナミックレンジの値を所定の閾値とさらに比較して、前記注目画素が含まれる領域を判定するようにすることができる。
【００２３】
前記領域判定手段は、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームより時間的に前のフレームであって、前記第３のフレームより時間的に後の第５のフレームの画素、および前記注目画素に対応する前記第２のフレームより時間的に後のフレームであって、前記第４のフレームより時間的に前の第６のフレームの画素を特定し、前記背景ベクトルのｘ成分およびｙ成分のそれぞれについて、前記内挿フレームの注目画素の動きベクトルのｘ成分およびｙ成分、または注目画素を中心とする周辺の画素の動きベクトルのｘ成分およびｙ成分との差分絶対値和を演算して現在のVDASとし、前記背景ベクトルのｘ成分およびｙ成分のそれぞれについて、前記特定された第５のフレームの画素の動きベクトルのｘ成分およびｙ成分、またはその画素を中心とする周辺の画素の動きベクトルのｘ成分およびｙ成分との差分絶対値和を演算して過去のVDASとし、前記背景ベクトルのｘ成分およびｙ成分のそれぞれについて、前記特定された第６のフレームの画素の動きベクトルのｘ成分およびｙ成分、またはその画素を中心とする周辺の画素の動きベクトルのｘ成分およびｙ成分との差分絶対値和を演算して未来のVDASとし、前記現在のVDAS、前記過去のVDAS、および前記未来のVDASを前記ベクトル評価値として、前記注目画素が含まれる領域を判定するようにすることができる。
【００２４】
前記内挿フレーム生成手段は、前記動きベクトル選択手段により選択された前記動きベクトルに基づいて、前記内挿フレームの注目画素に対応する前記第１のフレームの画像の画素値と、前記内挿フレームの注目画素に対応する前記第２のフレームの画像の画素値を特定し、前記領域判定手段により、前記注目画素が前記C領域の画素である場合、前記特定された前記第１のフレームの画像の画素値を、前記注目画素値として演算し、前記領域判定手段により、前記注目画素が前記UC領域の画素である場合、前記特定された前記第２のフレームの画像の画素値を、前記注目画素値として演算し、前記領域判定手段により、前記注目画素が前記第１の通常領域または前記第２の通常領域の画素である場合、前記特定された前記第１のフレームの画像の画素値と、前記第２のフレームの画像の画素値との線形補間により、前記注目画素値を演算するようにすることができる。
【００２５】
本発明の第１の側面は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置の画像処理方法であって、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定し、複数の候補となる動きベクトルの中から、前記Ｃ領域、前記UC領域または前記通常領域の画素に割り付けるべき動きベクトルを選択し、前記判定された領域の種類に対応する方式で、前記選択された前記動きベクトルに基づいて前記内挿フレームの画像の画素値を演算することで、前記内挿フレームの画像を生成するステップを含む画像処理方法である。
【００２６】
本発明の第１の側面は、コンピュータを、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定する領域判定手段と、複数の候補となる動きベクトルの中から、前記Ｃ領域、前記UC領域または前記通常領域の画素に割り付けるべき動きベクトルを選択する動きベクトル選択手段と、前記領域判定手段により判定された領域の種類に対応する方式で、前記動きベクトル選択手段により選択された前記動きベクトルに基づいて前記内挿フレームの画像の画素値を演算することで、前記内挿フレームの画像を生成する内挿フレーム生成手段とを備える画像処理装置として機能させるプログラムである。
【００２７】
本発明の第１の側面においては、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかが判定され、複数の候補となる動きベクトルの中から、前記Ｃ領域、前記UC領域または前記通常領域の画素に割り付けるべき動きベクトルが選択され、前記判定された領域の種類に対応する方式で、前記選択された前記動きベクトルに基づいて前記内挿フレームの画像の画素値を演算することで、前記内挿フレームの画像が生成される。
【００２８】
本発明の第２の側面は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームの画像を構成する各画素に動きベクトルを付加する画像処理装置であって、前記第１のフレームの注目画素を中心とする複数の画素で構成されるブロックと、前記第２のフレームの複数の画素で構成されるブロックの、それぞれの画素値の差分に基づいて、前記注目画素の動きベクトルの候補となる候補ベクトルを抽出し、前記第１のフレームを構成するそれぞれの画素の前記候補ベクトルのヒストグラムに基づいて前記内挿フレームの背景の画像の動きを表す背景ベクトルを抽出し、前記候補ベクトルおよび前記背景ベクトルの信頼性を評価する評価値を演算し、前記評価値に基づいて、前記候補ベクトルおよび前記背景ベクトルの中から、前記注目画素に付加すべき動きベクトルを選択する画像処理装置である。
【００２９】
前記背景ベクトルに基づいて、前記第1の中の注目画素に対応する前記第２のフレームの画素を特定するとともに、前記背景ベクトルに基づいて、前記第１のフレームの中の注目画素に対応する前記第１のフレームより時間的に前の第３のフレームの画素を特定し、前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して現在のDFDとし、前記特定された前記第１のフレームの画素と前記第３のフレームの画素との間でDFDを演算して過去のDFDとし、前記候補ベクトルに基づいて、前記第１のフレームの中の注目画素に対応する前記第２のフレームの画素を特定し、前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して候補ベクトルのDFDとし、前記現在のDFD、前記過去のDFD、および前記候補ベクトルのDFDの大小を比較することにより、前記注目画素に付加すべき前記動きベクトルを選択するようにすることができる。
【００３０】
本発明の第２の側面においては、前記第１のフレームの注目画素を中心とする複数の画素で構成されるブロックと、前記第２のフレームの複数の画素で構成されるブロックの、それぞれの画素値の差分に基づいて、前記注目画素の動きベクトルの候補となる候補ベクトルが抽出され、前記第１のフレームを構成するそれぞれの画素の前記候補ベクトルのヒストグラムに基づいて前記内挿フレームの背景の画像の動きを表す背景ベクトルが抽出され、前記候補ベクトルおよび前記背景ベクトルの信頼性を評価する評価値が演算され、前記評価値に基づいて、前記候補ベクトルおよび前記背景ベクトルの中から、前記注目画素に付加すべき動きベクトルが選択される。
【発明の効果】
【００３１】
本発明によれば、画像のどの領域においても正しい動きベクトルを検出することができる。
【発明を実施するための最良の形態】
【００３２】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３３】
本発明の第１の側面の画像処理装置は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定する領域判定手段（例えば、図１０のC/UC領域判定部１２５）と、複数の候補となる動きベクトルの中から、前記Ｃ領域、前記UC領域または前記通常領域の画素に割り付けるべき動きベクトルを選択する動きベクトル選択手段（例えば、図１０の割り付けベクトル決定部１２６）と、前記領域判定手段により判定された領域の種類に対応する方式で、前記動きベクトル選択手段により選択された前記動きベクトルに基づいて前記内挿フレームの画像の画素値を演算することで、前記内挿フレームの画像を生成する内挿フレーム生成手段（例えば、図１０の内挿フレーム生成部１０４）とを備える。
【００３４】
この画像処理装置は、前記内挿フレームを構成するそれぞれの画素に付加されている動きベクトルのヒストグラムに基づいて前記内挿フレームの背景の画像の動きを表す背景ベクトルを抽出する背景ベクトル抽出手段（例えば、図１０の背景ベクトル候補抽出部１２３）と、前記内挿フレームの画像の中の注目画素の周辺の画素に付加されている動きベクトルを、補償ベクトルとして抽出する補償ベクトル抽出手段（例えば、図１０の補償ベクトル候補抽出部１２１）とをさらに備え、前記動きベクトル選択手段は、前記背景ベクトルおよび前記補償ベクトルを、前記複数の候補となる動きベクトルとして、前記動きベクトルを選択するようにすることができる。
【００３５】
この画像処理装置は、前記領域判定手段が、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定するとともに、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームより時間的に前の第３のフレーム（例えば、時刻t-1のフレーム）の画素、および前記注目画素に対応する前記第２のフレームより時間的に後の第４のフレーム（例えば、時刻t2のフレーム）の画素を特定し、前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して現在のDFDとし、前記特定された前記第１のフレームの画素と前記第３のフレームの画素との間でDFDを演算して過去のDFDとし、前記特定された前記第２のフレームの画素と前記第４のフレームの画素との間でDFDを演算して未来のDFDとし、前記補償ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームの画素、および前記注目画素に対応する前記第２のフレームの画素を特定し、前記特定された前記第１のフレームの画素と前記第２のフレームの画素との間でDFDを演算して補償ベクトルのDFDとし、前記現在のDFD、前記過去のDFD、前記未来のDFD、および前記補償ベクトルのDFDを前記ベクトル評価値として、前記注目画素が含まれる領域を判定するようにすることができる。
【００３６】
この画像処理装置は、前記領域判定手段が、前記DFDに用いられるブロックサイズを、前記背景ベクトルの大きさ、および前記前景の動きを表す動きベクトルの大きさに対応させて設定する（例えば、図２４と図２５に示されるように設定する）ようにすることができる。
【００３７】
この画像処理装置は、前記領域判定手段が、前記背景ベクトルに基づいて、前記内挿フレームの中の注目画素に対応する前記第１のフレームより時間的に前のフレームであって、前記第３のフレームより時間的に後の第５のフレーム（例えば、図２９の時刻t-1+kのフレーム）の画素、および前記注目画素に対応する前記第２のフレームより時間的に後のフレームであって、前記第４のフレームより時間的に前の第６のフレーム（例えば、図２９の時刻t+1+k）の画素を特定し、前記背景ベクトルのｘ成分およびｙ成分のそれぞれについて、前記内挿フレームの注目画素の動きベクトルのｘ成分およびｙ成分、または注目画素を中心とする周辺の画素の動きベクトルのｘ成分およびｙ成分との差分絶対値和を演算して現在のVDASとし、前記背景ベクトルのｘ成分およびｙ成分のそれぞれについて、前記特定された第５のフレームの画素の動きベクトルのｘ成分およびｙ成分、またはその画素を中心とする周辺の画素の動きベクトルのｘ成分およびｙ成分との差分絶対値和を演算して過去のVDASとし、前記背景ベクトルのｘ成分およびｙ成分のそれぞれについて、前記特定された第６のフレームの画素の動きベクトルのｘ成分およびｙ成分、またはその画素を中心とする周辺の画素の動きベクトルのｘ成分およびｙ成分との差分絶対値和を演算して未来のVDASとし、前記現在のVDAS、前記過去のVDAS、および前記未来のVDASを前記ベクトル評価値として、前記注目画素が含まれる領域を判定するようにすることができる。
【００３８】
本発明の第１の側面の画像処理方法は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置の画像処理方法であって、前記内挿フレームの画像の中の注目画素が含まれる領域について、前記第１のフレームの画像において表示されていた背景が、前記第２のフレームにおいて前景により覆い隠される領域であるＣ（Covered）領域であるか、前記第１のフレームの画像において前景により覆い隠されていた背景が、前記第２のフレームにおいて表示される領域であるUＣ（UnCovered）領域であるか、または、前記第１のフレームの画像において表示されていた前景または背景が、前記第２のフレームにおいても表示される領域である通常領域であるかを判定し（例えば、図１９のステップＳ５４の処理）、複数の候補となる動きベクトルの中から、前記Ｃ領域、前記UC領域または前記通常領域の画素に割り付けるべき動きベクトルを選択し（例えば、図１９のステップＳ５５の処理）、前記判定された領域の種類に対応する方式で、前記選択された前記動きベクトルに基づいて前記内挿フレームの画像の画素値を演算することで、前記内挿フレームの画像を生成する（例えば、図１７のステップＳ１８の処理）ステップを含む。
【００３９】
本発明の第２の側面の画像処理装置は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームの画像を構成する各画素に動きベクトルを付加する画像処理装置（例えば、図１０のベクトル検出部１０１、およびベクトル割り付け部１０２）であって、前記第１のフレームの注目画素を中心とする複数の画素で構成されるブロックと、前記第２のフレームの複数の画素で構成されるブロックの、それぞれの画素値の差分に基づいて、前記注目画素の動きベクトルの候補となる候補ベクトルを抽出し、前記第１のフレームを構成するそれぞれの画素の前記候補ベクトルのヒストグラムに基づいて前記内挿フレームの背景の画像の動きを表す背景ベクトルを抽出し、前記候補ベクトルおよび前記背景ベクトルの信頼性を評価する評価値を演算し、前記評価値に基づいて、前記候補ベクトルおよび前記背景ベクトルの中から、前記注目画素に付加すべき動きベクトルを選択する。
【００４０】
以下、図面を参照して、本発明の実施の形態について説明する。
【００４１】
最初に、動きベクトルの補償と評価について説明する。動きベクトルは、例えば、時間的に連続するフレームからなる動画像などのデータにおいて、時刻tにおけるフレームと時刻t+1におけるフレームが時間的に連続しており、本来時刻tのフレームが再生された後、次に再生されるフレームは、時刻t＋1のフレームとなるが、動画像の時間方向の解像度を向上させるために生成されるフレームであって、時刻tと時刻t+1の間に位置する時刻t+kの内挿フレームの生成などに用いられる。
【００４２】
例えば、動画像の各画素には、勾配法、ブロックマッチング法などを用いた処理により、予め動きベクトルを付加することができる。このように付加された動きベクトルの信頼性を評価する場合、従来動きベクトルで対応付けられる画素を中心とする領域の画素値の差分絶対値和の演算が行われている。
【００４３】
すなわち、図１に示されるように、時刻tにおけるフレームの位置Pの画素が、動きベクトルｖにより時刻t+1におけるフレームで位置Ｐ´の画素に対応付けられる場合、位置Ｐの画素を中心とするｍ×ｎ個の画素と、位置Ｐ´の画素を中心とするｍ×ｎ個の画素のそれぞれとの間での差分絶対値和（DFD：Displaced Frame Difference)を演算する。
【００４４】
図１の例において、差分絶対値和DFDt(p)は、式（１）により演算される。
【００４５】
【数１】
2009188702.tif 000003
【００４６】
ここで位置Ｐは座標P(x,y)で表せるものとし、Ft(p)は時刻tにおける位置Ｐの画素値（輝度値）とされ、Ft+1(p)は時刻t+1における位置Ｐの画素値とされる。
【００４７】
一般的にはDFDの値が小さいほど２つのフレーム間のブロック（注目画素を中心とする複数の画素で構成される領域）の特徴量が一致していると考えられるので、DFDの値が小さいほど動きベクトルvの信頼度が高いと判定できる。このように、DFDの値を比較するなどすれば、動きベクトルの信頼性を評価することができ、例えば、複数の動きベクトルの候補から、確からしい動きベクトルを選びだすことができる。
【００４８】
また、上述した内挿フレームを生成する場合、例えば、時刻tのフレームの位置qの画素の動きベクトルｖに基づいて得られる時刻t＋kのフレームの画素の位置が位置pであり、動きベクトルｖに基づいて得られる時刻t+1のフレームの画素の位置が位置rであるとき、時刻t＋kのフレームの位置pの画素値Ft+k(p)は、式（２）に示されるように、２つの位置q、rの画素値から時間位置の逆比(1-k)：kにより線形補間して求められる。なお、時刻tのフレームの位置qの画素値は、Ft(q)で表され、時刻t＋1のフレームの位置rの画素値は、Ft+1(r)で表されるものとする。
【００４９】
Ft+k(p) = (1-k)Ft(q) + kFt+1(r) ・・・(２)
【００５０】
このように、内挿フレームの画素は、内挿フレームの各画素に対応する動きベクトルにより対応付けられる時間的に前のフレームの画素値、または時間的に後のフレームの画素値に基づいて演算される。
【００５１】
しかしながら、内挿フレーム生成に用いるベクトルが誤っている場合など、生成される画像上に本来はないエッジが生じて画像として破綻することがある。さらに、これらの破綻が目立って発生すると、画像を観察するユーザに、画質が劣化していると認識されてしまう。このため、内挿フレームの生成に用いられる動きベクトルには高い信頼性が求められる。
【００５２】
従来の画像処理では、動きベクトルの信頼性を高めるため、例えば、勾配法、ブロックマッチング法などを用いた処理により、注目画素に予め付加されている動きベクトルを、注目画素周辺の画素に予め付加されている動きベクトルを用いて補償していた。例えば、注目画素に予め付加されている動きベクトルのDFD、および注目画素周辺の画素に予め付加されている動きベクトルのそれぞれのDFDを算出し、DFDが最小となる動きベクトルを選択して注目画素に割り付けるなどの補償が行われる。
【００５３】
しかしながら、例えば、前景と背景の動きが異なる動画像などの場合、上述したような動きベクトルの補償では、動きベクトルの信頼性を高めることができない。
【００５４】
例えば、図２に示されるように、前景であるオブジェクトが時間の経過に伴って、図中右方向に移動していく場合を考える。図２は、オブジェクト２１が表示される動画像の例を示しており、時刻t-1乃至時刻t2の４つの時刻のフレームの画像を示すものである。ここでは、説明を簡単にするために、フレームの画像を１次元（線状）で表現している。すなわち、図２の縦軸は時間を表し、図２の横軸は画像（画素）の位置を表すことになる。
【００５５】
図２において時間的に最も前の画像である時刻t-1のフレームのオブジェクト２１は、時刻t0のフレームにおいてはやや右方向に移動しており、時刻t1のフレームにおいてはさらに右方向に移動しており、時間的に最も後の画像である時刻t2のフレームにおいてはさらに右方向に移動している。また、同図では表現されていないが、オブジェクト２１の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。
【００５６】
時刻t0のフレームと時刻t1のフレームの画像に基づいて、勾配法、ブロックマッチング法などを用いた従来の方式による動きベクトルの検出を行うと、図３の矢印で示されるような動きベクトルが検出される。すなわち、オブジェクト２１の画素では、図中右側に向かう動きベクトルが検出され、背景の画素では、図中左側に向かう動きベクトルが検出されることになる。
【００５７】
図３に示されるような動きベクトルに基づいて、時刻t0と時刻t1の間の時刻t+jおよび時刻t+kのフレームを内挿フレームとして生成する場合、内挿フレームの画素に割り付けられる動きベクトルは、図４に示されるようになる。
【００５８】
図４乃至図７は、オブジェクト２１が表示される動画像の例を示しており、時刻t0、時刻t+j、時刻t+k、および時刻t1の４つの時刻のフレームの画像を示すものである。ここで、時刻t+jのフレーム、および時刻t+kのフレームは、内挿フレームとされる。また、ここでも、説明を簡単にするために、フレームの画像を１次元（線状）で表現しており、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。
【００５９】
時刻t+jの内挿フレームの領域３１ａおよび領域３１ｃの画素は、背景の画像を構成する画素なので、図中の矢印で示されるような左方向に向かう動きベクトルが割り付けられる。一方、時刻t+jの内挿フレームの領域３１bの画素は、オブジェクト２１の画像を構成する画素なので、図中の矢印で示されるような右方向に向かう動きベクトルが割り付けられる。
【００６０】
また同様に、時刻t+kの内挿フレームの領域３２ａおよび領域３２ｃの画素は、背景の画像を構成する画素なので、図中の矢印で示されるような左方向に向かう動きベクトルが割り付けられ、時刻t+kの内挿フレームの領域３２bの画素は、オブジェクト２１の画像を構成する画素なので、図中の矢印で示されるような右方向に向かう動きベクトルが割り付けられる。
【００６１】
しかし、図５に示されるように、時刻t+jの内挿フレームの領域３３ａの画素および領域３３ｃの画素には、動きベクトルが割り付けられていない。領域３３ａの画素は、本来背景の画像の画素であるが、時刻t0のフレームの画像において対応する画素がないため、動きベクトルを割り付けることができないのである。また、領域３３ｃの画素は、本来背景の画像の画素であるが、時刻t1のフレームの画像において対応する画素がないため、動きベクトルを割り付けることができないのである。
【００６２】
同様に、時刻t+kの内挿フレームの領域３４ａの画素および領域３４ｃの画素にも、やはり動きベクトルが割り付けられていない。
【００６３】
このように、前景と背景の動きが異なる動画像などの場合、内挿フレームの生成などに用いる動きベクトルを割り付けられない領域が生じることになる。図６に示されるように、領域３３ｃおよび領域３４ｃを含む図中の三角形の領域は、時間の経過に伴って背景の画像が前景（オブジェクト２１）の画像に覆われて見えなくなっていく領域なので、Ｃ（Covered）領域と称することとする。また、領域３３ａおよび領域３４ａを含む図中の逆三角形の領域は、時間の経過に伴って前景（オブジェクト２１）の画像に覆われていた背景の画像が見えてくる領域なので、ＵＣ（UnCovered）領域と称することとする。
【００６４】
例えば、内挿フレームの生成において、Ｃ領域、およびＵＣ領域は、動きベクトルが通過しない領域と言い換えることもできる。
【００６５】
内挿フレームの生成において、動きベクトルが通過しない領域の画素を生成するためには、その領域に何らかの動きベクトルを割り付ける必要がある。従来、このような領域に動きベクトルを割り付ける場合、図７に示されるように、周辺のベクトルや０ベクトルの中から最も適した動きベクトルが選択されて割り付けられていた。
【００６６】
図７は、UC領域に含まれる注目領域３５に動きベクトルを割り付ける場合の例を説明する図である。図中左下に示される複数の矢印は、注目領域３５の周辺の画素に割り付けられている動きベクトルを表している。また、それらの動きベクトルの図中右側には、大きさ0のベクトル(すなわち(0，0)のベクトル)である、0ベクトルと称するが記載されており、注目領域３５の周辺の画素に割り付けられている動きベクトル、および０ベクトルの中から注目領域３５を通過する動きベクトルが選択されることになる。
【００６７】
しかしながら、Ｃ領域、またはＵＣ領域の周辺に割り付けられている動きベクトルは、そもそも信頼性の低いものである。上述したように、Ｃ領域またはＵＣ領域の画素には、時間的に前のフレームまたは時間的に後のフレームにおける対応する画素がないので、例えば、ブロックマッチング法により、Ｃ領域またはＵＣ領域の周辺の画素に動きベクトルを付加する場合、本来の画像の動きとは異なった動きベクトルが付加されてしまうことが起こり易い。
【００６８】
図８は、Ｃ領域またはＵＣ領域の周辺の画素に付加される動きベクトルについて説明する図である。同図は、オブジェクト２１が表示される動画像の例を示しており、時刻t-1乃至時刻t2の４つの時刻のフレームの画像を示すものであり、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。オブジェクト２１は、時間の経過に伴って、図面の右方向に移動し、また、オブジェクト２１の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。同図において、図中点線で示される矢印が、従来の方式により検出される動きベクトルを表している。
【００６９】
Ｃ領域の周辺の領域である、領域４１ｂ、領域４２ｂ、および領域４３ｂにおいては、動きベクトルの向きが一定ではなく不安定であり、本来のオブジェクト２１や背景の動きとは異なる向きを指す動きベクトルもある。これらの領域では本来の画像の動きとは異なる向きの動きベクトルも付加されている。同様に、ＵＣ領域の周辺の領域である、領域４１ａ、領域４２ａ、および領域４３aにおいては、動きベクトルの向きが一定ではなく不安定であり、本来のオブジェクト２１や背景の動きとは異なる向きを指す動きベクトルもある。これらの領域では本来の画像の動きとは異なる向きの動きベクトルも付加されている。
【００７０】
また、Ｃ領域またはＵＣ領域の画素に割り付けられた動きベクトルを、上述したDFDにより、単純に評価することも問題がある。
【００７１】
例えば、図９に示されるように、ＵＣ領域の周辺の画素に割り付けられている動きベクトルの中の動きベクトル５１がＵＣ領域の画素に割り付けるべき動きベクトルとして選択され、Ｃ領域の周辺の画素に割り付けられている動きベクトルの中の動きベクトル５２がＣ領域の画素に割り付けるべき画素として選択されたものとする。そして、時刻ｔ0のフレームの画像と、時刻t1のフレームの画像とにより動きベクトル５１または動きベクトル５２の信頼性を評価するためにDFDを演算したとする。
【００７２】
なお、同図も、オブジェクト２１が表示される動画像であって、時刻t-1乃至時刻t2の４つの時刻のフレームの画像を示すものであり、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。また、同図においても、オブジェクト２１は、時間の経過に伴って、図面の右方向に移動し、また、オブジェクト２１の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとし、各画素に割り付けられた動きベクトルが図中の点線の矢印により示されている。
【００７３】
いまの場合、動きベクトル５１は、例えば、内挿フレームのＵＣ領域の画素に割り付けるべき動きベクトルとしてはほぼ適切なものであると言えるが、動きベクトル５１の信頼性を評価するためのDFDは、時刻t0のフレームのオブジェクトの画像の領域２１ａと、時刻t1のフレームの背景の画像の領域３６を用いて演算されるため、DFDの値が小さくなる可能性は低い。また、動きベクトル５２は、例えば、内挿フレームのＣ領域の画素に割り付けるべき動きベクトルとしては適切なものであるとは言えないし、動きベクトル５２の信頼性を評価するためのDFDは、時刻t0のフレームの背景の画像の領域３７と、時刻t1のフレームのオブジェクト２１の画像の領域２１ｂを用いて演算されるため、DFDの値が小さくなる可能性は低い。
【００７４】
このように、Ｃ領域またはＵＣ領域に割り付けられる動きベクトルを、単純なDFDの演算により評価したとしても、それらの動きベクトルの信頼性を高めることができない。
【００７５】
そこで、本発明においては、従来とは異なる方式で動きベクトルの補償を行い、動きベクトルの信頼性を高めることができるようにする。
【００７６】
上述したように、Ｃ領域、またはＵＣ領域の周辺に割り付けられている動きベクトルは、そもそも信頼性の低いものであるから、本発明では、注目画素の周辺に割り付けられている動きベクトルとは、異なる動きベクトルにより、注目画素の動きベクトルの補償を試みる。具体的には、後述するように、注目画素を含むフレームの画像における背景の動きを表す動きベクトルを抽出し、その背景の動きベクトルについてDFDによる評価を行い、それぞれの動きベクトルの評価の結果に基づいて、注目画素に割り付けるべき動きベクトルを選択する。
【００７７】
また、上述したように、Ｃ領域またはＵＣ領域でDFDを演算しても、前景（オブジェクト）の画像の画素と、背景の画像の画素との差分絶対値和の演算が行われることになるので、本発明では、DFDの演算に用いられるフレームの時間的な範囲を広げて、後述するように現在のDFD、過去のDFD、および未来のDFDを演算することにより、注目画素に割り付けるべき動きベクトルを評価する。
【００７８】
図１０は、本発明を適用した画像処理装置の構成例を示すブロック図である。
【００７９】
この画像処理装置１００は、例えば、時間的に連続する動画像である入力画像から内挿フレームの画像を生成して出力するようになされている。図１０に示されるように、画像処理装置１００は、ベクトル検出部１０１、ベクトル割り付け部１０２、ベクトル選択部１０３、および内挿フレーム生成部１０４により構成されている。
【００８０】
ベクトル検出部１０１は、入力画像の各画素において、例えば、ブロックマッチング法、勾配法などにより動きベクトルを検出する。
【００８１】
ベクトル割り付け部１０２は、ベクトル検出部１０１により検出された動きベクトルを、入力画像の各画素に付加する。
【００８２】
なお、ベクトル検出部１０１、およびベクトル割り付け部１０２の処理は、従来より行われていた処理と同様の処理である。従って、ベクトル検出部１０１、およびベクトル割り付け部１０２の処理では、例えば、図３を参照して上述したような動きベクトルが検出されて割り付けられることになる。
【００８３】
ベクトル選択部１０３は、ベクトル割り付け部１０２によって割り付けられた動きベクトルに基づいて、内挿フレームの各画素に割り付けられるべき動きベクトルを選択する。詳細については後述するが、ベクトル選択部１０３は、主に内挿フレームの注目画素の周辺の画素の動きベクトルから得られる補償ベクトルの候補と、主に画像の背景の動きを検出することにより得られる背景ベクトルの候補のなかから、注目画素の動きベクトルとして割り付けるべき動きベクトルを選択するようになされている。結果として、ベクトル選択部１０３により注目画素の動きベクトルが補償されることになる。
【００８４】
内挿フレーム生成部１０４は、ベクトル選択部１０３により選択された動きベクトルに基づいて、内挿フレームの各画素値を演算し、内挿フレームの画像を生成するようになされている。
【００８５】
次に、ベクトル選択部１０３の詳細な構成について説明する。
【００８６】
補償ベクトル候補抽出部１２１は、ベクトル割り付け部１０２によって割り付けられたベクトルに基づいて、内挿フレームの各画素にベクトルを割り付ける。そして、これからベクトル選択部１０３により動きベクトルが選択される（割り付けられる）画素を注目画素として設定し、その注目画素に動きベクトルが割り付けられていない場合、注目画素の動きベクトルを、注目画素の周囲の画素に割り付けられている動きベクトルにより補償するために、注目画素の周囲の画素に割り付けられている動きベクトルを抽出する。
【００８７】
このとき、注目画素の周囲の画素に割り付けられている動きベクトルが、注目画素の動きを補償するベクトルである補償ベクトルの候補として抽出される。
【００８８】
あるいはまた、ベクトル割り付け部１０２によって割り付けられたベクトルに対して何らかの補償を行った動きベクトルであって、注目画素の周囲の画素に割り付けられている動きベクトルが、注目画素の動きを補償するベクトルである補償ベクトルの候補として抽出されるようにしてもよい。
【００８９】
補償ベクトル評価値算出部１２２は、補償ベクトル候補抽出部１２１が抽出した、補償ベクトルの候補のそれぞれに対応する評価値を演算する。ここで、評価値は、例えば、上述したDFDとされ、評価値の最も高い補償ベクトルの候補（すなわち、DFDが最も小さくなった補償ベクトルの候補）が、注目画素の動きを補償する補償ベクトルとされることになる。
【００９０】
なお、補償ベクトル候補抽出部１２１と補償ベクトル評価値算出部１２２の処理は、従来より動きベクトルの補償の際に行われていた処理とほぼ同様の処理である。
【００９１】
また、本発明では、後述するように、背景ベクトルが抽出され、上述した補償ベクトルと背景ベクトルのいずれかにより、注目画素の動きベクトルが補償される。従って、実際には、後述する背景ベクトルも注目画素の動きを補償するベクトルの候補の１つとなり、背景ベクトルにより注目画素の動きが補償されることもあるが、ここでは、補償ベクトル候補抽出部１２１が抽出した補償ベクトルの候補と称し、その補償ベクトルの候補の中で評価値の最も高いものを補償ベクトルと称することにする。
【００９２】
背景ベクトル候補抽出部１２３は、次のようにして背景ベクトルの候補を抽出する。
【００９３】
ここで、背景ベクトルは、注目画素を含むフレームの背景の画像の動きベクトルとされる。また、通常、動画像において、大きく移動するオブジェクトは背景に対して小さく表示されている場合が多いので、当該フレーム全体の中で背景の画像が占める割合が大きいものと推定できる。従って、背景ベクトルは、当該フレームの画像の支配的な動きを表す動きベクトルと言い換えることもできる。
【００９４】
フレームの画像の支配的な動きを表す動きベクトルである背景ベクトルは、例えば、注目画素を含むフレームの全ての画素に付加されている動きベクトルのヒストグラムに基づいて得ることができる。例えば、各画素に付加されている動きベクトルを、それぞれ（x,y）の２次元のベクトルとして、動きベクトルのヒストグラムを算出し、そのヒストグラムの中で、例えば度数が大きい順に所定の個数の動きベクトルを背景ベクトルとして抽出する。このようにすることで、当該内挿フレームの各画素に付加されている動きベクトルのうち、多くの画素に付加されているものが背景ベクトルとして抽出される。
【００９５】
なお、ヒストグラムの算出においては、動きベクトルにより特定される始点または終点の画素が低輝度であり、かつ周辺の画素との輝度値の差分が小さい（平坦な）ものである場合、その動きベクトルは、ヒストグラムに積算されないようにすることが好ましい。このような動きベクトルは、信頼性が低いと考えられるからである。
【００９６】
また、背景ベクトルの抽出においては、ヒストグラムに対して微分や積分を適用した結果が大きい順に抽出してもよい。
【００９７】
例えば、算出されたヒストグラムがx成分およびy成分に対応する２次元で表されるものである場合、微分すべき動きベクトルの度数と、その周辺の動きベクトルの度数に対して図１１に示されるようなフィルタによる演算処理を行うことにより、ヒストグラムに対して微分を適用した結果が得られる。また、積分すべき動きベクトルの度数と、その周辺の動きベクトルの度数に対して図１２に示されるようなフィルタによる演算処理を行うことにより、ヒストグラムに対して積分を適用した結果が得られる。
【００９８】
ヒストグラムに対して微分を適用した結果に基づいて代表ベクトルを抽出するようにすれば、例えば、フレーム内の特定の領域の画素の動きベクトルが代表ベクトルとして集中的に抽出されてしまうことが抑止される。
【００９９】
また、ヒストグラムに対して積分を適用した結果に基づいて代表ベクトルを抽出するようにすれば、例えば、ヒストグラムの特異点である動きベクトルが代表ベクトルとして抽出されてしまうことが抑止される。
【０１００】
なお、例えば、ヒストグラムの度数が大きいものと、ヒストグラムに対して微分や積分を適用した結果が大きいものとが、それぞれ背景ベクトルとして抽出されるようにしてもよい。
【０１０１】
また、ここでは、１つのフレームの画面全体の支配的な動きとして背景ベクトルが抽出されると説明したが、例えば、フレームの画像を複数のブロックに区切り、ブロック毎に支配的な動きを抽出し、それぞれのブロックに対応する背景ベクトルが抽出されるようにしてもよい。
【０１０２】
背景ベクトル候補抽出部１２３は、このようにして背景ベクトルの候補を抽出する。上述したように、背景ベクトルは、複数抽出されるようにしても構わないが、この後の説明では、簡単のために、背景ベクトル候補抽出部１２３が、背景ベクトルとして、１つの動きベクトルを抽出するものとして説明する。
【０１０３】
背景ベクトル評価値算出部１２４は、背景ベクトル候補抽出部１２３により抽出された背景ベクトルの評価値を演算する。
【０１０４】
しかし、Ｃ領域またはＵＣ領域で従来と同様にDFDを演算しても、前景（オブジェクト）の画像の画素と、背景の画像の画素との差分絶対値和の演算が行われることになり、動きベクトルの評価値として適切なものとはならないので、本発明では、DFDの演算に用いられるフレームの時間的な範囲を広げて、現在のDFD、過去のDFD、および未来のDFDを演算する。
【０１０５】
例えば、図１３においてハッチングで示されるＣ領域またはＵＣ領域の画素に割り付ける動きベクトルのDFDを演算する場合を考える。いまの場合、背景ベクトル７１と背景ベクトル７２が背景ベクトル候補抽出部１２３により抽出されたものとする。
【０１０６】
図１３は、オブジェクト２１が表示される動画像の例を示しており、時刻t-1乃至時刻t2の４つの時刻のフレームの画像を示すものであり、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。オブジェクト２１は、時間の経過に伴って、図面の右方向に移動し、また、オブジェクト２１の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。同図において、図中点線で示される矢印が、従来の方式により検出される動きベクトルを表している。
【０１０７】
上述したように、Ｃ領域またはＵＣ領域では、時刻t0のフレームの画像と時刻t1のフレームの画像を用いてDFDを演算しても、前景（オブジェクト）の画像の画素と、背景の画像の画素との差分絶対値和の演算が行われることになってしまう。そこで、本発明では、さらに、時刻t1よりも時間的に後の時刻t2のフレームの画像と、時刻t0よりも時間的に前の時刻t-1のフレームの画像とを、DFDの演算に用いることとする。
【０１０８】
例えば、図１４に示されるように、Ｃ領域またはＵＣ領域の画素に割り付ける動きベクトルの候補としての背景ベクトル７１と背景ベクトル７２を、時刻t-1乃至時刻t2に至るように時間的に延長する。すなわち、背景ベクトル７１または背景ベクトル７２により、時刻t0のフレームの画素または時刻t1のフレームの画素に対応付けられる時刻t2のフレームの画素、および時刻t-1のフレームの画素を特定する。
【０１０９】
図中の太線で示される２つの矢印がそれぞれ背景ベクトル７１と背景ベクトル７２を表しており、同図の例では、背景ベクトル７１と背景ベクトル７２は、図中点線で示される従来の方式により検出された動きベクトルであって、背景の動きを表す動きベクトルとほぼ同じ向きとされている。
【０１１０】
図１４において、UC領域の画素の動きベクトルの候補としての背景ベクトル７１について、時刻t0のフレームの画像と時刻t1のフレームの画像を用いてDFDを演算（従来より行われているDFDの演算）しても、オブジェクトの画像の領域２１ａの画素と、背景の画像の領域３６の画素との差分絶対値和の演算が行われることになってしまうが、時刻t1のフレームの画像と時刻t2のフレームの画像を用いてDFDを演算すれば、背景の画像の領域３６の画素と、背景の画像の領域３８の画素との差分絶対値和の演算が行われることになる。
【０１１１】
ここで、時刻t0のフレームの画像と時刻t1のフレームの画像を用いてDFDを「現在のDFD」と称することとし、時刻t1のフレームの画像と時刻t2のフレームの画像を用いたDFDを「未来のDFD」と称することとする。
【０１１２】
すなわち、ＵＣ領域に割り付けられる動きベクトルを、現在のDFDにより評価したとしても、それらの動きベクトルの信頼性を高めることができないが、ＵＣ領域に割り付けられる動きベクトルを、未来のDFDにより評価すれば、それらの動きベクトルの信頼性を高めることができるのである。
【０１１３】
また、図１４において、C領域の画素の動きベクトルの候補としての背景ベクトル７２について、時刻t0のフレームの画像と時刻t1のフレームの画像を用いてDFDを演算（従来より行われているDFDの演算）しても、オブジェクトの画像の領域２１bの画素と、背景の画像の領域３７の画素との差分絶対値和の演算が行われることになってしまうが、時刻t0のフレームの画像と時刻t-1のフレームの画像を用いてDFDを演算すれば、背景の画像の領域３７の画素と、背景の画像の領域３９の画素との差分絶対値和の演算が行われることになる。
【０１１４】
時刻t0のフレームの画像と時刻t1のフレームの画像を用いて演算されたDFDを「現在のDFD」と称することにしたので、時刻t0のフレームの画像と時刻t-1のフレームの画像を用いたDFDは「過去のDFD」と称することとする。
【０１１５】
すなわち、Ｃ領域に割り付けられる動きベクトルを、現在のDFDにより評価したとしても、それらの動きベクトルの信頼性を高めることができないが、Ｃ領域に割り付けられる動きベクトルを、過去のDFDにより評価すれば、それらの動きベクトルの信頼性を高めることができるのである。
【０１１６】
背景ベクトル評価値算出部１２４は、背景ベクトル候補抽出部１２３により抽出された背景ベクトルの評価値として、上述した現在のDFD、未来のDFD、および過去のDFDの３種類のDFDを演算するようになされている。
【０１１７】
なお、ここでは、背景ベクトル評価値算出部１２４が演算するDFDについて説明したが、上述した補償ベクトル評価値算出部１２２により算出されたDFDは、時刻t0のフレームの画像と時刻t1のフレームの画像を用いて演算されたDFD（従来の方式においても演算されていたDFD）とされる。
【０１１８】
C/UC領域判定部１２５は、補償ベクトル評価値算出部１２２により算出されたDFD、並びに背景ベクトル評価値算出部１２４により演算された現在のDFD、未来のDFD、および過去のDFDの大小を比較することにより、注目画素がC領域であるか、UC領域であるか、またはC領域でもUC領域でもない通常の領域であるかを判定する。
【０１１９】
例えば、補償ベクトル評価値算出部１２２により算出されたDFD、並びに背景ベクトル評価値算出部１２４により演算された現在のDFD、未来のDFD、および過去のDFDを４つの評価値とすると、それら４つの評価値のうち、背景ベクトル評価値算出部１２４により演算された過去のDFDが最小であった場合、注目画素は、Ｃ領域の画素であると判定される。
【０１２０】
図１４を参照して上述したように、Ｃ領域では、時刻t0のフレームの画像と時刻t-1のフレームの画像を用いて演算された過去のDFDは、背景の画像の領域３７の画素と、背景の画像の領域３９の画素との差分絶対値和になるので、背景ベクトル７２が本来の画像の動きを適切に反映しているならば、過去のDFDの値が小さくなる可能性が高い。一方、Ｃ領域では、背景ベクトル７２が本来の画像の動きを適切に反映しているならば、現在のDFDの値、未来のDFDの値が過去のDFDの値よりも小さくなる可能性は低く、また、補償ベクトル評価値算出部１２２により算出されたDFDの値が過去のDFDの値よりも小さくなる可能性も低い。
【０１２１】
従って、いまの場合、注目画素は、Ｃ領域の画素であると判定することができる。
【０１２２】
また、例えば、４つの評価値のうち、背景ベクトル評価値算出部１２４により演算された未来のDFDが最小であった場合、注目画素は、UＣ領域の画素であると判定される。
【０１２３】
図１４を参照して上述したように、UＣ領域では、時刻t1のフレームの画像と時刻t2のフレームの画像を用いて演算された未来のDFDは、背景の画像の領域３８の画素と、背景の画像の領域３６の画素との差分絶対値和になるので、背景ベクトル７２が本来の画像の動きを適切に反映しているならば、未来のDFDの値が小さくなる可能性が高い。一方、UＣ領域では、背景ベクトル７２が本来の画像の動きを適切に反映しているならば、現在のDFDの値、過去のDFDの値が未来のDFDの値よりも小さくなる可能性は低く、また、補償ベクトル評価値算出部１２２により算出されたDFDの値が未来のDFDの値よりも小さくなる可能性は低い。
【０１２４】
従って、いまの場合、注目画素は、UＣ領域の画素であると判定することができる。
【０１２５】
割り付けベクトル決定部１２６は、C/UC領域判定部１２５が、注目画素をC領域の画素、またはUC領域の画素と判定した場合、その画素に、背景ベクトル候補抽出部１２３により抽出された背景ベクトルを割り付ける。
【０１２６】
また、例えば、４つの評価値のうち、背景ベクトル評価値算出部１２４により演算された現在のDFDが最小であった場合、注目画素の領域は、通常の領域であると判定される。ただし、いまの場合、C/UC領域判定部１２５は、注目画素を通常領域Bの画素であると判定する。
【０１２７】
さらに、例えば、４つの評価値のうち、補償ベクトル評価値算出部１２２により算出されたDFDが最小であった場合、注目画素の領域は、通常の領域であると判定される。ただし、いまの場合、C/UC領域判定部１２５は、注目画素を通常領域Ａの画素であると判定する。
【０１２８】
割り付けベクトル決定部１２６は、C/UC領域判定部１２５が、注目画素を通常領域Ｂの画素と判定した場合、その画素に、背景ベクトル候補抽出部１２３により抽出された背景ベクトルを割り付ける。一方、C/UC領域判定部１２５が、注目画素を通常領域Ａの画素と判定した場合、割り付けベクトル決定部１２６は、その画素に、補償ベクトル候補抽出部１２１が抽出した補償ベクトルを割り付ける。
【０１２９】
通常領域Aと通常領域Bは、同じく通常の領域であり、通常の領域の画素であれば、あえて背景ベクトル候補抽出部１２３により抽出された背景ベクトルを割り付ける必要はないともいえる。しかし、実際にDFDの値が最も小さくなった動きベクトルを割り付ける方が、より適切に画像の動きを反映できるから、通常領域Bには、あえて背景ベクトルを割り付けるのである。
【０１３０】
内挿フレーム生成部１０４は、割り付けベクトル決定部１２６により内挿フレームの各画素に割り付けられた動きベクトルに基づいて内挿フレームの各画素値を演算し、内挿フレームの画像を生成するようになされている。また、内挿フレーム生成部１０４は、C/UC領域判定部１２５により判定された注目画素の領域に対応する内挿フレームの各画素値の演算を行うようになされている。
【０１３１】
すなわち、内挿フレーム生成部１０４は、従来の内挿フレームの生成と同様に、２つのフレームの画素を用いた画素の生成を行うが、通常領域（通常領域Aまたは通常領域B）の画素の場合と、C領域またはUC領域の画素の場合では、異なる演算を行って内挿フレームの画素値を演算するようになされている。
【０１３２】
いま、図１５に示されるように、内挿フレーム生成部１０４が、時刻ｔのフレームの画素と、時刻t+1のフレームの画素に基づいて、時刻t+kのフレームの画素を、内挿フレームの画素として演算するものとする。ここで、時刻tのフレームの位置qの画素の動きベクトルｖに基づいて得られる時刻t＋kのフレームの画素の位置が位置pであり、動きベクトルｖに基づいて得られる時刻t+1のフレームの画素の位置が位置rであるとする。なお、時刻tのフレームの位置qの画素値は、Ft(q)で表され、時刻t＋1のフレームの位置rの画素値は、Ft+1(r)で表されるものとする。
【０１３３】
注目画素が通常領域の画素である場合、内挿フレーム生成部１０４は、時刻t＋kのフレームの位置pの画素値Ft+k(p)を、上述した式（２）の演算により求める。すなわち、注目画素が通常領域の画素である場合、２つのフレームの画素値を用いた線形補間(両側補間)を行うことによって、内挿フレームの画素値が演算される。この方式は、従来と同様の方式である。
【０１３４】
一方、注目画素がＣ領域またはUC領域の画素である場合、内挿フレーム生成部１０４は、２つのフレームの画素値を用いた線形補間(両側補間)を行うのではなく、例えば、図１６に示されるように、２つのフレームのうちの片側のフレームの画素値を用いた補間(片側補間)を行うことで、内挿フレームの画素値を演算する。
【０１３５】
図１６は、オブジェクト２１が表示される動画像の例を示しており、時刻t-1乃至時刻t2の時刻のフレームの画像を示すものであり、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。オブジェクト２１は、時間の経過に伴って、図面の右方向に移動し、また、オブジェクト２１の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。同図において、図中点線で示される矢印が、従来の方式により検出される動きベクトルを表している。
【０１３６】
図１６の例では、時刻t+kのフレームとして生成される内挿フレームにおいて、円８１で示される領域の画素は、UC領域の画素とされる。この場合、内挿フレーム生成部１０４は、動きベクトル（背景ベクトル）７１により特定される時刻t1のフレームの画素を用い、時刻t0のフレームの画素は用いずに、内挿フレームの画素値を演算する。
【０１３７】
上述したように、UC領域の画素は、過去のフレーム（時間的に前のフレーム）においては、対応する画素がないので、UC領域の画素生成の際に過去のフレームの画素を用いた線形補間を行うと、本来生成されるべき画素とは異なった画素が生成されてしまうからである。
【０１３８】
また、図１６の例では、時刻t+kのフレームとして生成される内挿フレームにおいて、円８２で示される領域の画素は、C領域の画素とされる。この場合、内挿フレーム生成部１０４は、動きベクトル（背景ベクトル）７２により特定される時刻t0のフレームの画素を用い、時刻t1のフレームの画素は用いずに、内挿フレームの画素値を演算する。
【０１３９】
上述したように、C領域の画素は、未来のフレーム（時間的に後のフレーム）においては、対応する画素がないので、C領域の画素生成の際に未来のフレームの画素を用いた線形補間を行うと、本来生成されるべき画素とは異なった画素が生成されてしまうからである。
【０１４０】
注目画素がＣ領域の画素である場合、内挿フレーム生成部１０４は、時刻t＋kのフレームの位置pの画素値Ft+k(p)を、例えば、式（３）の演算により求める。
【０１４１】
【数３】
2009188702.tif 000004
【０１４２】
注目画素がUＣ領域の画素である場合、内挿フレーム生成部１０４は、時刻t＋kのフレームの位置pの画素値Ft+k(p)を、例えば、式（４）の演算により求める。
【０１４３】
【数４】
2009188702.tif 000005
【０１４４】
このように、ベクトル選択部１０３は、注目画素に割り付けるべき動きベクトルを選択して割り付けるとともに、注目画素の領域（通常、C／ＵＣ）を判定し、内挿フレーム生成部１０４が、ベクトル選択部１０３により選択された動きベクトルと、注目画素の領域の判定結果に基づいて内挿フレームの画素を生成するようになされている。
【０１４５】
なお、ここでは、生成される内挿フレームの時刻をt+kとして説明したが、例えば、生成される内挿フレームの時刻が時刻t1（図１５の場合、時刻t+1）より後の時刻とされてもよい。例えば、本発明をハードウェアとして実現するために、これから生成する内挿フレームの画素が、１フレーム前のタイミングで入力されたフレームの画素に基づいて生成されるようにしてもよい。
【０１４６】
次に、図１７のフローチャートを参照して、本発明の画像処理装置１００による内挿フレーム生成処理について説明する。
【０１４７】
ステップＳ１１において、ベクトル検出部１０１は、入力画像の各画素において、例えば、ブロックマッチング法、勾配法などにより動きベクトルを検出する。
【０１４８】
ステップＳ１２において、ベクトル割り付け部１０２は、ベクトル検出部１０１により検出された動きベクトルを、入力画像の各画素に付加する。
【０１４９】
なお、ステップＳ１１とステップＳ１２の処理は、従来より行われていた処理と同様の処理である。
【０１５０】
ステップＳ１３において、背景ベクトル候補抽出部１２３は、図１８を参照して後述する背景ベクトル抽出処理を実行する。
【０１５１】
ここで、図１８のフローチャートを参照して、図１７のステップＳ１３の背景ベクトル抽出処理の詳細について説明する。
【０１５２】
ステップＳ３１において、背景ベクトル候補抽出部１２３は、フレームの各画素に付加されている動きベクトルを、それぞれ（x,y）の２次元のベクトルとして、動きベクトルのヒストグラムを算出する。
【０１５３】
ステップＳ３２において、背景ベクトル候補抽出部１２３は、ステップＳ３１の処理で算出されたヒストグラムの中で、例えば度数が大きい順に所定の個数の動きベクトルを背景ベクトルとして抽出する。
【０１５４】
ステップＳ３２では、背景ベクトルが、１つだけ抽出されるようにしてもよいし、複数抽出されるようにしても構わない。
【０１５５】
このようにして、背景ベクトルが抽出される。
【０１５６】
なお、上述したように、ステップＳ３２の処理では、ヒストグラムに対して微分や積分を適用した結果が大きい順に背景ベクトルを抽出してもよい。
【０１５７】
また、例えば、フレームの画像を複数のブロックに区切り、ブロック毎に支配的な動きを抽出し、それぞれのブロックに対応する背景ベクトルが抽出されるようにしてもよい。
【０１５８】
図１７に戻って、ステップＳ１３の処理の後、ステップＳ１４において、ベクトル選択部１０３は、ベクトル割り付け部１０２によって割り付けられたベクトルに基づいて、内挿フレームの各画素にベクトルを割り付け、そして、これから動きベクトルが補償される（選択されて割り付けられる）内挿フレームの画素を注目画素として設定する。
【０１５９】
ステップＳ１５において、ベクトル選択部１０３は、ステップＳ１４の処理で設定された注目画素に、動きベクトルが割り付けられているか否かを判定する。例えば、内挿フレーム内で、動きベクトルが通過しない領域に位置する画素は、動きベクトルが割り付けられていないので、ステップＳ１５の処理で、動きベクトルが割り付けられていないと判定され、処理は、ステップＳ１６に進む。
【０１６０】
ステップＳ１６において、ベクトル選択部１０３は、図１９を参照して後述する割り付けベクトル選択処理を実行する。
【０１６１】
ここで、図１９のフローチャートを参照して、図１７のステップＳ１６の割り付けベクトル選択処理の詳細について説明する。
【０１６２】
ステップＳ５１において、補償ベクトル候補抽出部１２１は、ステップＳ１４の処理で設定された注目画素の周囲の画素に割り付けられている動きベクトルを、補償ベクトルの候補として抽出する。上述したように、補償ベクトルは、動きベクトルが割り付けられていない注目画素の動きを補償するベクトルである。
【０１６３】
ステップＳ５２において、補償ベクトル評価値算出部１２２は、ステップＳ５１の処理で補償ベクトル候補抽出部１２１が抽出した、補償ベクトルの候補のそれぞれに対応するDFDを演算し、例えば、DFDが小さくなった補償ベクトルの候補を、補償ベクトルとして選択する。なお、補償ベクトルとして１の動きベクトルが選択されるようにしてもよいし、複数の動きベクトルが補償ベクトルとして選択されるようにしても構わない。
【０１６４】
ステップＳ５３において、背景ベクトル評価値算出部１２４は、ステップＳ３２の処理で背景ベクトル候補抽出部１２３により抽出された背景ベクトルに対応する、上述した現在のDFD、未来のDFD、および過去のDFDの３種類のDFDを演算する。
【０１６５】
ステップＳ５４において、C/UC領域判定部１２５は、図２０を参照して後述する領域判定処理を実行する。
【０１６６】
ここで、図２０のフローチャートを参照して、図１９のステップＳ５４の領域判定処理の詳細について説明する。
【０１６７】
ステップＳ７１において、C/UC領域判定部１２５は、ステップＳ５２の処理に伴って補償ベクトル評価値算出部１２２により算出された補償ベクトルのDFD、並びにステップＳ５３の処理で背景ベクトル評価値算出部１２４により演算された現在のDFD、未来のDFD、および過去のDFDの大小を比較する。
【０１６８】
ステップＳ７２において、C/UC領域判定部１２５は、ステップＳ７１での比較の結果、ステップＳ５２で算出された補償ベクトルのDFDが最小であったか否かを判定し、補償ベクトルのDFDが最小であったと判定された場合、処理は、ステップＳ７３に進む。
【０１６９】
ステップＳ７３において、C/UC領域判定部１２５は、注目画素の領域は、通常の領域であって、通常領域Ａであると判定する。
【０１７０】
ステップＳ７２において、補償ベクトルのDFDが最小でなかったと判定された場合、処理は、ステップＳ７４に進む。ステップＳ７４において、C/UC領域判定部１２５は、ステップＳ７１での比較の結果、ステップＳ５３の処理で背景ベクトル評価値算出部１２４により演算された過去のDFDが最小であったか否かを判定し、過去のDFDが最小であったと判定された場合、処理は、ステップＳ７５に進む。
【０１７１】
ステップＳ７５において、C/UC領域判定部１２５は、注目画素の領域は、Ｃ領域であると判定する。
【０１７２】
ステップＳ７４において、過去のDFDが最小でなかったと判定された場合、処理は、ステップＳ７６に進む。ステップＳ７６において、C/UC領域判定部１２５は、ステップＳ７１での比較の結果、ステップＳ５３の処理で背景ベクトル評価値算出部１２４により演算された現在のDFDが最小であったか否かを判定し、現在のDFDが最小であったと判定された場合、処理は、ステップＳ７７に進む。
【０１７３】
ステップＳ７７において、C/UC領域判定部１２５は、注目画素の領域は、通常の領域であって、通常領域Ｂであると判定する。
【０１７４】
ステップＳ７６において、現在のDFDが最小でなかったと判定された場合、処理は、ステップＳ７８に進む。ステップＳ７８において、C/UC領域判定部１２５は、ステップＳ７１での比較の結果、ステップＳ５３の処理で背景ベクトル評価値算出部１２４により演算された未来のDFDが最小であったか否かを判定し、未来のDFDが最小であったと判定された場合、処理は、ステップＳ７９に進む。
【０１７５】
ステップＳ７９において、C/UC領域判定部１２５は、注目画素の領域は、ＵＣ領域であると判定する。
【０１７６】
ステップＳ７８において、未来のDFDが最小ではなかったと判定された場合、処理は、ステップＳ８０のエラー処理に進むことになる。なお、ステップＳ７８とステップＳ８０の処理は、省略して、ステップＳ７６において、現在のDFDが最小でなかったと判定された場合、処理は、ステップＳ７９に進み、注目画素の領域は、ＵＣ領域であると判定されるようにしてもよい。
【０１７７】
このようにして、注目画素の領域が判定される。
【０１７８】
図１９に戻って、ステップＳ５４の処理の後、処理は、ステップＳ５５に進み、割り付けベクトル決定部１２６は、図２１を参照して後述する動きベクトル割り付け処理を実行する。
【０１７９】
ここで、図２１のフローチャートを参照して、図１９のステップＳ５５の動きベクトル割り付け処理の詳細について説明する。
【０１８０】
ステップＳ９１において、割り付けベクトル決定部１２６は、ステップＳ５４の処理の判定の結果、注目画素の領域がC領域、またはUC領域であったか否かを判定し、注目画素の領域がC領域、またはUC領域でなかったと判定された場合、処理は、ステップＳ９２に進む。
【０１８１】
ステップＳ９２において、割り付けベクトル決定部１２６は、ステップＳ５４の処理の判定の結果、注目画素の領域が通常領域Ｂであったか否かを判定する。
【０１８２】
ステップＳ９１において、注目画素の領域がC領域、またはUC領域であったと判定された場合、または、ステップＳ９２において、注目画素の領域が通常領域Ｂであったと判定された場合、処理は、ステップＳ９３に進む。
【０１８３】
ステップＳ９３において、割り付けベクトル決定部１２６は、注目画素に背景ベクトルを割り付ける。ここで割り付けられる背景ベクトルは、図２０のステップＳ７４、ステップＳ７６、またはステップＳ７８で、それぞれ最小と判定された過去のDFD、現在のDFD、または未来のDFDに対応する背景ベクトルとされる。
【０１８４】
ステップＳ９２において、注目画素の領域が通常領域Ｂでなかったと判定された場合、すなわち、注目画素の領域が通常領域Ａであった場合、処理は、ステップＳ９４に進む。
【０１８５】
ステップＳ９４において、割り付けベクトル決定部１２６は、注目画素に補償ベクトルを割り付ける。ここで割り付けられる補償ベクトルは、図２０のステップＳ７２で、最小と判定されたDFDに対応する補償ベクトルとされる。
【０１８６】
このようにして動きベクトルが選択されて注目画素に割り付けられる。
【０１８７】
また、動きベクトル割り付け処理が終了すると、図１９の割り付けベクトル選択処理も終了し、図１７のステップＳ１６の処理が終了したことになる。
【０１８８】
なお、ステップＳ１５において、ステップＳ１４の処理で設定された注目画素に、既に動きベクトルが割り付けられていると判定された場合、ステップＳ１６の処理は、スキップされることになる。
【０１８９】
ステップＳ１７において、ベクトル選択部１０３は、内挿フレームの次の画素があるか否かを判定し、次の画素があると判定された場合、処理は、ステップＳ１４に戻り、それ以降の処理が繰り返し実行される。このようにして、内挿フレームの全ての画素に動きベクトルが割り付けられていくことになる。
【０１９０】
ステップＳ１７において、次の画素がないと判定された場合、すなわち、内挿フレームの全ての画素に動きベクトルが割り付けられた場合、処理は、ステップＳ１８に進み、内挿フレーム生成部１０４は、図２２を参照して後述する画素生成処理を実行する。
【０１９１】
ここで、図２２を参照して、図１７のステップＳ１８の画素生成処理の詳細について説明する。この処理は、内挿フレームを構成する複数の画素において、所定の位置の画素を注目画素とし、その注目画素の画素値を演算することにより、内挿フレームの画素生成を行うものである。
【０１９２】
ステップＳ１１１において、内挿フレーム生成部１０４は、内挿フレームの所定の位置の画素を注目画素として設定する。
【０１９３】
ステップＳ１１２において、内挿フレーム生成部１０４は、注目画素の領域をチェックする。ここでは、図１９のステップＳ５４の処理による判定結果に基づいて、注目画素がどの領域に属する画素であるかをチェックする。なお、図１９のステップＳ５４の処理で領域の判定が行われていない画素であって、例えば、図１７のステップＳ１５で既に動きベクトルが割り付けられていると判定された画素などについては、全て通常領域の画素であるものとしてステップＳ１１２の処理が実行される。
【０１９４】
ステップＳ１１３において、内挿フレーム生成部１０４は、ステップＳ１１２の処理の結果に基づいて、注目画素の領域を判定する。
【０１９５】
ステップＳ１１３において、注目画素の領域がＣ領域であると判定された場合、処理は、ステップＳ１１４に進み、内挿フレーム生成部１０４は、過去のフレームの画素を用いた片側補間により注目画素の画素値を演算する。このとき、例えば、式（３）に示される演算が行われることになる。
【０１９６】
ステップＳ１１３において、注目画素の領域が通常領域であると判定された場合、処理は、ステップＳ１１５に進み、内挿フレーム生成部１０４は、２つのフレームの画素を用いた両側補間により注目画素の画素値を演算する。このとき、例えば、式（２）に示される演算が行われることになる。なお、ステップＳ１１３の処理では、通常領域Ａも、通常領域Ｂも、同じく通常領域と判定されるものとする。
【０１９７】
ステップＳ１１３において、注目画素の領域がＵＣ領域であると判定された場合、処理は、ステップＳ１１６に進み、内挿フレーム生成部１０４は、未来のフレームの画素を用いた片側補間により注目画素の画素値を演算する。このとき、例えば、式（４）に示される演算が行われることになる。
【０１９８】
ステップＳ１１４乃至ステップＳ１１６の処理の後、処理は、ステップＳ１１７に進み、次の画素があるか否かが判定される。ステップＳ１１７において、次の画素があると判定された場合、処理は、ステップＳ１１１に戻り、それ以降の処理が繰り返し実行される。このようにして、内挿フレームを構成する各画素の画素値がそれぞれ演算されていくことになる。
【０１９９】
ステップＳ１１７において、次の画素がないと判定された場合、すなわち、内挿フレームを構成する全ての画素の画素値が演算されたと判定された場合、画素値生成処理は終了する。また、画素値生成処理の終了に伴って、図１７の内挿フレーム生成処理も終了されることになる。
【０２００】
このようにして、内挿フレームの画素値が生成される。
【０２０１】
このようにすることで、例えば、内挿フレームにおいて動きベクトルが通過しない領域である、Ｃ領域またはUC領域の画素にも適切な動きベクトルを割り付けて内挿フレームの画像を生成することができる。その結果、画像のどの領域においても正しい動きベクトルが割り付けられ、例えば、不適切な内挿フレームの画像が生成され、生成される画像上に本来はないエッジが生じて画像として破綻することが抑止される。
【０２０２】
なお、図１９のステップＳ５４の領域判定処理においては、現在のDFD、過去のDFD、および未来のDFDの大小を比較することにより注目画素の領域を判定すると説明したが、例えば、次のようにすることで、領域判定の精度をより高めることも可能である。
【０２０３】
例えば、画像の中でテクスチャがない平坦な領域では、現在のDFD、過去のDFD、および未来のDFDがそれぞれ小さくなってしまい、仮にDFDが最小のものに対応する領域の判定を行ったとしても、その判定の信頼性は低いと言わざるを得ない。例えば、画面のほとんどの領域が青空である画像などにおいては、どのような動きベクトルに基づいてDFDを演算したとしても、あまり差異がでないと考えられる。
【０２０４】
そこで、例えば、現在のDFD、過去のDFD、および未来のDFDの間の差が充分に大きい場合だけ、現在のDFD、過去のDFD、および未来のDFDの大小を比較することにより注目画素の領域を判定するようにすれば、領域判定の精度をより高めることが可能である。
【０２０５】
例えば、図２０のステップＳ７１の処理において、ステップＳ５３で演算された現在のDFDの値、過去のDFDの値、および未来のDFDの値のダイナミックレンジＤＲ（Dynamic Range）をさらに演算するようにする。
【０２０６】
そして、ステップＳ７４の処理では、過去のDFDが最小であり、かつ上述したダイナミックレンジＤＲが閾値以上であるか否かを判定するようにし、過去のDFDが最小であり、かつ上述したダイナミックレンジＤＲが閾値以上であったと判定された場合、ステップＳ７５でＣ領域と判定されるようにする。
【０２０７】
ステップＳ７６の処理では、現在のDFDが最小であり、かつ上述したダイナミックレンジＤＲが閾値以上であるか否かを判定するようにし、現在のDFDが最小であり、かつ上述したダイナミックレンジＤＲが閾値以上であったと判定された場合、ステップＳ７７で通常領域Ｂと判定されるようにする。
【０２０８】
また、ステップＳ７８の処理では、未来のDFDが最小であり、かつ上述したダイナミックレンジＤＲが閾値以上であるか否かを判定するようにし、未来のDFDが最小であり、かつ上述したダイナミックレンジＤＲが閾値以上であったと判定された場合、ステップＳ７９でＵＣ領域と判定されるようにする。
【０２０９】
このようにすることで、より領域判定の精度をより高めることができ、より適切な内挿フレームが生成されるようにすることができる。
【０２１０】
なお、この場合のダイナミックレンジDRの閾値は、例えば、70程度に設定されるようにすることが好ましい。
【０２１１】
また、図１９のステップＳ５４の領域判定処理においては、現在のDFD、過去のDFD、および未来のDFDの大小を比較することにより注目画素の領域を判定すると説明したが、このようにしても、前景と背景の境界付近で正しく判定できないことがある。
【０２１２】
例えば、図２３に示されるような場合を考える。図２３は、オブジェクト２２１が表示される動画像の例を示しており、時刻t-1乃至時刻t2の４つの時刻のフレームの画像を示すものである。ここでは、説明を簡単にするために、フレームの画像を１次元（線状）で表現している。すなわち、図２３の縦軸は時間を表し、図２３の横軸は画像（画素）の位置を表すことになる。
【０２１３】
図２３において前景としてオブジェクト２２１の画像が表示されており、図中下側（時刻t-1）から上側に向かって時間が経過していくのに伴い、オブジェクト２２１の画像は図中右側に移動している。また、同図では表現されていないが、オブジェクト２２１の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。
【０２１４】
例えば、時刻t0のフレームと時刻t1のフレームの画像に基づいて、勾配法、ブロックマッチング法などを用いた従来の方式による動きベクトルの検出を行うと、図２３の矢印で示されるような動きベクトルが検出される。すなわち、オブジェクト２２１の画素では、図中右側に向かう動きベクトルが検出され、背景の画素では、図中左側に向かう動きベクトルが検出されることになる。
【０２１５】
いま、時刻t+kのフレームを内挿フレームとし、内挿フレームにおいて円２３１の部分に位置する画素、および内挿フレームにおいて円２３２の部分に位置する画素を生成するものとする。
【０２１６】
内挿フレームにおいて円２３１の部分に位置する画素は、前景と背景の境界付近に位置する画素といえる。内挿フレームにおいて円２３１の部分は、時間の経過に伴って前景に隠れていた背景が見えてくる領域なので、UC領域と考えられるが、時刻t+kのフレームの画像においては、まだ、前景（オブジェクト２２１）に隠れている。
【０２１７】
円２３１の部分に位置する画素に、図中太線の矢印で示される背景ベクトル２４１を割り付けた場合、上述した未来のDFDは、時刻t1のフレームの背景の領域２５１の画素と時刻t2のフレームの背景の領域２５２の画素との差分絶対値和として演算されるので、この場合、補償ベクトルのDFD、並びに背景ベクトルの過去のDFD、現在のDFD、および未来のDFDのうちで、背景ベクトルの未来のDFDが最小になる可能性がある。
【０２１８】
従って、例えば、図１９のステップＳ５４の処理で、円２３１の部分に位置する画素がUC領域の画素と判定され、ステップＳ５５の処理で、円２３１の部分に位置する画素に背景ベクトル２４１が割り付けられ、そのまま内挿フレームの画素生成が行われることがある。
【０２１９】
しかし、内挿フレームのUC領域の画素生成は、例えば、図２２のステップＳ１１６の処理において説明したように、未来のフレームの画素値を用いた片側補間による画素値の演算とされるので、いまの場合、時刻t1のフレームの背景の領域２５１の画素値を用いた片側補間により、内挿フレームの円２３１の部分に位置する画素が生成されてしまう。すなわち、時刻t+kのフレーム（内挿フレーム）の画像において、本来、オブジェクト２２１の一部とされるべき画素が、背景の画素により補間されてしまうことになる。このような場合、内挿フレームの画像を適切に生成できない。
【０２２０】
また、同様に内挿フレームにおいて円２３２の部分に位置する画素は、前景と背景の境界付近に位置する画素といえる。内挿フレームにおいて円２３２の部分は、時間の経過に伴って背景が前景に隠れていく領域なので、C領域と考えられるが、時刻t+kのフレームの画像においては、既にオブジェクト２２１により背景が隠されている。
【０２２１】
円２３２の部分に位置する画素に、図中太線で示される背景ベクトル２４２を割り付けた場合、上述した過去のDFDは、時刻t0のフレームの背景の領域２５４の画素と時刻t-1のフレームの背景の領域２５３の画素との差分絶対値和として演算されるので、この場合、補償ベクトルのDFD、並びに背景ベクトルの過去のDFD、現在のDFD、および未来のDFDのうちで、背景ベクトルの過去のDFDが最小になる可能性がある。
【０２２２】
従って、例えば、図１９のステップＳ５４の処理で、円２３２の部分に位置する画素がC領域の画素と判定され、ステップＳ５５の処理で、円２３２の部分に位置する画素に背景ベクトル２４２が割り付けられ、そのまま内挿フレームの画素生成が行われることがある。
【０２２３】
しかし、内挿フレームのC領域の画素生成は、例えば、図２２のステップＳ１１４の処理において説明したように、過去のフレームの画素値を用いた片側補間による画素値の演算とされるので、いまの場合、時刻t0のフレームの背景の領域２５４の画素値を用いた片側補間により、内挿フレームの円２３２の部分に位置する画素が生成されてしまう。すなわち、時刻t+kのフレーム（内挿フレーム）の画像において、本来、オブジェクト２２１の一部とされるべき画素が、背景の画素により補間されてしまうことになる。このような場合、内挿フレームの画像を適切に生成できない。
【０２２４】
前景と背景の境界付近であっても、正しく領域判定できるようにするためには、例えば、DFDに用いられるブロックサイズを、動きベクトルの大きさに対応させて適切に設定することが必要となる。なお、DFDに用いられるブロックサイズとは、差分絶対値和の算出に用いられる注目画素を中心とする所定の個数の画素で構成されるブロック、または注目画素からの距離に位置する画素で構成されるブロックのサイズとされる。
【０２２５】
例えば、図２３において背景の動き量、すなわち背景ベクトル２４１（または２４２）の大きさをvbとし、前景の動き量をvfとする。
【０２２６】
図２４は、図２３の場合と同様に、オブジェクト２２１と背景がそれぞれ移動する動画像の例を示している。いま、図２４に示されるように、時刻t+kの内挿フレームにおいて、前景と背景のちょうど境界部分であってUC領域の境界部分に位置する円２３３の部分に位置する画素に注目して考える。背景ベクトル２４１の時刻t1のフレームにおける交点が、DFDのブロック２６１の中心となり、この交点から前景（オブジェクト２２１）までの距離は、│vb−vf│(1−k)で表される。
【０２２７】
前景と背景の境界付近であっても、正しく領域判定できるようにするためには、この距離をオフセットとしてDFDのブロックサイズを拡張するようにすればよい。DFDのブロックサイズの水平方向のオフセットをoffx、垂直方向のオフセットをoffyとすると、未来のDFDに適用すべきブロックサイズのオフセットは、式（５）により表される。
【０２２８】
【数５】
2009188702.tif 000006
【０２２９】
また、図２４に示されるように、時刻t+kの内挿フレームにおいて、前景と背景のちょうど境界部分であってC領域の境界部分に位置する円２３４の部分に位置する画素に注目して考える。背景ベクトル２４２の時刻t0のフレームにおける交点が、DFDのブロック２６４の中心となり、この交点から前景（オブジェクト２２１）までの距離は、│vb−vf│(k)で表される。
【０２３０】
前景と背景の境界付近であっても、正しく領域判定できるようにするためには、この距離をオフセットとしてDFDのブロックサイズを拡張するようにすればよい。DFDのブロックサイズの水平方向のオフセットをoffx、垂直方向のオフセットをoffyとすると、過去のDFDに適用すべきブロックサイズのオフセットは、式（６）により表される。
【０２３１】
【数６】
2009188702.tif 000007
【０２３２】
前景と背景の境界付近であっても、正しく領域判定できるようにするためには、背景ベクトルの未来のDFDを演算する場合、式（５）により得られたオフセットを、式（１）での演算範囲m×nに追加し、背景ベクトルの過去のDFDを演算する場合、式（６）により得られたオフセットを、式（１）での演算範囲m×nに追加してDFDを求めるようにすればよい。すなわち、式（１）での演算範囲m×nを、(m+2offx)×(n+2offy)とすればよい。
【０２３３】
なお、背景ベクトルに対応するDFDと補償ベクトルに対応するDFDとの比較を行う場合、DFDのブロックサイズに応じてDFDを正規化する必要がある。
【０２３４】
このように、DFDのブロックサイズに、動きベクトル（いまの場合、背景ベクトル）に対応した適切なオフセットを追加すれば、図２５に示されるように、円２３１の部分に位置する画素に、背景ベクトル２４１を割り付けた場合、未来のDFDは、時刻t1のフレームの背景と前景とから構成される領域２７１の画素と時刻t2のフレームの背景の領域２７２の画素との差分絶対値和として演算されるので、この場合、補償ベクトルのDFD、並びに背景ベクトルの過去のDFD、現在のDFD、および未来のDFDのうちで、背景ベクトルの未来のDFDが最小になる可能性は低い。
【０２３５】
また、円２３２の部分に位置する画素に、背景ベクトル２４２を割り付けた場合、過去のDFDは、時刻t0のフレームの背景と前景とから構成される領域２７４の画素と時刻t-1のフレームの背景の領域２７３の画素との差分絶対値和として演算されるので、この場合、補償ベクトルのDFD、並びに背景ベクトルの過去のDFD、現在のDFD、および未来のDFDのうちで、背景ベクトルの過去のDFDが最小になる可能性は低い。
【０２３６】
従って、時刻t+kのフレーム（内挿フレーム）の画像において、本来、オブジェクト２２１の一部とされるべき画素が、背景の画素により補間されてしまうことが抑止され、内挿フレームの画像を適切に生成することができる。
【０２３７】
ここでは、前景と背景の境界付近であっても、より正しく領域判定できるようにするために、DFDのブロックサイズに、動きベクトル（いまの場合、背景ベクトル）に対応した適切なオフセットを追加する例について説明したが、注目画素の周辺の画素値の差分を用いることにより、やはり、前景と背景の境界付近であっても、より正しく領域判定することができる。
【０２３８】
図２６は、図２４の場合と同様に、オブジェクト２２１と背景がそれぞれ移動する動画像の例を示している。例えば、図２６に示されるように、時刻t+kの内挿フレームにおいて、前景と背景の境界となる位置を位置pとする。背景ベクトル２４１に基づいて特定される時刻t1のフレームにおける位置pに対応する位置を位置ｒとし、背景ベクトル２４１に基づいて特定される時刻t2のフレームにおける位置pに対応する位置を位置uとする。いまの場合、位置ｐの画素をUC領域の画素であるか否かの判定が難しい。
【０２３９】
また、前景の動きベクトル２４５に基づいて特定される時刻t1のフレームにおける位置pに対応する位置を位置tとし、前景の動きベクトル２４５に基づいて特定される時刻t0のフレームにおける位置pに対応する位置を位置sとする。また、背景ベクトル２４１と同じベクトルに基づいて特定される時刻t1のフレームにおける位置sに対応する位置を位置wとする。位置sおよび位置wは、位置qおよび位置rからそれぞれ前景の動き量vfを減じた位置とも言える。
【０２４０】
例えば、位置pが背景の画像の一部であるとすれば、位置sおよび位置wも当然背景の画像であると推測できる。このため、位置pが背景の画像の一部であるとすれば、位置sの画素値と位置wの画素値の差分は小さくなるはずである。
【０２４１】
一方、位置pが前景の画像の一部であるとすれば、位置sは前景の画像であるが、位置wは背景の画像であると推測できる。このため、位置pが前景の画像の一部であるとすれば、位置sの画素値と位置wの画素値の差分は大きくなるはずである。
【０２４２】
そこで、例えば、上述した、過去のDFD、現在のDFD、および未来のDFDの比較による判定に加えて、式（７）を満たす場合のみ、位置pの画素がＵＣ領域の画素と判定されるようにすれば、前景と背景の境界付近であっても、より正しく領域判定することができる。
【０２４３】
【数７】
2009188702.tif 000008
【０２４４】
なお、時刻tのフレームの位置qの画素値はFt(q)、時刻t+1のフレームの位置rの画素値はFt+1(r)、時刻t+2のフレームの位置uの画素値はFt+2(u)、時刻tのフレームの位置sの画素値はFt(s)、時刻t+1のフレームの位置wの画素値はFt+1(w)、時刻t+1のフレームの位置tの画素値はFt+1(t)で、それぞれ表されるものとする。
【０２４５】
また、図２７に示されるように、時刻t+kの内挿フレームにおいて、前景と背景の境界となる位置を位置pとする。背景ベクトル２４２に基づいて特定される時刻t1のフレームにおける位置pに対応する位置を位置ｒとし、背景ベクトル２４２に基づいて特定される時刻t-1のフレームにおける位置pに対応する位置を位置uとする。いまの場合、位置ｐの画素をC領域の画素であるか否かの判定が難しい。なお、図２７も、図２４の場合と同様に、オブジェクト２２１と背景がそれぞれ移動する動画像の例を示している。
【０２４６】
また、前景の動きベクトル２４６に基づいて特定される時刻t1のフレームにおける位置pに対応する位置を位置tとし、背景ベクトル２４２と同じベクトルに基づいて特定される時刻t0のフレームにおける位置tに対応する位置を位置wとする。位置wおよび位置tは、位置qおよび位置rからそれぞれ前景の動き量vfを減じた位置とも言える。
【０２４７】
例えば、位置pが背景の画像の一部であるとすれば、位置wおよび位置tも当然背景の画像であると推測できる。このため、位置pが背景の画像の一部であるとすれば、位置wの画素値と位置tの画素値の差分は小さくなるはずである。
【０２４８】
一方、位置pが前景の画像の一部であるとすれば、位置tは前景の画像であるが、位置wは背景の画像であると推測できる。このため、位置pが前景の画像の一部であるとすれば、位置tの画素値と位置wの画素値の差分は大きくなるはずである。
【０２４９】
そこで、例えば、上述した、過去のDFD、現在のDFD、および未来のDFDの比較による判定に加えて、式（８）を満たす場合のみ、位置pの画素がＣ領域の画素と判定されるようにすれば、前景と背景の境界付近であっても、より正しく領域判定することができる。
【０２５０】
【数８】
2009188702.tif 000009
【０２５１】
なお、時刻tのフレームの位置qの画素値はFt(q)、時刻t+1のフレームの位置rの画素値はFt+1(r)、時刻t-1のフレームの位置uの画素値はFt-1(u)、時刻tのフレームの位置wの画素値はFt(w)、時刻t+1のフレームの位置tの画素値はFt+1(t)、時刻tのフレームの位置sの画素値はFt(s)で、それぞれ表されるものとする。
【０２５２】
また、式（７）に加えて、さらに式（９）を満たす場合のみ、位置pの画素がＵＣ領域の画素と判定されるようにすれば、前景と背景の境界付近であっても、さらに正しく領域判定することができる。
【０２５３】
【数９】
2009188702.tif 000010
【０２５４】
同様に、式（８）に加えて、さらに式（１０）を満たす場合のみ、位置pの画素がＣ領域の画素と判定されるようにすれば、前景と背景の境界付近であっても、さらに正しく領域判定することができる。
【０２５５】
【数１０】
2009188702.tif 000011
【０２５６】
ここまで主に、ベクトル割り付け部１０２によって割り付けられたベクトルに基づいて、内挿フレームの各画素に割り付けられるべき動きベクトルを選択するベクトル選択部１０３の処理について説明してきた。すなわち、従来より行われていた処理と同様の処理によってベクトル検出部１０１により検出された動きベクトル、およびベクトル割り付け部１０２によって割り付けられた動きベクトルに基づいて、内挿フレームの注目画素に割り付けるべき動きベクトルを補償する処理について説明してきた。
【０２５７】
しかしながら、上述した本発明の処理を、ベクトル検出部１０１およびベクトル割り付け部１０２の処理として適用することも可能である。すなわち、従来行われていた、ブロックマッチング法、勾配法などにより検出された動きベクトルに加えて、必要に応じて背景ベクトルを、ベクトル割り付け部１０２が各画素に割り付けるようにしてもよい。
【０２５８】
ただし、この場合、上述した、現在のDFD、過去のDFD、および未来のDFDの３つのDFDを用いた領域判定を行うことはできない。
【０２５９】
上述したように、ベクトル検出部１０１の従来の方式による動きベクトルの検出は、例えば、図３を参照して上述したように、時刻t0のフレームと時刻t1のフレームの画像に基づいて、勾配法、ブロックマッチング法などを用いた動きベクトルの検出である。すなわち、内挿フレームの生成以前の処理として実行されるベクトル検出部１０１による動きベクトルの検出は、時間的に前のフレーム（時刻t0のフレーム）の画素が、時間的に後のフレーム（時刻t1のフレーム）のどの画素に対応付けられるかという意味での動きベクトルの検出が行われ、時間的に前のフレームに存在しない画素については、動きベクトルの検出が行われないのである。従って、内挿フレームの生成以前の処理として実行されるベクトル検出部１０１による動きベクトルの検出では、時間的に前のフレームに存在しない画素が、時間的に後のフレームにおいて現れるというUC領域でのベクトルの検出が行われない。
【０２６０】
つまり、内挿フレームの生成以前の処理として実行されるベクトル検出部１０１による動きベクトルの検出では、未来のDFDは用いることができない。
【０２６１】
そこで、本発明の処理を、ベクトル検出部１０１およびベクトル割り付け部１０２の処理として適用する場合、図２８に示されるように、時刻t-1のフレーム、時刻t0のフレーム、および時刻t1のフレームを用いた動きベクトルの検出が行われるようにする。すなわち、ベクトル選択部１０３の処理では、図１３などに示されるように、時刻t-1のフレーム、時刻t0のフレーム、および時刻t1のフレームに加えて、時刻t2のフレームも用いられていたが、本発明の処理を、ベクトル検出部１０１およびベクトル割り付け部１０２の処理として適用する場合、時刻t2のフレームは用いない。
【０２６２】
図２８は、オブジェクト２２１が表示される動画像の例を示しており、時刻t-1乃至時刻t１の３つの時刻のフレームの画像を示すものであり、縦軸は時間を表し、横軸は画像（画素）の位置を表すことになる。オブジェクト２２１は、時間の経過に伴って、図面の右方向に移動し、また、オブジェクト２２１の背景の画像は、時間の経過に伴って、画面の左方向に移動しているものとする。同図において、図中点線で示される矢印が、従来の方式により検出される動きベクトルを表している。
【０２６３】
いま、ベクトル検出部１０１が、ブロックマッチング法、勾配法などにより時刻t0のフレームの画素の動きベクトルを検出し、さらに、背景ベクトル候補抽出部１２３の処理と同様の処理により、背景ベクトルを検出（抽出）するものとする。そして、ベクトル割り付け部１０２が、ブロックマッチング法、勾配法などにより検出された動きベクトル（従来ベクトルと称することにする）と、背景ベクトルのうちのいずれかを各画素に割り付けるものとする。
【０２６４】
すなわち、ベクトル割り付け部１０２は、図中の太線の矢印で示される背景ベクトルを、時刻t-1乃至時刻t1に至るように時間的に延長し、背景ベクトルにより、時刻t0のフレームの画素のフレームの画素に対応付けられる時刻t1のフレームの画素、および時刻t-1のフレームの画素を特定する。そして、ベクトル割り付け部１０２が、従来ベクトルについて、時刻t0のフレームの画素と時刻t1のフレームの画素を用いたDFDを演算し、また、背景ベクトルについて、時刻t0のフレームの画素と時刻t1のフレームの画素を用いた現在のDFDと、時刻t-1と時刻t0のフレームの画素を用いた過去のDFDを演算し、それら３つのDFDの大小を比較する。
【０２６５】
ベクトル割り付け部１０２は、３つのDFDのうち、背景ベクトルの過去のDFDが最小であった場合、または、背景ベクトルの現在のDFDが最小であった場合、注目画素に背景ベクトルを割り付ける。また、ベクトル割り付け部１０２は、３つのDFDのうち、従来ベクトルのDFDが最小であった場合、注目画素に従来ベクトルを割り付ける。
【０２６６】
このようにすることで、例えば、図２８の時刻t0のフレームの背景の画像の領域２９１の画素の動きベクトルを検出するとき、図中太線の矢印で示されるような背景ベクトルが動きベクトルとして検出されて割り付けられることになる。
【０２６７】
例えば、従来のように、時刻t0のフレームの画素と時刻t1のフレームの画素を用いたDFDの演算のみでは、領域２９１の画素として正しい動きベクトル（いまの場合、背景ベクトル）を検出して割り付けることが難しい。領域２９１の画素は、時刻t1のフレームにおいて対応する画素がないからである。
【０２６８】
これに対して、本発明を適用した場合、領域２９１の画素として正しい動きベクトル（いまの場合、背景ベクトル）を検出して割り付けることができる。背景ベクトルの現在のDFDは、領域２９１の画素と時刻t1のフレームの前景の画像の領域２９３の画素との差分絶対値和として演算され、値が小さくなる可能性は少ないが、背景ベクトルの過去のDFDは、領域２９１の画素と時刻t0のフレームの背景の画像の領域２９２の画素との差分絶対値和として演算され、値が小さくなるからである。
【０２６９】
このように、本発明を、例えば、内挿フレームの生成以前の処理として実行される動きベクトルの検出の処理に適用することも可能である。
【０２７０】
なお、上述したように、本発明を、ベクトル検出部１０１とベクトル割り付け部１０２に適用し、その後、上述したベクトル選択部１０３の処理が実行されるようにすれば、さらに、適切に動きベクトルを割り付けることが可能となる。
【０２７１】
このようにすることで、例えば、ベクトル選択部１０３の処理の対象とならない画素であって、動きベクトルが通過する領域の画素に、不適切な動きベクトルが割り付けられてしまうことが抑止される。その結果、C領域、UC領域、またはC領域若しくはUC領域の周辺の領域での動きベクトルの安定化と精度向上が図られ、信頼性の低い動きベクトルの割り付けがさらに低減されることになる。
【０２７２】
以上においては、注目画素に割り付ける動きベクトルを判定するための評価値として、DFDを用いた場合の例について説明したが、DFD以外の評価値を用いることも可能である。例えば、注目画素に割り付ける動きベクトルを判定するための評価値として、動きベクトルの不規則性評価値を用いることも可能である。
【０２７３】
ここでは、ベクトルの不規則性評価値の例としてVDAS（Vector Difference Absolute Summation）について説明する。VDASは、例えば、背景ベクトルのｘ成分およびｙ成分を抽出し、それぞれの成分について、内挿フレームの注目画素の動きベクトルのｘ成分およびｙ成分、または、その注目画素を中心とする周辺の画素の動きベクトルのｘ成分およびｙ成分との差分絶対値和を算出することで、背景ベクトルに対して注目画素と周辺の画素の動きベクトルがどの程度ばらついているかを、特定するための評価値として用いられる。一般に、比較的小さい領域において内挿フレームの生成に用いられる動きベクトルが大きく変化している部分、すなわち背景ベクトルに対して注目画素と周辺の画素の動きベクトルがばらついている部分では、VDASの値が大きくなる。
【０２７４】
仮に、VDASの値が大きい場合、その動きベクトルの信頼性は低いと言える。一方、VDASの値が小さい場合、その動きベクトルの信頼性は高いと言える。
【０２７５】
いま、図２９に示されるように、時刻tのフレームと、時刻t+1のフレームが入力画像として与えられ、時刻tと時刻t+1の間に位置する時刻t+kのフレームを内挿フレームとして生成する場合を考える。時刻tのフレームの位置qの画素の動きベクトルｖに基づいて得られる時刻t＋1のフレームの画素の位置は、位置rとなり、動きベクトルｖに基づいて得られる時刻t＋kのフレームの画素の位置は、位置pとなる。
【０２７６】
ここで、時刻t＋kのフレームの位置pを、（座標）Px,yで表すこととする。例えば、図２９の位置Px,yの画素を注目画素とし、注目画素の周辺の画素を、図３０に示されるように設定し、それらの画素に付加されている動きベクトルを特定する。図３０の例では、注目画素を中心とする２５個（＝５×５）の画素で構成されるブロックにおいて、図中のハッチングで示される位置の画素が、注目画素の周辺の画素として設定されている。従って、注目画素の周辺の画素の位置は、位置Px-2,y-2、Px,y-2、Px+2,y-2、Px-2,y、Px+2,y、Px-2,y+2、Px,y+2、およびPx+2,y+2の８個の画素となる。
【０２７７】
位置Px,yにおけるVDAS値VDASt+k(Px,y)は、式（１１）乃至式（１３）により算出される。
【０２７８】
【数１１】
2009188702.tif 000012
【０２７９】
【数１２】
2009188702.tif 000013
【０２８０】
【数１３】
2009188702.tif 000014
【０２８１】
すなわち、x成分の差分絶対値和とy成分の差分絶対値和のうちの大きい方の値が位置Px,yにおけるVDAS値とされる。
【０２８２】
なお、ここでは、画素値として輝度信号の値が与えられる場合を想定して説明したが、画素値として色差信号の値が与えられる場合、輝度信号において対応する画素位置で算出されたVDAS値を用いればよい。また、式（１２）および式（１３）のVDAS値算出には絶対値をとる代わりに自乗したものを用いてもよい。さらに、VDAS値の算出にあたって、注目画素の動きベクトルと、周辺の画素の動きベクトルとのユークリッド距離の和を用いてもよい。
【０２８３】
また、図３０を参照して上述した位置とは異なる位置の画素が注目画素の周辺の画素とされるようにしてもよい。例えば、注目画素を中心とする８１個（＝９×９）のの画素で構成されるブロックから周辺の画素が設定されるようにしてもよい。
【０２８４】
注目画素に割り付ける動きベクトルを判定するための評価値として、動きベクトルの不規則性評価値を用いる場合、例えば、補償ベクトル評価値算出部１２２が、時刻t0のフレームの画像と時刻t1のフレームの画像を用いてVDASを演算し、背景ベクトル評価値算出部１２４は、背景ベクトル候補抽出部１２３により抽出された背景ベクトルの評価値として、上述したように、時刻tのフレームの画像と時刻t+1のフレームの画像を用いた現在のVDAS、時刻t+1のフレームの画像と時刻t+2のフレームの画像を用いた未来のVDAS、および時刻t-1のフレームの画像と時刻tのフレームの画像を用いた過去のVDASを演算するようにすればよい。
【０２８５】
すなわち、過去のVDASと未来のVDASは、それぞれ図２９に示される仮想的なフレームである時刻t-1+k、と時刻t+1+kのフレームにおいて算出されるものとなる。図２９では、時刻t+kのフレームにおける全画面動きVat+k,x,yを時刻t-1のフレームから時刻t +2のフレームにまで延長した際の、時刻t-1、時刻t-1+k、時刻t+1+k、および時刻t+2のそれぞれの時刻のフレームにおける交点座標をｓx,y、ｕx,y、ｗx,y、ｔx,yとして表している。
【０２８６】
過去のVDASは、時刻t-1のフレームと時刻tのフレームとの間でのブロックマッチング法、勾配法などにより検出されて時刻t-1のフレームの画像の各画素に割り付けられた動きベクトルに基づいて、時刻t-1+kのフレームの画像の各画素の動きベクトルが特定された上で演算される。すなわち、過去のVDASは、時刻t+kのフレームの背景ベクトルのｘ成分およびｙ成分を抽出し、それぞれの成分について、時刻t-1+kのフレームの位置ｕの画素の動きベクトルのｘ成分およびｙ成分、または、その画素を中心とする周辺の画素の動きベクトルのｘ成分およびｙ成分との差分絶対値和を算出することで、求められることになる。
【０２８７】
過去のVDAS をVDASt-1+k(ｕx,y)で表すと、過去のVDASは、式（１４）乃至式（１６）により算出される。
【０２８８】
【数１４】
2009188702.tif 000015
【０２８９】
【数１５】
2009188702.tif 000016
【０２９０】
【数１６】
2009188702.tif 000017
【０２９１】
また、未来のVDASは、時刻t+1のフレームと時刻t+2のフレームとの間でのブロックマッチング法、勾配法などにより検出されて時刻t+1のフレームの画像の各画素に割り付けられた動きベクトルに基づいて、時刻t+1+kのフレームの画像の各画素の動きベクトルが特定された上で演算される。すなわち、過去のVDASは、時刻t+kのフレームの背景ベクトルのｘ成分およびｙ成分を抽出し、それぞれの成分について、時刻t+1+kのフレームの位置ｗの画素の動きベクトルのｘ成分およびｙ成分、または、その画素を中心とする周辺の画素の動きベクトルのｘ成分およびｙ成分との差分絶対値和を算出することで、求められることになる。
【０２９２】
未来のVDASをVDASt+1+k(ｗx,y)で表すと、未来のVDASは、式（１７）乃至式（１９）により算出される。
【０２９３】
【数１７】
2009188702.tif 000018
【０２９４】
【数１８】
2009188702.tif 000019
【０２９５】
【数１９】
2009188702.tif 000020
【０２９６】
なお、式(１４)および式(１７)では，時刻t-1+kのフレームの位置ｕ、および時刻t+1+kのフレームの位置ｗにおいてVDASを算出するようにしたが、より簡単にするため、時刻t-1のフレームの位置ｓ、および時刻t+2のフレームの位置ｒにおいてVDASを算出するようにしてもよい。
【０２９７】
この場合、過去のVDASをVDASt-1(ｓx,y)で表すと、過去のVDASは、式（２０）乃至式（２２）により算出される。
【０２９８】
【数２０】
2009188702.tif 000021
【０２９９】
【数２１】
2009188702.tif 000022
【０３００】
【数２２】
2009188702.tif 000023
【０３０１】
また、この場合、未来のVDASをVDASt+1(ｒx,y)で表すと、未来のVDASは、式（２３）乃至式（２５）により算出される。
【０３０２】
【数２３】
2009188702.tif 000024
【０３０３】
【数２４】
2009188702.tif 000025
【０３０４】
【数２５】
2009188702.tif 000026
【０３０５】
なお、現在のVDASは、上述したように式（１１）乃至式（１３）により算出された値となる。
【０３０６】
そして、C/UC領域判定部１２５は、補償ベクトル評価値算出部１２２により算出されたVDAS、並びに背景ベクトル評価値算出部１２４により演算された現在のVDAS、未来のVDAS、および過去のVDASの大小を比較することにより、注目画素がC領域であるか、UC領域であるか、またはC領域でもUC領域でもない通常の領域であるかを判定するようにすればよい。
【０３０７】
いまの場合、補償ベクトル評価値算出部１２２により算出されたVDAS、並びに背景ベクトル評価値算出部１２４により演算された現在のVDAS、未来のVDAS、および過去のVDASを４つの評価値とすると、それら４つの評価値のうち、背景ベクトル評価値算出部１２４により演算された過去のVDASが最小であった場合、注目画素は、Ｃ領域の画素であると判定される。
【０３０８】
また、例えば、４つの評価値のうち、背景ベクトル評価値算出部１２４により演算された未来のVDASが最小であった場合、注目画素は、UＣ領域の画素であると判定される。
【０３０９】
割り付けベクトル決定部１２６は、C/UC領域判定部１２５が、注目画素をC領域の画素、またはUC領域の画素と判定した場合、その画素に、背景ベクトル候補抽出部１２３により抽出された背景ベクトルを割り付ける。
【０３１０】
また、例えば、４つの評価値のうち、背景ベクトル評価値算出部１２４により演算された現在のVDASが最小であった場合、注目画素の領域は、通常の領域であると判定される。ただし、いまの場合、C/UC領域判定部１２５は、注目画素を通常領域Bの画素であると判定する。
【０３１１】
さらに、例えば、４つの評価値のうち、補償ベクトル評価値算出部１２２により算出されたVDASが最小であった場合、注目画素の領域は、通常の領域であると判定される。ただし、いまの場合、C/UC領域判定部１２５は、注目画素を通常領域Ａの画素であると判定する。
【０３１２】
割り付けベクトル決定部１２６は、C/UC領域判定部１２５が、注目画素を通常領域Ｂの画素と判定した場合、その画素に、背景ベクトル候補抽出部１２３により抽出された背景ベクトルを割り付ける。一方、C/UC領域判定部１２５が、注目画素を通常領域Ａの画素と判定した場合、割り付けベクトル決定部１２６は、その画素に、補償ベクトル候補抽出部１２１が抽出した補償ベクトルを割り付ける。
【０３１３】
このようにすることで、DFD以外の評価値を用いた本発明の画像処理装置を実現することができる。
【０３１４】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図３１に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０３１５】
図３１において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０３１６】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０３１７】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０３１８】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０３１９】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０３２０】
なお、この記録媒体は、図３１に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０３２１】
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０３２２】
【図１】DFDの演算を説明する図である。
【図２】動画像の例を示す図である。
【図３】従来の動きベクトルの検出について説明する図である。
【図４】動きベクトルが通過する領域を説明する図である。
【図５】動きベクトルが通過しない領域を説明する図である。
【図６】Ｃ領域とUC領域を説明する図である。
【図７】UC領域に含まれる注目領域に動きベクトルを割り付ける場合の例を説明する図である。
【図８】Ｃ領域またはＵＣ領域の周辺の画素に付加される動きベクトルについて説明する図である。
【図９】Ｃ領域またはＵＣ領域でのDFDの演算について説明する図である。
【図１０】本発明を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。
【図１１】微分に用いられるフィルタの例を示す図である。
【図１２】積分に用いられるフィルタの例を示す図である。
【図１３】Ｃ領域またはＵＣ領域の画素に割り付ける背景ベクトルについて説明する図である。
【図１４】未来のDFD、現在のDFD、および過去のDFDについて説明する図である。
【図１５】内挿フレームについて説明する図である。
【図１６】内挿フレームの中のＣ領域またはＵＣ領域の画素の生成を説明する図である。
【図１７】内挿フレーム生成処理を説明するフローチャートである。
【図１８】背景ベクトル抽出処理を説明するフローチャートである。
【図１９】割り付けベクトル選択処理を説明するフローチャートである。
【図２０】領域判定処理を説明するフローチャートである。
【図２１】動きベクトル割り付け処理を説明するフローチャートである。
【図２２】画素生成処理を説明するフローチャートである。
【図２３】画像の前景と背景の境界付近での領域判定について説明する図である。
【図２４】DFDに用いられるブロックサイズを、動きベクトルの大きさに対応させて適切に設定する場合の例を説明する図である。
【図２５】動きベクトルの大きさに対応させて適切に設定されたブロックサイズのDFDでの領域判定を説明する図である。
【図２６】画像の前景と背景の境界付近での領域判定をより正確に行う場合の例について説明する図である。
【図２７】画像の前景と背景の境界付近での領域判定をより正確に行う場合の例について説明する図である。
【図２８】本発明を、図１のベクトル検出部とベクトル割り付け部に適用する場合の例について説明する図である。
【図２９】VDASの演算に用いられる所定のフレームの画素について説明する図である。
【図３０】VDASの演算に用いられるブロックについて説明する図である。
【図３１】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０３２３】
１００  画像処理装置，  １０１  ベクトル検出部，  １０２  ベクトル割り付け部，  １０３  ベクトル選択部，  １０４  内挿フレーム生成部，  １２１  補償ベクトル候補抽出部，  １２２  補償ベクトル評価値算出部，  １２３  背景ベクトル候補抽出部，  １２４  背景ベクトル評価値算出部，  １２５  C/UC領域判定部，  １２６  割り付けベクトル決定部，  ７０１  CPU，  ７１１  リムーバブルメディア
【図１】
2009188702.tif 000027
【図２】
2009188702.tif 000028
【図３】
2009188702.tif 000029
【図４】
2009188702.tif 000030
【図５】
2009188702.tif 000031
【図６】
2009188702.tif 000032
【図７】
2009188702.tif 000033
【図８】
2009188702.tif 000034
【図９】
2009188702.tif 000035
【図１０】
2009188702.tif 000036
【図１１】
2009188702.tif 000037
【図１２】
2009188702.tif 000038
【図１３】
2009188702.tif 000039
【図１４】
2009188702.tif 000040
【図１５】
2009188702.tif 000041
【図１６】
2009188702.tif 000042
【図１７】
2009188702.tif 000043
【図１８】
2009188702.tif 000044
【図１９】
2009188702.tif 000045
【図２０】
2009188702.tif 000046
【図２１】
2009188702.tif 000047
【図２２】
2009188702.tif 000048
【図２３】
2009188702.tif 000049
【図２４】
2009188702.tif 000050
【図２５】
2009188702.tif 000051
【図２６】
2009188702.tif 000052
【図２７】
2009188702.tif 000053
【図２８】
2009188702.tif 000054
【図２９】
2009188702.tif 000055
【図３０】
2009188702.tif 000056
【図３１】
2009188702.tif 000057