(57)【特許請求の範囲】
【請求項１】
動画像（ｔ（ｊ）,t（ｊ＋１）,jは画像の順番を定義する整数のインデックス）、の画素を分類して画素の動きベクトルの予測フィールドを決定する方法において、
連続する２つの画像のインデックスの差は１であり、
現在の画素はｔ（ｊ＋１）であり、先行の画像はｔ（ｊ）であり、
前記方法は、現在の画像の各画素に動きの予測ベクトルを割当て、
該予測ベクトルは先行画像ｔ（ｊ）の画素に割り当てられた動きベクトルに依存し、現在の画像の画素は前記画像の時間的投影であり、
現在の画像ｔ（ｊ＋１）の各画素に割り当てられた予測動きベクトルは先行画像ｔ（ｊ）の画素の動きベクトルの時間的投影の結果を少なくとも部分的に考慮し、
前記方法は画像の画素の少なくとも３つのクラスへの分類の結果を考慮し、
各画素は第１クラスの“正常”タグ、第２クラスの“閉塞”タグ、第３クラスの“発生”タグのひとつにより定義され、
投影のもとの画素のタグとクラスの関数としての動きの予測ベクトルの割り当ては
（１）現在の画像ｔ（ｊ＋１）の全ての画素にはじめに“発生”のタグがついており、
（２）先行画像ｔ（ｊ）からの時間的投影の結果に依存して、先行画像ｔ（ｊ）から少なくともひとつのベクトルを受けとる現在の画像ｔ（ｊ＋１）の画素はタグと動きの予測ベクトルを次により割り当てられ、
（ａ）“発生”タグの現在の画像ｔ（ｊ＋１）の画素が動きベクトルを受けとると、タグは“正常”になり、
（ｂ）“正常”タグの画素が別の動きベクトルを受けとると、タグは“閉塞”になり、ｔ（ｊ）におけるもとの画素の画像間偏差（DFD）を最小にする動きベクトルを割り当て、
（ｃ）“閉塞”タグの画素が少なくともひとつの他の動きベクトルを受けとると、タグは“閉塞”のままで、もとの画素の画像間偏差（DFD）を最小にする動きベクトルを割り当てられ、
（ｄ）“発生”タグの画素が先行画像ｔ（ｊ）のベクトルの時間的投影の間に動きベクトルを受けとらないときは、“発生”タグのままである、
ことを特徴とする方法。
【請求項２】
先行画像ｔ（ｊ）の“発生”タグの画素の動きベクトルは該画素の動きベクトルを受けとる現在の画像ｔ（ｊ＋１）の画素に割り当てられない、請求項１に記載の方法。
【請求項３】
“充満”タグを受けとる第４のクラスの画素をふくみ、現在の画像ｔ（ｊ＋１）のタグと動きベクトルは次の表に従って先行画像ｔ（ｊ）のタグと動きベクトル、及び現在の画像ｔ（ｊ＋１）の初期タグ又は少なくともひとつの動きベクトルを受けとることにより修飾されたタグを考慮して割り当てられ、D1は画像ｔ（ｊ）のもとの画素の動きベクトルであり、D2は現在の画像ｔ（ｊ＋１）の既に少なくともひとつの動きベクトルを受けとった画素の動きベクトルであり、min（:DFD（D1）:,:DFD（D2）：）は現在の画像ｔ（ｊ＋１）の動きベクトルとなる動きベクトルで、この値はD1又はD2のうち画像間偏差を最小とする値である、
請求項１に記載の方法；
【表１】
0003640257.tif 000004
【請求項４】
“発生”のタグのままの現在の画像ｔ（ｊ＋１）の画素の運動ベクトルが近傍の運動ベクトルの空間的補間により得られることを特徴とする請求項２または３のいずれかに記載の方法。
【請求項５】
“発生”のタグのままの画像ｔ（ｊ＋１）の画素の運動ベクトルが、近傍の画素のうち“発生”タグのままの画素以外の画素の空間的補間により形成される画素の運動ベクトルの平均をとることにより得られる、請求項４に記載の方法。
【請求項６】
先行の画像ｔ（ｊ）の運動のフィールドを画像ｔ（ｊ＋１）の上に時間的に投影する時に、先行の画像ｔ（ｊ）の画素の画像ｔ（ｊ＋１）の上に投影した運動ベクトルが先行の画像ｔ（ｊ）の他の画素の動きベクトルと干渉するときは、２つの干渉する画素のうち一方を保持し、画像ｔ（ｊ）の他方の画素に“消失”のタグが付けられることを特徴とする請求項１に記載の画素の方法。
【発明の詳細な説明】
【０００１】
この発明は画像の処理、とりわけテレビジョンタイプの画像のようなビデオの画像の処理に関する。
【０００２】
一般に、ビデオ画像の場合、とりわけテレビジョンの画像の場合最も共通的な一連の画像は動いている光景の表示である。それ故、画素はもはや簡単な画像エレメントとは見做されず対象エレメントと見做されるが、この対象エレメントは画像内で時間に従って発生、移動、輝度の変化および／または消失を行うことができる。それ故この動きを画素のレベルで考慮できることが不可欠であり、この動きは時間にわたって変化することの原因となる。それ故動きを考慮することにより光景内の状況を効果的に処理することができる。
【０００３】
光景の分析を可能な限り正確に行うため、画素の動きについての情報をあたえるタグ（tag）を画素に割り当てることにより画素を分類することができる。正確な光景の分析を行うタグは、“正常”、“閉塞”、“発生”、“消失”と名前のついた分類のいずれかに属するものから選択したタグである。実際、“正常”のタグは画像エレメントが対象とする２つの連続したイメージの中にあることを示しており、“発生”タグは画像エレメントが現在の画像内にあるが先行の画像には無いことを示している。“消失”タグは画像エレメントが現在の画像には無いが、先行の画像にはあることを示しており、更に“閉塞”タグは現在の画像が、先行の画像の背景のゾーンを閉塞する前景を含んでいることを示している。これらの４つの分類は画素のレベルで生ずる種々の結果に完全に対応している。
【０００４】
画像の画素にタグを割り当てることはそれ故動きを評価すること、更にはビデオ画像処理の前後の関係に使用されている画像を補間することに対し不可欠である。この補間は例えばトムソングランドパブリック（THOMSON GRAND PUBLIC）と言う名前で登録されたフランス特許出願第8707814号に記載の画像の時間的補間またはトムソンコンシュウマエレクトロニクスと言う名前で登録されたフランス特許出願第8904256号に記載の訂正運動に対する補償を有した画像の時間的補間に記載される。
【０００５】
更に動き補償を有する補間により運動内の画素を正確に再生することが可能である。しかし、ある画像から次の画像に発生または消失するレベルで問題が残る。つまり他の画像の中で対応する画素を有しない画素があることにより混乱を生ずる。更に画素の補間は画素を含む入力画像を基に行われるので、画素が特定されたときにのみその手順を実行することが可能になる。
【０００６】
従って、この発明の目的は、現在の画像が一連の移動する画像に属する先行の画像の運動のフィールドを時間的に投影することにより得られる場合、これらの現在の画素によりある画像から次の画像にかけて発生し消失する画素または画像エレメントを検出できる方法を提供することにある。
【０００７】
従って、この発明の目的は一連の移動画像に属する先行の画像ｔ（ｊ）の運動のフィールドを時間的に投影することにより得られる現在の画像の画素ｔ（ｊ＋１）の分類法であり、この先行の画素は運動ベクトル及びタグを有しており、このタグは少なくとも３つの分類、すなわち“正常”、“閉塞”、または“発生”により定まる分類に属する。前記の方法には次の特徴がある：
１、投影の前に画像ｔ（ｊ＋１）の全ての画素には“発生”のタグが付いている；
２、次に時間的な投影が周知の方法で行われている間、このタグ付けは次の方法で画像ｔ（ｊ）の画素のタグ付けを考慮することにより修正される：
（１）、“発生”のタグの付いた画素が運動ベクトルを受けるならば、そのタグは“正常”になる；
（２）、“正常”のタグの付いた画素が運動ベクトルを受けるならば、そのタグは“閉塞”になり、その運動ベクトルに最小|DFD|（Displaced Frame Difference;画像ｔ（ｊ）とｔ（ｊ＋１）の中の対応する画素の輝度の差の絶対値）が割り当てられる；
（３）、“閉塞”のタグの付いた画素が運動ベクトルを受けるならば、そのタグは“閉塞”のままであり、運動ベクトルに最小|DFD|が付けられる；
（４）、“発生”のタグの付いた画素が運動ベクトルを受けなければ、“発生”のタグのままである。
【０００８】
この場合、画像ｔ（ｊ＋１）の運動のフィールドはトムソン−CSFによる特許出願第8812468号に記載された先行の画像ｔ（ｊ）の運動のフィールドの時間的な投影により得られる。
【０００９】
従って、先行の画像ｔ（ｊ）のタグのフィールドを考慮することにより時間的な運動予測フィールドとタグ予測フィールドが画像ｔ（ｊ＋１）に対し得られる。
【００１０】
この発明の目的は更に画素に前述の分類を活用する新規の画像の補間方法を与えることである。この補間方法は画像間の運動を補償する補間技術に基づいているが、この技術は画素を囲む２つのフレームすなわち入力画像に基づき運動の方向に画素を補間することからなる。
【００１１】
運動の補償により補間するこの種の方法は例えばフランス特許出願第8707814号と第8904256号に記載されている。
【００１２】
従って、この発明の目的は動き補償により画像を時間的に補間する方法であり、この方法には少なくとも２つの既知の画像ｔ（ｊ）,t（ｊ＋１）から補間Ｔ（ｊ）される画像のタグフィールドと運動フィールドを評価する段階を含み、この画像ｔ（ｊ）の各画素の特徴は画像ｔ（ｊ）,t（ｊ＋１）に関連のある画素の特徴から定まり、この画像のそれぞれは運動ベクトルとタグにより定まり、補間Ｔ（ｊ）が行われる画像の運動のフィールドは既知の画像ｔ（ｊ）において運動の評価フィールドに対する時間的な投影により定められ、この既知の画像ｔ（ｊ＋１）は前述の分類の方法を用いて得られ、更に次のことを特徴とする：
１、投影の前に補間Ｔ（ｊ）が行われる画像の全ての画素は“ホール（hole）”とタグが付けられる；
２、その後、時間的な投影の中で画像ｔ（ｊ＋１）の画素に割り当てられたタグと運動ベクトルが調べられ、更にこのタグと運動ベクトルは画像の画素に与えられ次の表に従い補間Ｔ（ｊ）が行われる：
【００１３】
【表３】
0003640257.tif 000002
【００１４】
min（:DFD（D1）:,:DFD（D2）：）の値は、D1の画像間偏差がD2の画像間偏差より小さければD1、さもなければD2である。
【００１５】前述の方法により補間される画像Ｔ（ｊ）の運動のフィールドと画像のタグのフィールドとが既知の画像ｔ（ｊ＋１）で評価された運動のフィールドを使用して、決定される。これらのエレメントが決定されると、種々の方法で画素の輝度を補間することができる。
【００１６】
この発明の目的は更に前述に記載の方法に基づき次のことを特徴とする時間的な補間方法を提供することにある：
１、既知の画像ｔ（ｊ＋１）の運動のフィールドを補間Ｔ（ｊ）が行われる画像の上に投影する時、“発生”とタグが付けられた画像ｔ（ｊ＋１）の画素に対する運動ベクトルは投影されない；
２、次に、画像ｔ（ｊ）の運動のフィールドが画像ｔ（ｊ＋１）の投影の場合と同じ方法で補間Ｔ（ｊ）が行われる画像の上に投影され、運動ベクトルにより満たされる“ホール”の画素に“消失”のタグを付ける；
３、次に、画像ｔ（ｊ＋１）の後続の画像ｔ（ｊ＋２）のフィールドが投影ｔ（ｊ＋１）の投影の場合と同じ方法で補間される画像Ｔ（ｊ）の上に投影され、このとき“発生”と“消失”の画素を考慮して運動ベクトルにより満たされる“ホール”の画素に“発生”のタグを付ける。
【００１７】
この発明の他の特徴と利点は次に添付の図面に関して以下に与えた種々の実施例の記載を読むことにより明らかになる。
【００１８】
この発明は画像の画素を分類する方法に関するが、この画素により画像内で運動している領域を正確に再生でき、更にとりわけある画像から次の画像に対し“発生”または“消失”する領域を決定できる。この発明は更に画素の分類を含む運動の補償による補間の方法にも関している。しかし、画素の分類は現在の画像の画素の上で行われ、この画像は一連の移動画像に属する先行の画像の動きフィールドを時間的に投影することにより得られる。この場合、運動の時間的な投影は特許出願第8812468号およびフランス特許出願第8707814号により行われる。従って、これら２つの特許の目的は完全には再掲しない。しかし、時間的な投影に関する部分を図１に関し簡単に述べる。この発明では非飛越走査のフォーマットの画像について述べる。しかし、フランス特許出願第8707814号で説明するようにラインシフトを考慮することにより、この方法を組み合わせた飛越走査のフォーマットに当てはめることは専門家には明らかである。更に、用語“フレーム”または“画像”は以後では同じ意味に使用している。
【００１９】
図１には直交基準フレームOXYZを示している。この内Ｚ軸は時間に対応しており、種々のフレームｔ（ｊ−１）,t（ｊ）,t（ｊ＋１）は動きを伴う一連の画像に属している。ダミーフレームＴ（ｊ−１）は２つの画像ｔ（ｊ−１）とｔ（ｊ）の間で補間されるフレームに対応している。この場合、フレームｔ（ｊ）の画素に対し計算した運動のフィールドから出発する。この運動のフィールドは画像ｔ（ｊ）の画素にそれぞれ割り当てられた運動のベクトルの組からなる。Ｄ＝（DX,DY）をフレームまたは画像ｔ（ｊ）の画素Ｂの運動ベクトルとすると、運動が線形と仮定すれば、空間座標（x,y）を有した画素Ｂの運動ベクトルは空間座標x1,y1を有したフレームつまり画像ｔ（ｊ＋１）のポイントＣに対応する。このポイントＣ（x1,y1）は点Ｂの運動ベクトルにより定まり（x1,y1）＝（ｘ＋DX,y＋dy）が成立する。
【００２０】
しかし、ポイントＣは一般には画素に対応しない。フランス特許出願第8707814号に記載の方法によれば、運動ベクトルＤはポイントＣに最も近い画素Ｐに対応する。それ故次の通りとなる:D（（P,t（ｊ＋１））＝Ｄ（（B,t（ｊ））,PはＰ＝（xp,yp）で画素Ｃに最も近い。
【００２１】
同様に、空間座標（x,y）を有した画素Ｂの運動ベクトルは空間座標（x1',y1'）を有したダミーフレームＴ（ｊ−１）のポイントC'に対応するが、このポイントC'は次のＢに対応する運動ベクトルに対するポイントである：
（x1',y1'）＝（ｘ−a.DX,Y−a.DY）
ａ＜１はフレームｔ（ｊ）からフレームＴ（ｊ−１）への相対距離を考慮したファクタである。
【００２２】
それ故、ポイントC'は一般には画素に対応しないので、運動ベクトルＤをポイントC'に最も近い画素P'に対応させることができる:D（P',T（ｊ−１）＝Ｄ（B,t（ｊ））更にP'＝（xp',yp'）で画素C'に最も近い。
【００２３】
この投影の中で、いくつかの運動ベクトルが同じ画素に対し示唆される。これは２つの対象が交差する時の画像解析の場合である。従ってフランス特許出願第8812468号の説明のようにコンフリクトがある。この特許出願では、このコンフリクトを解決するためいくつかの解決策が提案されている。採用された解決策の１つは画像間偏差|DFD|（displaced frame difference）の絶対値を比較することからなる。この解決策はこの発明に使用されている。
【００２４】
現在の画像ｔ（ｊ＋１）の時間的投影の場合、|DFD|を与えるのは、画像ｔ（ｊ＋１）内に空間座標（xp,yp）を有する画素Ｐと、画像ｔ（ｊ）内の空間座標（xP−Dxi,yP−Dyi）を有し、ベクトルDiを有するポイントQiとの間の輝度の差である。
【００２５】
ダミーフレームＴ（ｊ−１）の上に時間的な投影を行う場合、|DFD|つまり|DFDi|を与えるのは、ポイントQ'iとQ''iとの輝度の差、つまり、P'を通るベクトルDiの両端のフレームｔ（ｊ）とｔ（ｊ−１）との間の輝度の差である。
【００２６】
コンフリクトの場合には、選択されるベクトルは|DFDi|の最小値を与えるベクトルである。いくつかのベクトルが等しい|DFDi|を有するならば、一般に任意の選択が行われ画素に運動ベクトルが割り当てられる。さらに、一連の運動ベクトルの投影が終わったとき、いくつかの画素が運動ベクトルをもたないことがあり、このとき、運動のフィールドが“ホール”を有するという。
【００２７】
投影された運動フィールドを画像の運動を時間的予測器として使用して後続の画像の運動フィールドを予測するとき、これらの“ホール”はそのまま保持されるか、又は、例えば特許出願第8812468号に記載の方法により、運動ベクトルの空間補間により満たされる。
【００２８】
これらの“ホール”はいくつかの発生源をもつことができる。従って、ズームが行われると対象物は拡大され、細部が見える。この場合、ホールは空間補間により満たされる。更に、画像が連続の場合は、前には隠れたゾーンが新しい画像に現われる。この場合、このゾーンの画素に割り当てられた運動ベクトルに確実性が無いので、空間補間直接的方法では画像に可視的な欠点が生ずる。
【００２９】
前述に記載の時間的投影法をフレームｔ（ｊ）の画素の組に適用することにより、図２と図３に図的に示した運動フィールドが得られる。これらの図は図１のXZ平面に示した簡略化した２次元の画像系列である。図２と図３に示すように、フレームｔ（ｊ）にフレームｔ（ｊ−１）内の対応したポイントがあれば、運動ベクトルは現在の画像ｔ（ｊ）の各画素Piを先行の画像ｔ（ｊ−１）のポイントにリンクさせる。この場合、運動のフィールドはフレームｔ（ｊ）の全ての画像に対して定められる。理想的な場合の時間的投影はフレームｔ（ｊ−１）からフレームｔ（ｊ）への投影において、フレームｔ（ｊ）の各画素はｔ（ｊ−１）のフレーム内でただ１つの対応を有している。テレビジョンの一連の運動画像を解析する場合、これは頻度の少ない場合である。実際、対象物は背景に対して動いて観測される。これは図２と図３に表される場合である。従って、対象物が背景に対してどこにあるか決定する必要が一般にある。図２と図３の画像ｔ（ｊ）において、画素Poは２つの運動ベクトルを受ける。従ってコンフリクトが生じ、どの運動ベクトルが残るか決定する必要があり、更にこの決定は前述の特許出願に述べた|DFD|を計算することにより一般に行われる。これらの画素Poは実際には背景Ｆと交叉する前景の対象物に対応している。これらの画素Poはそれ故参照符号が０の閉塞ゾーンに対応している。更に、この運動する背景Ｆが図２と図３に単純な平行移動により明らかに示されているように画像ｔ（ｊ）とｔ（ｊ−１）の両方の中で見出される。しかし、対象物の境界にある画素に対しては、すなわち画像ｔ（ｊ）内の画素P1と画像ｔ（ｊ−１）内の画素P2に対しては、いくつかの画素に対しては画像ｔ（ｊ）内でリカバーされ他の画像はｔ（ｊ−１）とｔ（ｊ）の間でディスカバーされる。これらの画素はＡの参照符号の付いた“発生”に、更にＤの参照符号の付いた“消失”に対応している。更に、補間される画像Ｔ（ｊ−１）を検査してこの画像の画素の補間が２つの入力フレームｔ（ｊ）とｔ（ｊ−１）により行われると、エコーのような欠陥が補間画像内の対象物のエッジで観測されることがある。これらのゾーンは一般には“ホール”と呼ばれ、図２と図３でＴの参照符号が付いている。更に、図３に示すように画素P3のベクトルのようにいくつかの運動ベクトルは運動ベクトルを割り当てた画素Poと交差する。こうなると、どの運動ベクトルがどの画素に適するか、すなわちどの対象物が前景対象物であるか決定することが難しくなる。同じことは“発生”または“消失”ゾーンの画素についても当てはまるが、このゾーンの画素は正しい運動ベクトルを割り当てることが難しい画素である。
【００３０】
さて、前述のように、画像ｔ（ｊ）から画像ｔ（ｊ＋１）に、または画像ｔ（ｊ）からｔ（ｊ−１）に時間的な投影を行うことにより、これらの投影は１つの画像から次の画像に“閉塞”、“発生”、“消失”のゾーンについての情報を運ぶ。従って、この発明ではこの情報を使用し特に画像補間を行う。
【００３１】
この発明の方法の動作について図４と図５に関して詳細に記載する。
【００３２】
この発明では、分類は、入力画像ｔ（ｊ）の画素の分類に基づき新しい入力画像ｔ（ｊ＋１）の画素について行われる。実際、入力画素ｔ（ｊ）に対して、それぞれの画素は運動ベクトルとタグを含み、画素ｔ（ｊ）の運動の評価フィールドとタグのフィールドを定める。このフィールドには“発生”のタグの付いた画素を含んでいる。ｔ（ｊ）の画素の分類はｔ（ｊ）内で評価された運動フィールドのフレームｔ（ｊ＋１）への時間的な投影の間に行われる。これは前に記載の手順、すなわち特にフランス特許出願第8812468号に記載の時間的投影手順を用いて行われる。
【００３３】
この方法の一番目の段階によれば、フレームｔ（ｊ＋１）のタグに対する予測フィールドは、この時間的投影の間に作られる。投影の前にはこのフィールドは空であり“発生”に初期化される。この発明によれば、画像ｔ（ｊ）の運動ベクトルは次々にｔ（ｊ＋１）の上に投影される。“発生”とタグを付けられ初期化された画素Piがフレームｔ（ｊ）から単一の運動ベクトルを受けるならば、そのタグは“正常”になる。画素Poのように画素がフレームｔ（ｊ）から投影される２つの運動ベクトルを受けるならば、コンフリクトが生ずる。この場合２つの不透明な対象物が現在のポイントに移動したと仮定する。運動ベクトルとタグを決定するため、|DFD|の値が比較され最小|DFD|を有した運動ベクトルが残りこの画素に“閉塞”のタグが付けられる。更に、ｔ（ｊ）の全てのベクトルが投影されたとき、ベクトルを受けない画素が識別され図５の画素P1に示すように時間的な投影の後に“発生”のタグが付けられる。
【００３４】
前に記載の手順は次のように要約できる：
１、“発生”のタグの付いた画素がベクトルを受ける；そのタグは“正常”になる；
２、“正常”のタグの付いた画素がベクトルを受ける；そのタグは“閉塞”になる；
３、“閉塞”のタグの付いた画素がベクトルを受ける；そのタグは“閉塞”を保持する。
【００３５】
それ故、ｔ（ｊ＋１）について、運動の予測フィールドとタグのフィールドが得られるが、このタグのフィールドはｔ（ｊ）のタグのフィールドを考慮していない。
【００３６】
しかし、フレームｔ（ｊ＋１）に対するフレームｔ（ｊ）の時間的な投影の時に、フレームｔ（ｊ）の画素のタグを考慮することは重要なことである。実際、フレームｔ（ｊ）内の新しいゾーンに属する画素、すなわち図５で“発生”のタグを付けられた画素は正確な運動ベクトルを有するチャンスが殆どない。２つの解決策が想定される。
【００３７】
一番目の解決策によれば、“発生”のタグの付いた画素にはベクトルが規定されず、または運動ベクトルは規定されるが投影されない。いずれの場合も、フレームｔ（ｊ）内でこれらの画素を特定できる必要がある。従って、投影の間にフレームｔ（ｊ）のタグのフィールドが検査され“発生”のタグの付いた画素が捨てられる。
【００３８】
二番目の解決策によれば、運動ベクトルが、ｔ（ｊ）の全ての画素に対して規定され、フレームｔ（ｊ＋１）の上に投影される。しかし、フレームｔ（ｊ）内で“発生”のタグの付いた画素に対し規定された運動ベクトルは不確実なので、この運動ベクトルは“閉塞”のタグの付いた画素に立ち上がることができないと見なされる。従って、フレームｔ（ｊ）をフレームｔ（ｊ＋１）の上に時間的に投影する間に、運動ベクトルと“正常”または“閉塞”のタグの付いた他の運動ベクトルとの間にコンフリクトがあれば、“正常”または“閉塞”のタグの付いた運動ベクトルがそのタグと共に残る。この場合閉塞現象が無く更にコンフリクトが偶然に起こることが考えられる。“発生”のタグを有するフレームｔ（ｊ）の全ての運動ベクトルを投影する目的はフレームｔ（ｊ）内に発生ししかもフレームｔ（ｊ＋１）内に存在するゾーンを満たすことである。
【００３９】
この種の運動ベクトルは“発生”のタグが付いているので、フレームｔ（ｊ）の他の運動ベクトルから区別できる。他方、フレームｔ（ｊ＋１）内の他の運動ベクトルから区別するため、例えば図５に示すように“充満”のように違った形でタグを付けることができる。このように、時間的な投影とｔ（ｊ＋１）のフレームに対するフレームｔ（ｊ）の運動ベクトルの比較とは図５に図示したように次の種々のケースについて行われる：
１、ｔ（ｊ＋１）の画素に“発生”のタグがあるかどうか、さらに
２、ｔ（ｊ）の画素に“正常”または“閉塞”のタグがあれば、この画素の運動のベクトルはタグが“正常”となるｔ（ｊ＋１）のフレームの画素に関係する。
３、しかし、ｔ（ｊ）の画素のタグが“発生”であれば、ｔ（ｊ）の運動ベクトルはタグが“充満”となるｔ（ｊ＋１）の画素に関係する；
４、ｔ（ｊ＋１）の画素のタグが“正常”で、さらに
５、ｔ（ｊ）の画素のタグが“正常”または“閉塞”であれば、コンフリクトが生じている。運動ベクトルが前述のように比較される。残った運動ベクトルが“閉塞”でありｔ（ｊ＋１）の画素のタグが“閉塞”となる；
６、ｔ（ｊ＋１）の画素のタグが“発生”であれば、ｔ（ｊ＋１）の画素との関係がすでにある運動ベクトルより関係が少ないので関連のある運動ベクトルは捨て去られ、ｔ（ｊ＋１）のタグは“正常”になる；
７、ｔ（ｊ＋１）の画素のタグが“充満”で、さらに
８、ｔ（ｊ）の画素のタグが“正常”または“閉塞”であれば、より関係があるのでこの画素の運動ベクトルは古い運動ベクトルと置き換えられｔ（ｊ＋１）の画素のタグが“正常”となる；
９、ｔ（ｊ）の画素のタグが“発生”ならば、２つの運動ベクトルが比較され最小|DFD|を有した運動ベクトルが選択され、ｔ（ｊ＋１）のタグが“充満”となる；
10、ｔ（ｊ＋１）の画素のタグが“閉塞”で、さらに
11、ｔ（ｊ）の画素のタグが“正常”または“閉塞”であれば、２つの運動ベクトルが比較され最小|DFD|を有した運動ベクトルが選択され、ｔ（ｊ＋１）のタグが“充満”となる、
12、他方、ｔ（ｊ）のタグが“発生”ならば、フレームｔ（ｊ）から生ずる運動ベクトルは考慮されず、その状況は同じでありｔ（ｊ＋１）のタグは“閉塞”となる。
【００４０】
それ故、このようにフレームｔ（ｊ＋１）に対する予測フィールドと図４に表示された“マーク（marq）−2"は同時に時間的な運動予測フィールドとして得られる。種々の段階は次の表４に要約してある。
【００４１】
【表４】
0003640257.tif 000003
【００４２】
この場合、運動のフィールドが雑音の影響を受けていても、コンフリクトの概念は一番目の画像から正しく考慮されている。タグフィールド内の雑音は運動のフィールド内にある雑音に比例している。例えばフランス特許第8812468号（対応USP5089887）に記載の時間的な予測で循環評価器（recursive estimator）を使用すると、運動のフィールドが時間的な予測の影響で正確でスムーズになるので、タグフィールドはノイズの影響をうけにくくなる。
【００４３】
前述の方法を取ることにより、フレームｔ（ｊ＋１）の運動の予測フィールドとタグフィールドを得ると、運動の予測フィールドの“ホール”を満たすこと、すなわち運動のベクトルを“発生”のタグの付いた画素に対して定め、次にフレームｔ（ｊ＋１）の全てのポイントで運動を評価し、最後にタグフィールドをフレームｔ（ｊ＋１）に対して定めることが必要となる。
【００４４】
種々の解決策が考えられている。“ホール”を満たすため、フレームｔ（ｊ＋１）の全ての画素のレベルで運動を評価する目的で、“ホール”はそのまま保たれる。この場合対応する画素は有用な運動ベクトル、すなわち時間的な予測器を有さない。さらに、このホールは運動ベクトルの空間補間により満たされるが、この運動ベクトルは例えばフランス特許出願第8812468に記載の方法を用いて関連のあるポイントを囲んでいる画素に割り当てられている。
【００４５】
この動作が完了すると、時間的な運動の予測フィールドが画像ｔ（ｊ＋１）において利用できる。それ故次の動作として画像ｔ（ｊ＋１）の画素に対する運動の評価がある。例えば、フランス特許出願第8812468号に記載の時間的予測を有した循環評価器を使用することができる。この評価器は画像ｔ（ｊ＋１）に対する運動の評価フィールドを提供する。
【００４６】
運動の評価を行うと、運動の評価フィールドと時間的な投影の間に得られるタグフィールドを考慮することにより新しいタグフィールドが画像ｔ（ｊ＋１）に定められる。ｔ（ｊ＋１）の画素に対しこの時に現われるタグは、“正常”、“閉塞”、“充満”、および“発生”タグである。画素に対するこの分類は運動予測フィールドに基づいている。運動の評価フィールドは原理的に時間的予測フィールドより正確であるが、より正確なタグを得るため２つの運動のフィールドが各画素に対して比較され、更にベクトルが非常に異なっていれば画素のタグ付けは変更される。実際、この変更は主に“閉塞”とタグを付けた画素に関係している。もし所定の画素の運動ベクトルが運動の評価の間に重大に変更されるならば、この運動ベクトルは実際は不正確であると見なされ、タグの付いた“閉塞”は信頼できないと見なされる。正確な情報を得るために絶対値の差が運動ベクトルの間に観測される。この運動ベクトルは時間的な予測と水平および垂直成分、すなわち予測ベクトルDp＝（dxp,dyp）と予測ベクトルDe＝（dxe,dye）のそれぞれに対する評価運動の間に得られる。その後次の計算を行う:diff−ｘ＝|dxe−dxy|とdiff−ｙ＝|dye−dyp|.2つの差diff−ｘとdiff−ｙの一方が閾値Ｓより大きければ、“閉塞”タグが“正常”になる。
【００４７】
フランス特許第890673号（対応USP5214751）に記載の評価器が採用されていれば、分類を変更するこの動作は運動のフィールドのメディアンフィルタリングの後で補間されるＴ（ｊ）の画像の上への投影の前に行われる。
【００４８】
他方、充満から生ずる投影された運動ベクトルと他のベクトルとの間の区別に使用された“充満”タグは運動の評価の間または補間Ｔ（ｊ）が行われる画像の上への時間的な投影の間にもはや使用されない。従って、“充満”のタグは“正常”のタグに置き換えられる。これにより、ｔ（ｊ＋１）のタグフィールドに対し次の新しい分類が得られる：
１、ｔ（ｊ＋１）のタグが“正常”であれば、“正常”のままである；
２、ｔ（ｊ＋１）のタグが“発生”であれば、“発生”のままである；
３、ｔ（ｊ＋１）のタグが“閉塞”でありdiff−ｘ＜Ｓでdiff−ｙ＜Ｓであれば、タグは“閉塞”となり、さもなければタグは“正常”になる；
４、ｔ（ｊ＋１）のタグが“充満”であれば、“正常”になる。
【００４９】
この動作を行えば、運動の評価フィールドが画像ｔ（ｊ＋１）に対し利用可能となる。このフィールドは入力画像ｔ（ｊ）のタイプと同じタイプのｔ（ｊ＋１）の画素に対して新しいタグフィールド、すなわち分類を３つ有したタグフィールドである。これらの２つのフィールドは補間Ｔ（ｊ）が行われる画像の上への時間的な投影に使用される。これらのフィールドは更に画像ｔ（ｊ＋１）の上への画像ｔ（ｊ）の時間的な投影に対する前述の方法により連続的な入力画像ｔ（ｊ＋２）に対する時間的な投影に使用される。
【００５０】
他の変更が前述の種々の段階の間に可能である。一連の動き画像に沿って続く画素に１より大きいｎの少なくともｎ回“閉塞”のラベルが付けられる時のみに、“閉塞”のタグを確認することが可能である。これは、“閉塞”のタグの回数がメモリに記憶されることを必要とする。
【００５１】
他の変更によれば、画像ｔ（ｊ＋１）の上への画像ｔ（ｊ）の運動のフィールドの時間的な投影の時に、ｔ（ｊ）からｔ（ｊ＋１）の間に“消失”するゾーンを検出することが可能である。画像ｔ（ｊ＋１）へ投影されたｔ（ｊ）の運動ベクトルが他の画素とコンフリクトを生じ保持されていないとき、その画素ｔ（ｊ）には“消失”のタグが付けられる。この場合、新しい分類が導入され４つのタイプのタグ、すなわち“正常”、“閉塞”、“発生”、“消失”が画像ｔ（ｊ）に導入される。
【００５２】
現在の画像の画素を画像Ｔ（ｊ）の時間的な補間に分類する方法の適用はより詳細には図６に関して記載してある。画像補間は特に周波数変化を生ずる画像処理、例えば50Hzから60Hzへの変換、または最大情報の伝送に対する高精細テレビジョンにおける変換に使用されている。
【００５３】
時間的な補間の種々の方法は、特にフランス特許出願第8707814号とフランス特許出願第8904256号にすでに記載されている。前述の記載の分類を考慮すると、“発生”、“消失”のゾーンに割り当てられた運動ベクトルを正しく評価することと、１つの画像から次の画像に背景のゾーンをクロスさせる前景のゾーンを容易に決定することができるようにすることにより、これらの特許出願に記載の方法を改善できる。
【００５４】
“発生”、“消失”のゾーンを考慮した補間の場合には、画像ｔ（ｊ）とｔ（ｊ＋１）の間にあり補間Ｔ（ｊ）が行われる画像のそれぞれの画素に対して、運動ベクトルとタグを定義し、更に前記の運動ベクトルと前記のタグを考慮してそれらから輝度の補間を行う。
【００５５】
運動のフィールドとタグフィールドについて２つの画像ｔ（ｊ）とｔ（ｊ＋１）の間にあり補間Ｔ（ｊ）を行う画像に対し、補間Ｔ（ｊ）を行う画像に対する可能なタグは次の通りである：
１、“正常":画素が２つの入力画像ｔ（ｊ）とｔ（ｊ＋１）の中に存在する；これは例えばフランス特許出願第8707814号に記載の方法を用いて画像ｔ（ｊ）とｔ（ｊ＋１）の中の運動ベクトルの２つの端から補間される；
２、“発生":画素は入力画像ｔ（ｊ＋１）の中のみにあり、その輝度は画像ｔ（ｊ＋１）の中の運動ベクトルの端の輝度に等しく、これにより前述に記載のフランス特許出願によるリニア補間によりこの端の輝度を計算することができる；
３、“消失":画素は入力画像ｔ（ｊ）の中のみにあり、その輝度は画像ｔ（ｊ）の中の運動ベクトルの端の輝度に等しい；この端の輝度は前述のようにリニア補間により計算できる。
【００５６】
補間Ｔ（ｊ）が行われる画像の運動のフィールドの定義に関して、前述のようにある画像から次の画像に背景にゾーンをクロスさせる前景のゾーンと同じく、“発生”と“消失”のゾーンの中でベクトルを正確に評価することに主な困難がある。補間Ｔ（ｊ）が行われる画像の運動のフィールドを正しく定義するために、画像ｔ（ｊ＋１）に対して行われる画像分類を利用することができる。
【００５７】
補間Ｔ（ｊ）を行う画像に対する運動のフィールドとタグフィールドを定義する種々の方法が利用できる。
【００５８】
一番目の方法は画像ｔ（ｊ＋１）に対し運動の評価フィールドを時間的に投影することと、３つの分類、すなわち“正常”、“発生”、“閉塞”によりタグフィールドを使用することにより、補間Ｔ（ｊ）が行われる画像の運動のフィールドを規定することである。この方法は図６に関してより詳細に説明する。補間Ｔ（ｊ）が行われる画像の画素の分類は、補間Ｔ（ｊ）が行われる画像の上への画像ｔ（ｊ＋１）の運動のフィールドを時間的に投影する中で行われる。最初に、補間Ｔ（ｊ）が行われる画像の全てのポイントに“ホール”のタグを付けられる。その後、画像ｔ（ｊ＋１）の運動ベクトルは既知の方法で補間Ｔ（ｊ）が行われる画像の上に一つずつ投影される。次に、補間Ｔ（ｊ）が行われる画像の全ての画素に対するタグと運動ベクトルの割り当てが次のように行われる：
１、補間Ｔ（ｊ）が行われる画像の画素に“ホール”のタグが付けられるならば、更に
２、画像ｔ（ｊ＋１）の画素に“閉塞”のタグが付けられ、更に|DFD|の値＜閾値ならば、Ｔ（ｊ）の画素のタグは“閉塞”になる；
３、ｔ（ｊ＋１）の画素に“正常”または“発生”または“閉塞”のタグが付けられ、更に値|DFD|＞閾値であるならば、Ｔ（ｊ）の画素のタグは“正常”になる；
４、Ｔ（ｊ）の画素のタグが“正常”ならば、更に
５、ｔ（ｊ＋１）の画素のタグが“閉塞”であり、更に値|DFD|＜閾値であるならば、補間Ｔ（ｊ）が行われる画像の画素になる運動ベクトルは“閉塞”となる新しいベクトルに置き換えられ、Ｔ（ｊ）の画素に対する新しいタグが“閉塞”となる；
６、Ｔ（ｊ＋１）の画素に“正常”または“発生”または“閉塞”のタグが付けられ、更に値|DFD|＞閾値であるならば、２つの運動ベクトルが|DFD|の値を基に比較され、タグ付けは変更されない、すなわちＴ（ｊ）の画素のタグは“正常”のままであるが最小の|DFD|を有した運動ベクトルがこの画素に割り当てられる；
７、Ｔ（ｊ）の画素に“閉塞”のタグが付けられるならば、更に
８、ｔ（ｊ＋１）の画素に“閉塞”のタグが付けられるならば、更に値|DFD|＞閾値であるならば、運動ベクトルが|DFD|の値を基に比較され、タグ付けは変更されない、すなわちＴ（ｊ）の画素のタグは“閉塞”のままとなるが、最小の|DFD|を有した運動ベクトルがこの画素に割り当てられる；
９、ｔ（ｊ＋１）の画素に“正常”または“発生”または“閉塞”のタグが付けられるならば、更に値|DFD|＞閾値であるならば、古い運動ベクトルは保持されタグ付けは変更されない、すなわちＴ（ｊ）の画素のタグは“閉塞”のままである。
【００５９】
このように、補間Ｔ（ｊ）が行われる画像の画素が画像ｔ（ｊ＋１）のベクトルを受けると、それぞれのタグは先ず比較され次に画像ｔ（ｊ＋１）の投影ベクトルの|DFD|の値とこのベクトルを受け補間Ｔ（ｊ）が行われた画像の画素の値とが比較される。投影を行うと補間Ｔ（ｊ）が行われた画像の画素のタグは３つの分類、“正常”、“閉塞”、“ホール”のいずれかに属する。“ホール”のタグが付いた画素には関連するベクトルが無い。“正常”と“閉塞”との間の区別により２つの入力画像の間の対象物の交差による不明瞭さが取りのぞかれる。この区別は後に無くなる。前述の方法は補間Ｔ（ｊ）が行われる画像の画素の運動のフィールドを規定することを使用し、これらの画素は画像ｔ（ｊ）とｔ（ｊ＋１）とにあると仮定している。この段階では“発生”と“消失”のタグはまだ補間Ｔ（ｊ）が行われる画像の中に無い。これらの画素は“ホール”とタグを付けられたものの中にあると考えられる。従って、運動の不完全なフィールドが補間Ｔ（ｊ）が行われる画像にわたり利用できる。補間Ｔ（ｊ）が行われる画像の運動のフィールド内のホールはそれ故満たされる必要がある。この充満は例えばフランス特許出願第8812468号に基づき空間補間により行われる。この空間補間を行うと、補間Ｔ（ｊ）が行われる画像の各画素は運動ベクトルを有し更にその端は２つの画像ｔ（ｊ）とｔ（ｊ＋１）の上にある。
【００６０】
この充満を行うと、画素の分類と適応的な補間が画像ｔ（ｊ）とｔ（ｊ＋１）の中で運動ベクトルの“非閉塞”端のみを考慮することにより行うことができる。この特別な方法はより詳細には図６に示してある。ホールが充満された後補間Ｔ（ｊ）が行われる画像の運動のフィールドは、例えばフランス特許出願第8904256号に記載の方法に基づきろ波される。これにより、“正常”または“閉塞”とタグの付いた補間Ｔ（ｊ）が行われた画像の画素が、２つの画像ｔ（ｊ）とｔ（ｊ＋１）から補間される。補間Ｔ（ｊ）が行われる画像内で“ホール”のタグが付けられた画素が関連する限りでは、運動ベクトルの２つの端が前記の端を囲む４つの画素のタグを調べることにより観測される。これらの画素の少なくとも１つが“閉塞”とタグを付けられていれば、関連の端は“閉塞”していると呼ばれ、捨てられる。補間Ｔ（ｊ）が行われる画像内で“ホール”とタグを付けられた画素は“非閉塞”端からのみ補間される。
【００６１】
この場合画像ｔ（ｊ＋１）とｔ（ｊ）の中で端に一番近い画素のタイプは運動ベクトルのそれぞれに対し次のように観測される：
１、画像ｔ（ｊ＋１）にある端でベクトルの端を囲む４つの画素が“閉塞”であれば、また画像ｔ（ｊ）にある端の領域内でベクトルの端を囲む４つの画素のどれもが“閉塞”でなければ、補間Ｔ（ｊ）が行われる画像の画素の運動ベクトルは画像ｔ（ｊ）のみから再生される；
２、画像ｔ（ｊ）内にある端の領域内で運動ベクトルの端を囲む４つの画素の１つが“閉塞”であれば、更に画像ｔ（ｊ＋１）内にある端の領域内で運動ベクトルの端を囲む４つの画素のどれもが“閉塞”でなければ、補間Ｔ（ｊ）が行われる画像の運動ベクトルはｔ（ｊ＋１）のみから再生される；
３、運動ベクトルの２つの端で補間Ｔ（ｊ）が行われる画像から生ずる運動ベクトルの端を囲む４つの画素の１つが“閉塞”ならば、再生は従来の方法で２つの画像を基にして行われる；
４、ベクトルの２つの端で画素を囲む４つのどれもが“閉塞”でなければ、再生は再び２つの画像を基にして行われる。
【００６２】
この場合、“発生”画素と“消失”画素の識別は“ホール”の画素を補間する時に行われる。画像ｔ（ｊ）とｔ（ｊ＋１）の“閉塞”タグは補間Ｔ（ｊ）が行われる画像の“発生”または“消失”の画素を検出することに基づいている。この情報は前述のようにろ波されているので最も信頼できる。更に、“閉塞”画素はいくつかの画像にわたり残るので、時間的なフィルタを通すことができる。
【００６３】
この場合使用することができる他の方法は、タグの付いた“閉塞”に加えて画像ｔ（ｊ＋１）内の“発生”タグと画像ｔ（ｊ）内の“消失”タグを考慮することである。この場合次のタグフィールドが利用できる：画像ｔ（ｊ＋１）内では“正常”、“閉塞”、“発生”、および“消失”のタグが、補間Ｔ（ｊ）が行われる画像内では“正常”、“閉塞”、および“ホール”のタグが利用できる。
【００６４】
前のように、“正常”また“閉塞”のタグが付き補間Ｔ（ｊ）が行われる画像の画素は周知の方法で画像ｔ（ｊ）とｔ（ｊ＋１）から補間される。“ホール”のタグの付いた画素に関しては、次のように補間される：
１、画像ｔ（ｊ）のレベルにおいては運動のベクトルの端を囲む４つの画素の１つが“閉塞”でありどれもが“消失”でなければ、更に画像ｔ（ｊ＋１）のレベルにおいては運動のベクトルの端を囲む４つの画素の１つが“発生”であれば、補間Ｔ（ｊ）が行われる画像の画素はｔ（ｊ＋１）のみから再生される；
２、補間ｔ（ｊ＋１）が行われる画像のレベルにおいては運動ベクトルの端を囲む４つの画素の１つが“閉塞”のタグを付けられどれもが“発生”でなければ、更に画像ｔ（ｊ）のレベルにおいては運動ベクトルの端を囲む４つの画素の１つが“消失”のタグを付けられていれば、補間Ｔ（ｊ）が行われる画像の画素はｔ（ｊ）のみから再生される；
３、他の全ての場合画素は画像ｔ（ｊ＋１）とｔ（ｊ）内の２つの端から再生される。
【００６５】
画像ｔ（ｊ）の画素の分類に基づき画像ｔ（ｊ＋１）について行う画素の分類を取ることにより、補間Ｔ（ｊ）が行われる画像の上にｔ（ｊ＋１）の運動のフィールドを時間的に投影し画像Ｔ（ｊ）の補間を図４により説明する。図４に記載のように、入力として画像ｔ（ｊ）とｔ（ｊ＋１）をとる。参照番号10で示すｔ（ｊ）における運動の評価フィールドと、参照番号11で示すｔ（ｊ）のタグフィールドは既知である。12で示す、ｔ（ｊ＋１）の上への時間的な投影により、運動の予測フィールドが13で画像ｔ（ｊ＋１）に対して得られ、ｔ（ｊ＋１）に対するタグフィールドが14で得られる。13と14で得られた情報は、参照番号15のように、画像ｔ（ｊ＋１）の中のホールを満たすのに使用される。この充満を行うと、運動の予測フィールドが16のように画像ｔ（ｊ＋１）にわたり得られ、これは参照番号17に示すように入力情報ｔ（ｊ）に対する情報と関連して運動の評価を行うために使用される。運動に対する評価を行うと、ｔ（ｊ＋１）にわたる運動の評価フィールドは18で利用できる。18と16と14とに含まれているエレメントは19でｔ（ｊ＋１）のタグフィールドを変更するために使用され、20で示すようにｔ（ｊ＋１）のタグフィールドが得られる。このｔ（ｊ＋１）のタグフィールドと、18におけるｔ（ｊ＋１）の運動の評価フィールドとは、入力画像ｔ（ｊ）に関するエレメントに関連して使用され、参照番号21に示すように補間Ｔ（ｊ）が行われる画像の上に時間的な投影が行われる。この時間的な投影が行われると、それぞれ参照番号22と23の運動のフィールドとタグフィールドが補間Ｔ（ｊ）が行われる画像に対して得られる。補間Ｔ（ｊ）が行われる画像の運動のフィールドにおいて、ホールの充満が24で行われ、補間Ｔ（ｊ）が行われる画像に対して新しい運動のフィールドが得られる。23から生ずるタグフィールドと、25から生ずるこの新しい運動のフィールド、更に画像ｔ（ｊ＋１）に関し20から生ずるタグフィールド、更に画像ｔ（ｊ）に関し11から生ずるタグフィールドが動き補償を有した適応型の補間に利用される。そして、26と27の参照番号に示すように補間Ｔ（ｊ）が行われた画像が得られる。
【００６６】
３つの画像ｔ（ｊ＋１）,t（ｊ＋２）,t（ｊ）の運動のフィールドを投影することにより画像Ｔ（ｊ）を補間する他の方法は、より詳細には図７に関して記載している。この場合、補間Ｔ（ｊ）が行われる画像の“ホール”とタグの付いた画素の運動ベクトルは運動ベクトルｔ（ｊ）とｔ（ｊ＋２）の時間的な投影により規定される。“ホール”とタグの付いた画素の新しい分類は図７に明確に示すようにこの投影から直接導かれる。この場合この手順は次の通りである：
１、“発生”のタグの付いた運動ベクトルの投影を行わずに、補間Ｔ（ｊ）が行われる画像の上に画像ｔ（ｊ＋１）の運動のフィールドを投影すること；
２、“発生”のタグの付いた運動ベクトル以外について、Ｔ（ｊ）の上に画像ｔ（ｊ）の運動のフィールドを投影すること。この投影は図７の画素P4に示すように、“ホール”のタグの付いた画素のみに対するものである。従って、この運動ベクトルは“ホール”のタグの付いた画素に一番近い。“ホール”の画素がこのように満たされると、そのタグは“消失”となる。
３、“発生”のタグの付いた運動ベクトル以外について、補間Ｔ（ｊ）が行われる画像の上に画像ｔ（ｊ＋２）の運動のフィールドを投影すること。この投影は先行のステップの終わりにまだ“ホール”のタグの付いた画素にアドレスされる。従って、この運動ベクトルは“ホール”のタグの付いた画素に一番近く画素P5のように残る。“ホール”のタグの付いた画素がこのように満たされると、そのタグは“発生”となる。運動ベクトルの空間補間が関連の運動ベクトルをもたない残りの画素に対して行われる。この場合、“ホール”のタグは“正常”に置き換えられる。その後補間は次のように関連タグを考慮することにより画素の組の中で行われる：
１、画素に“正常”のタグが付けられていれば、２つの画像ｔ（ｊ）とｔ（ｊ＋１）を基にすること；
２、画素に“消失”のタグが付けられていれば、画像ｔ（ｊ）を元にすること；
３、画素に“発生”のタグが付けられていれば画像ｔ（ｊ＋１）を基にすること。
【００６７】
しかし、補間のこの方法は、画像ｔ（ｊ）のフィールドと画像ｔ（ｊ＋２）のフィールドのように離れた運動フィールドの時間的投影により誤りが増幅されるので、良い運動フィールドが必要になる。
【図面の簡単な説明】
【図１】２つの連続したフレームの間で補間されたダミーフレームを有するいくつかの連続したフレームの分解図でこの発明で使用された時間的予測法を説明するためのものである。
【図２】連続したフレーム間の種々のタイプの移動を示す略図である。
【図３】連続したフレーム間の種々のタイプの移動を示す略図である。
【図４】適応的な補間を行う方法の種々のステップを与える工程系統図であり、この補間はこの方法により画素にタグを付けることを見いだすことと含むことを有した運動の補償により行われる。
【図５】ｔ（ｊ）の運動のフィールドの時間的投影により得られる現在の画像ｔ（ｊ＋１）の画素に対しタグを付けることを説明する図である。
【図６】補間された画像の運動のフィールドを与える図であり、この補間は現在の画像ｔ（ｊ）およびｔ（ｊ＋１）内の“閉塞”タグに基づいている。
【図７】ｔ（ｊ＋１）,t（ｊ＋２），およびｔ（ｊ）の運動のフィールドの投影による補間Ｔ（ｊ）の方法を示す図である。
【図１】
0003640257.tif 000005
【図２】
0003640257.tif 000006
【図３】
0003640257.tif 000007
【図４】
0003640257.tif 000008
【図５】
0003640257.tif 000009
【図６】
0003640257.tif 000010
【図７】
0003640257.tif 000011