"画像の非キーフレームを前記画像の近傍のキーフレームを介し後処理する方法であって、ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されるキーフレームをダウンサンプリングするステップと、アップサンプリングされた再構成されたキーフレームを生成するため、前記ダウンサンプリングされた再構成されたキーフレームをアップサンプリングするステップと、前記再構成されたキーフレームと前記アップサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、前記再構成された非キーフレームを補償するため、再構成された非キーフレームに前記差分を加えるステップと、を有する方法。前記再構成されたキーフレームと前記アップサンプリングされた再構成されたキーフレームとの間の差分は、前記再構成された非キーフレームに加える前にフィルタリングされる、請求項1記載の方法。前記再構成されたキーフレームと前記アップサンプリングされた再構成されたキーフレームとの間の差分は、前記再構成された非キーフレームに加える前に動き補償される、請求項1記載の方法。画像の非キーフレームを前記画像のキーフレームを介し処理する方法であって、ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されたキーフレームをダウンサンプリングするステップと、前記ダウンサンプリングされた非キーフレームとダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、アップサンプリングされた差分を生成するため、前記差分をアップサンプリングするステップと、前記再構成されたキーフレームに前記アップサンプリングされた差分を加えるステップと、を有する方法。前記キーフレームは、前記非キーフレームの近傍のキーフレームである、請求項4記載の方法。前記差分を生成するステップ、前記アップサンプリングするステップ及び前記加えるステップは、前記画像の復号化段階で実行される、請求項4記載の方法。画像の非キーフレームを前記画像の近傍のキーフレームを介し処理する方法であって、前記非キーフレームと前記キーフレームとの間の差分を生成するステップと、ダウンサンプリングされた差分を生成するため、前記差分をダウンサンプリングするステップと、アップサンプリングされた差分を生成するため、前記ダウンサンプリングされた差分をアップサンプリングするステップと、前記キーフレームを再構成するステップと、前記再構成されたキーフレームに前記アップサンプリングされた差分を加えるステップと、を有する方法。前記キーフレームは、前記非キーフレームの近傍のキーフレームである、請求項7記載の方法。前記アップサンプリングするステップ及び前記加えるステップは、前記画像の復号化段階において実行される、請求項7記載の方法。画像の非キーフレームを前記画像のキーフレームを介し後処理する方法であって、ダウンサンプリングされた再構成されたキーフレームを生成するため、複数の再構成されたキーフレームをダウンサンプリングするステップと、アップサンプリングされた再構成されたキーフレームを生成するため、前記ダウンサンプリングされた再構成されたキーフレームをアップサンプリングするステップと、前記再構成されたキーフレームと各自のアップサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、前記再構成された非キーフレームを補償するため、再構成された非キーフレームに前記差分の和を加えるステップと、を有する方法。前記キーフレームは、前記非キーフレームの前の1以上のキーフレーム及び/又は前記非キーフレームの後の1以上のキーフレームを有する、請求項10記載の方法。前記差分は、加重パラメータに基づき重み付けされた差分である、請求項10記載の方法。前記加重パラメータは、各差分のキーフレームと前記非キーフレームとの間の時間距離に依存する、請求項12記載の方法。前記加重パラメータは、固定的パラメータである、請求項12記載の方法。前記加重パラメータは、現在の非キーフレームとリファレンスキーフレームとの間の差分に依存する、請求項12記載の方法。前記加重パラメータは、適応的である、請求項12記載の方法。前記差分の和を加えるステップは、前記キーフレームの適応的に選択されたサブセットを参照して生成される前記差分の和に限定される、請求項10記載の方法。前記再構成された非キーフレームはさらに、以前に後処理された非キーフレームを考慮することによって補償される、請求項10記載の方法。画像の非キーフレームを前記画像のキーフレームを介し後処理する方法であって、ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されたキーフレームをダウンサンプリングするステップと、ダウンサンプリングされた再構成された各キーフレームについて、ダウンサンプリングされた非キーフレームと前記ダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、アップサンプリングされた差分を生成するため、各差分をアップサンプリングするステップと、変更されたアップサンプリングされた差分を生成するため、アップサンプリングされた各差分に再構成された各キーフレームを加えるステップと、補償された非キーフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップと、を有する方法。前記変更されたアップサンプリングされた差分は、加重パラメータに基づき重み付けされた変更されたアップサンプリングされた差分である、請求項19記載の方法。前記加重パラメータは、各差分のキーフレームと前記非キーフレームとの間の時間距離に依存する、請求項20記載の方法。前記加重パラメータは、固定的パラメータである、請求項20記載の方法。前記加重パラメータは、現在の非キーフレームとリファレンスキーフレームとの間の差分に依存する、請求項20記載の方法。前記加重パラメータは、適応的である、請求項20記載の方法。本開示は、時間スケーラビリティを解決する。時間スケーラビリティは、所与の状況について適切なフレームレートの選択を可能にする特徴例えば、デコーダなどによってとして規定される。多数の規格は、ストリームのコンテンツが記述されるフィールドを提供する機構を有する。大部分のデコーダは、単にそのようなフィールドをスキップする。典型的な利用は、ビデオが撮影された位置、ビデオに示される人々の名前、又はビデオの作成に関与した人々の名前を含む。この情報のハイレベルな性質のため、それはしばしばメタデータと呼ばれる。メタデータを追加するためのシンタックスは何れかのタイプのデータを可能にするため、本開示で説明される追加的な情報は、メタデータとしてビデオストリームに埋め込まれてもよい。このため、本開示で用いられるメタデータという用語は、単にビデオのコンテンツに関する上位のデータでなく、ビデオの何れかの追加的な説明を表す。本開示の実施例は、ビデオストリームの時間スケーラビリティの領域に関する。すなわち、エンコーダは、受信するデコーダが状態に応じてフルフレームレート又は低減されたレートによりビデオを再生することを選択可能となるように、少量の情報を圧縮されたストリームに追加する。以下の説明に示されるように、メタデータは、時間スケーラビリティを実現することを支援可能である。本開示の実施例による後処理方法はさらに、時間エッジ情報を加えることによって、視覚的品質を向上させることが可能である。図1は、メタデータ及び後処理を利用して時間スケーラビリティを導入及び利用する変換システム100を示す。変換システム100は、以下の段階の1以上を有することが可能である。第1段階では、オリジナルソースフレームレートfSによるフレームが、ターゲットフレームレートfTに変換される。任意的なフレームレートの変換ブロック110が言及される。何れか既存のフレームレート変換方法が、この段階に適用可能である。第2段階では、レートfTのシーケンスが、キーフレームのシーケンスと非キーフレームのシーケンスとの2つのタイプのフレームシーケンスに分割される。キーフレームは、低減されたレートによりデコーダにおいて以降に再生されるメインビットストリームにおけるフレームである。非キーフレームは、以降に詳細に説明されるように、付加情報を含み、フルフレームレートを実現するため、デコーダにおいて再構成されたキーフレームと一緒に再生可能である。キーフレームは、H.264/AVCなどの従来のビデオ符号化方法を用いて符号化される120。非キーフレームは、メタデータによって表現される130。以降に詳細に説明される図2及び3は、メタデータ生成ブロック130の具体例を示す。図2の実施例では、メタデータは、非キーフレームのダウンサンプリングされたバージョンである。図3の実施例では、メタデータは、キーフレームからのサイド情報と非キーフレームとの間の差分のダウンサンプリングされたバージョンである。従って、メタデータは、フレームに関する特定の情報を記述し、フルフレームを符号化するより低いビットレートにより符号化可能である。メタデータは。キーフレームに加えて何れのものとすることが可能であり、フルレートシーケンスを再構成するのに役立つ。典型的なメタデータは、非キーフレームに関する情報を含む。デコーダでは、キーフレームは、対応するビデオデコーダを用いて復号化される140。非キーフレームのメタデータは、非キーフレームを再構成するのを支援するため抽出される150。以降に詳細に説明される図2及び3は、メタデータ解析ブロック140の具体例を示す。本開示のいくつかの実施例では、メタデータを介して再構成が実行可能であるが、再構成された非キーフレームがメタデータなしに又はほとんどなく生成される実施例もまた可能である。一実施例では、キーフレームは、オリジナルソースフレームのすべてがキーフレームとして分類され、fK=fSただし、fKはキーフレームのフレームレートであるとなるように分類可能である。この場合、メタデータ生成ブロック130は、フレームレート変換により生成されるフレームに従って毎秒fT-fSフレームでデータを受信する。fKの他の値が可能であり、特にメタデータは、オリジナルソースにあったフレームについて生成されてもよい。すなわち、すべてのソースフレームがキーフレームとして分類されることは必要とされない。以下のパラグラフはまず、図2及び3を参照して、メタデータの生成及び解析図1のブロック130及び150を参照の2つの実施例を説明する。以降において、時間エッジエンハンスメントを用いて非キーフレームの視覚的品質を向上させる第3段階の後処理を提供するエッジエンハンスメント後処理方法が説明される図4を参照。図2は、メタデータの生成及び解析の第1実施例200を示す。キーフレーム210は、H.264/AVCなどのビデオ符号化方法を用いて符号化され220、図1を参照してすでに説明されたような対応するビデオデコーダを用いて復号化される。非キーフレーム240は、メタデータとして表され、タイプI支援されたフレームとして以下において言及される。オリジナルフル解像度非キーフレームは、fとして示すことができる。支援されたフレームは、として示されるダウンサンプリングされたフレームである。Dは、ダウンサンプリング演算子を示す。ダウンサンプリングフィルタ250は、バイリニア、バイキュービック、ニアレストネイバ及びLanczos-kernelリサンプリングフィルタとすることが可能である。例えば、ニアレストネイバフィルタリングは、最近傍のピクセル値を現在位置に割り当てる。バイリニアフィルタリングの一例は、4つの最近傍上下左右の近傍などのA,B,C,Dの加重和を導出し、それを現在位置Xのピクセル値として利用する。ここで、piは位置ii=X,A,B,C,Dにおけるピクセル値を示し、wiは位置iの対応するウェイトを示す。ダウンサンプリングされたフレームは、デコーダに直接送信可能であるか、又はビデオ圧縮方法を利用して符号化可能である260。ダウンサンプリングされたフレームの解像度はオリジナルのフル解像度フレームよりはるかに小さいため、それはかなり低いビットレート及び復号化コンプレクシティしか要求しない。デコーダでは、復号化270されたダウンサンプリングフレームが、を再構成するためアップサンプリング280される。Uは、アップサンプリング演算子を示す。アップサンプリングフィルタ280は、エンコーダ段階において用いられるダウンサンプリングフィルタの対応するフィルタとすることが可能である。例えば、ダウンサンプリングフィルタがバイリニアである場合、アップサンプリングフィルタもまたバイリニアである。ダウンサンプリングフィルタがバイキューブである場合、アップサンプリングフィルタもまたバイキューブとすることができる。図3は、メタデータの生成及び解析の第2実施例300を示す。キーフレーム310は、H.264/AVCなどのビデオ符号化方法を用いて符号化され320、対応するビデオデコーダを用いて復号化される330。非キーフレーム340は、タイプII支援されたフレームと呼ばれるメタデータとして表される。エンコーダでは、補間されたフレーム350が、サイド情報としてキーフレームから生成される。このとき、オリジナルフレームとサイド情報フレームとの間の差分フレーム360がダウンサンプリングされ370、メタデータとして表される。メタデータは、デコーダに直接送信されるか、又はいくつかの画像/ビデオ符号化方法によって圧縮可能である380。デコーダでは、メタデータが解析され385、ダウンサンプリングされた差分フレームがオリジナルサイズにアップサンプリングされる390。キーフレームはエンコーダとデコーダとの双方において利用可能であるため、サイド情報フレーム391は、エンコーダと同様に同一のアルゴリズムを用いて生成される。最終的に、サイド情報フレーム391とアップサンプリングされた差分フレーム392とが、非キーフレーム395を再構成するため追加される。図3の構成により生成されるようなサイド情報生成400の一例が、リニア補間が補間されたフレーム430を生成するため、近傍の前のキーフレーム410と次のキーフレーム420とに適用される図4において示される。このとき、オリジナルの非キーフレーム450と補間されたフレーム430との間の差分フレーム440が導出され、メタデータを生成するためダウンサンプリングされる460。サイド情報の他の実施例は、として定式化可能な動き補償時間補間方法を用いて生成可能である。pIx,yは、位置x,yにおける補間フレームのピクセル値を示し、pRx,yは、リファレンスフレームのピクセル値を示す。この場合、以前に再構成されたキーフレームは、リファレンスフレームとして利用できる。補間フレームのすべてのピクセル又はすべてのブロックは、動きベクトルΔx,Δyと関連付けされる。動きベクトルは、補間フレームとリファレンスフレームとの間のオブジェクトの動きの軌跡を記述する。補間フレームは、式2と同様に、動きベクトルのシフトによってリファレンスフレームから再構成可能である。動きベクトルは、再構成されたフレームの動き推定によって導出可能である。動きベクトルはまた、ソースフレームのビットストリームにおける動きベクトルから導出可能である。複数のキーフレームが、サイド情報の生成において利用可能である。さらに、サイド情報は、キーフレームだけでなく非キーフレームからも抽出可能である。以前の図1~4において説明されたメタデータによるフレームレート変換方法は、ダウンサンプリングされたコンテンツをメタデータとして送信する。デコーダにおけるアップサンプリング処理は、ぼけと他のアーチファクトを導く可能性がある。以下のパラグラフでは、時間エッジ補償を利用してメタデータによるフレームレート変換のためエッジ情報をエンハンスする後処理方法が説明される。この方法の実施例は、非キーフレームの品質を向上させるため受信したキーフレームからのエッジ情報を利用する。図1~4に示されるものを含む以前の圧縮技術は、非キーフレームの記述が低減された解像度によるものであるため、近傍フレームからのサイド情報もまた低解像度で利用されるべきであることを仮定していた。出願人は、高周波数情報をフル解像度近傍フレームに以降に適用する効果を述べた。この利用は、高周波数が属する位置を決定することを困難にするフレーム間の動きの可能性のため、直感に反したものである。いくつかの実施例によると、本開示の時間エッジ補償方法は、近傍のキーフレームのエッジを利用して、非キーフレームの消失したエッジ情報を補償する。非キーフレームの高周波数コンテンツは、ダウンサンプリング及び以降のアップサンプリング処理中に消失した。近傍のキーフレームにおける同様のダウンサンプリング及びアップサンプリングがデコーダにおいて実行される。キーフレームの高周波数コンテンツが、再構成された非キーフレームを補償するのに利用される。図5の一例となる図500に示されるように、フル解像度非キーフレームはfとして示され、ダウンサンプリングされたフレームは、として示される。アップサンプリングされた再構成は、として示される。同様に、近傍のキーフレームの復号化されたフル解像度のバージョン、ダウンサンプリングされたバージョン及びアップサンプリングされたバージョンはそれぞれ、として示される。典型的には、近傍のキーフレームは、時間インデックスにおける現在のフレームの次のキーフレームである。時間インデックスは、フレームの撮影時間によるフレーム番号インデックスである。図5に示されるように、シャープなエッジは、キーフレームと非キーフレームとの双方についてダウンサンプリング及びアップサンプリング処理中に消失する。差分画像可視化の容易のため増幅されたは、消失したエッジマップと呼ばれる。当該マップは、ダウンサンプリング及びアップサンプリング中に消失した高周波数コンテンツを示す。図5に示されるように、近傍フレームについて、差分画像は、相対的に複雑な動きのあるシーケンスに対してさえ互いに類似している。これは、近傍のキーフレームの消失した高周波数コンテンツがアップサンプリングされた非キーフレームのものに高い相関があることを示す。この観察に基づき、本開示の実施例による時間エッジ補償方法は、デコーダにおいてのエッジ情報を補償するため、消失したエッジマップを適用する。図6の構成600に示されるように、再構成されたキーフレームgは、fからを生成する同一のフィルタ160を用いてダウンサンプリングされたフレームを生成するためダウンサンプリング可能である610。すなわち、本開示の実施例によると、デコーダの図6のフィルタ610は、エンコーダにおける図2のブロック250又は図3のブロック370と同一とすることができる。ダウンサンプリングされたフレームは、からを生成する同一のフィルタを用いて、としてオリジナルサイズにアップサンプリング可能である620。すなわち、本開示の実施例によると、デコーダにおける図6のフィルタ620は、エンコーダにおける図2のブロック280又は図3のブロック390と同一とすることができる。第1加算器630は、エッジマップを生成する。第2加算器640は、エッジマップを用いてを補償し、エッジエンハンスとされた非キーフレームを生成する。上述されたように、キーフレームgは非キーフレームfの近傍キーフレームである。例えば、シーケンスのN番目のフレームが非キーフレームであり、シーケンスのN-1番目のフレームがキーフレームである場合、N-1番目のフレームはN番目の非キーフレームの近傍のキーフレームである。図7は、図5及び6において上述された時間エッジエンハンスメント実施例の3つの具体例を示す。mobileCIFインセットa,b、tempeteCIFインセットc,d及びpanslow720pインセットe,fの各シーケンスは、4×4のレシオまでダウンサンプリングされ、オリジナルサイズにアップサンプリングされる。mobileCIFシーケンスでは、後処理なしにアップサンプリングされた画像インセットaを参照はぼやけ、カレンダーの数字は、ハイライト部分710に示されるように、判読できない。時間エッジエンハンスメント後処理の後、再構成インセットbを参照は、数字のより明確なビュー720を示す。tempeteCIFシーケンスにおいて、花のテクスチャは、ぼけのあるバージョンと比較してインセットc及びビュー740を参照、により完全に再構成される。インセットd及びビュー730を参照。同様に、panslow720pシーケンスのダッシュボードの直線は、ダウンサンプリングインセットe及びビュー750によって歪められ、エッジエンハンスメントにより訂正されたインセットf及びビュー760。図8,9は、図6の教示に基づく本開示のさらなる実施例を示す。特に、式3の後処理は、として再定式化できる。式4において、アップサンプリングされたキーフレームと非キーフレームとの間の相違が後処理に適用される。あるいは、図8に示されるように、ダウンサンプリングされたキーフレームとダウンサンプリングされた非キーフレームとの間の差分画像が生成される。次のステップにおいて、差分画像がアップサンプリングされ820、再構成されたキーフレームに加えられる。デコーダにおいて図8の後処理ブロックに示されるように、メタデータはまた、式3により以前に指定されたアプローチと同様にである。この場合、再構成されたキーフレームgは、デコーダにおいてにダウンサンプリングされる830。このとき、差分は、fとしてオリジナルサイズにアップサンプリングされ820、として示される。その後、それは、エッジエンハンストされた再構成された非キーフレームを形成するため、再構成されたキーフレームgに加えられる。他方、図9の実施例によると、オリジナル非キーフレームとキーフレームDf-gとの間のダウンサンプリングされた差分画像が送信され910、デコーダにおいてアップサンプリングされ920、再構成されたキーフレームに加えることができる。図9に示されるように、メタデータDf-g910は、キーフレームgと非キーフレームfとの間の差分画像のダウンサンプリングされたバージョンである。このとき、Df-gは、としてオリジナルサイズにアップサンプリングされ920、として示される。その後、アップサンプリングされた差分は、エッジエンハンストされた非キーフレームを再構成するため、再構成されたキーフレームgに加えられる930。一般に、差分f-gのダウンサンプリングは、メタデータのサイズを低減するため、エンコーダにおいて行われる。しかしながら、そのようなダウンサンプリングはまた、メタデータのデータレートが関係ない場合には、デコーダにおいて実行可能である。図6~9の実施例は、時間エッジ補償のため、1つの近傍キーフレームgからのエッジ情報しか利用しない。例えば、前のキーフレームと後のキーフレームなどの2つの近傍キーフレームに基づく双方向時間エッジ補償が提供される実施例が説明される。以下のパラグラフでは、1つの前のキーフレームと1つの後のキーフレームとを有する実施例が説明される。しかしながら、当業者は、2つの前のキーフレーム又は2つの後のキーフレームなどの他の実施例がまた可能であることを理解するであろう。後の又は第2近傍キーフレームは、hとして示される。ダウンサンプリングされたバージョンとアップサンプリングされたバージョンとを生成するため、同様のダウンサンプリング及びアップサンプリング処理が適用可能である。双方向時間エッジ補償は、として定義できる。図10Aにおいて、本開示のさらなる実施例による双方向時間エッジ補償を示す概略図が示される。前の又は第1近傍キーフレームgは、にダウンサンプリングされる1010。ダウンサンプリングされたフレームは、gとしてオリジナルサイズにアップサンプリングされ1020、として示される。第1加算器1030は、エッジマップを生成する。その後、エッジマップは、を生成するため、1/2と乗算される1040。同一の処理1050,1060,1070,1080が、を生成するため、次のキーフレームhに適用される。これら2つのアイテムは、エッジエンハンスとされた非キーフレームを生成するため、再構成された非キーフレームに加えられる1090。図10Aにおいて、エッジマップのウェイトは、例えば、1/2である。エッジマップのウェイトは、他の方法により定義できる。例えば、ウェイトは、ターゲット非キーフレームとソースキーフレームとの間の時間距離に反比例することが可能である。例えば、キーフレームgがN-1番目のフレームであり、非キーフレームfがN番目のフレームであり、キーフレームhがN1番目のフレームである場合、gとfとの間の時間距離は1であり、fとhとの時間距離は1であり、ウェイトはそれぞれ1/2とすることができる。他方、キーフレームgがN-1番目のフレームであり、非キーフレームfがN番目のフレームであり、キーフレームhがN2番目のフレームである場合、gとfとの間の時間距離は1であり、fとhとの間の時間距離は2であり、ブロック1040と1080とのウェイトはそれぞれ、2/3と1/3とすることが可能である。重み付けパラメータは、現在の非キーフレームとリファレンスキーフレームとの間の差分に依存して定義できる。式5及び6に示されるアプローチに基づく同様の拡張図8,9を参照はまた、以下の式7b,7cに従って図10B,10Cに示されるように、双方向時間エッジエンハンスメントに適用可能である。図11は、Type-IAssistedFrameメタデータの双方向時間エッジ補償の一例を示す図2に示される符号化/復号化処理を参照。ダウンサンプリングされたバージョンは、現在のフレームのメタデータとして利用され、ダウンサンプリングレシオは、例えば、4×4である。すなわち、ダウンサンプリングされたピクチャのサイズは、オリジナルフレームの1/16である。前後のキーフレームは、H.264/AVCを用いて符号化及び復号化され、図10Aの再構成されたキーフレームg,hに対応する。現在のフレームは非キーフレームであり、メタデータはダウンサンプリングされたフレームである。メタデータをアップサンプリングすることによって取得された再構成された非キーフレームは、図10Aにおけるに対応するメタデータはまた、H.264/AVCを用いて符号化及び復号化される。再構成されたキーフレームは、高周波数エッジ情報を生成するため、ダウンサンプリング及びアップサンプリングされる。式7A~7Cに示されるような双方向エッジ補償は、メタデータのエッジ情報を向上させるため、アップサンプリングされた非キーフレームに適用される。双方向エッジ補償はさらに、K個のキーフレームK≧2を用いた複数フレーム時間エッジ補償に拡張可能である。これらK個のキーフレームからのエッジマップの加重和は、非キーフレームのエッジを向上させるため利用可能である。典型的には、キーフレームは、同様のエッジを有するため、非キーフレームに近いものである。他の実施例では、L個L≦Kのキーフレームが、目標を達成するため、K個のキーフレームから適応的に選択可能である。この適応的選択は、再構成されたL個のキーフレームのダウンサンプリング/アップサンプリング前に、又はK個の再構成されたキーフレームをアップサンプリングした後に実行可能である。適応的選択は、K個のキーフレームと現在の非キーフレームとを比較し、L個の最近接キーフレームを選択することによって実行可能である。すなわち、メトリックは、フレームの類似度を決定し、現在のフレームに類似したエッジを有することが可能なL個のキーフレームを選択するよう設定される。さらに、K個のフレームは、キーフレームと以前に後処理された非キーフレームとの双方を有することが可能である。アップサンプリングと後処理とは共に、ダウンサンプリングされた情報に基づきオリジナル情報を復元する。これは、以下の最適化問題として表すことができる。本開示の以前のセクションの後処理の実施例図6,8,9,10を参照は、結果として得られるフレームが未処理のフレームにどの程度近いか考慮することなく、キーフレームから導出された消失したエッジマップがアップサンプリングされた非キーフレームに適用されるため、制約条件のない最適化とみなすことができる。これは、保存されるべきエリアにおける過剰処理を導く可能性がある。理想的には、後処理されたフレームは、のアップサンプリングされたバージョンとして依然としてみなされるべきである。すなわち、後処理された非キーフレームが同一のダウンサンプリングフィルタを用いてダウンサンプリングされる場合、それは、に極めて近いダウンサンプリングされた画像を依然として生成すべきである。この制約条件付きの時間エッジ補償のケースでは、最適化問題は、として定式化できる。ただし、Tは許容閾値である。このような制約は、本開示において提案されるすべての再構成スキームに適用可能である。例えば、式4の後処理スキームは、このような制約条件付きの後処理を示すのに利用される。追加的な処理ラウンドの説明を容易にするため、オリジナルのダウンサンプリングされたバージョンは、として定義できる。デコーダにおけるアップサンプリングされたバージョンは、として示される。式4と同様に、第1ラウンド再構成は、である。この再構成は、例えば、を生成するのに利用されるものと同じダウンサンプリングフィルタなどを利用して、にダウンサンプリングされる。同様に、k番目のラウンド再構成は、であり、それのダウンサンプリングされたバージョンは、である。この問題は、として定式化できる。オリジナルソースfはデコーダにおいて未知であるため、最適化は近似により解くことができる。3つの制約条件付き最適化が以下の実施例において示される。制約条件付きの最適化のための第1の方法は、図12に示されるように、の間のピクセル差分に基づき、後処理された結果を更新する。第1加算器1210は、第1ラウンド再構成f1を取得するため、再構成された非キーフレームとエッジマップとを加える。第1ラウンド再構成は、を生成する同一のフィルタを用いて、にダウンサンプリングされる1220。ダウンサンプリングされたバージョンの対応する位置のピクセル差分が閾値T未満である場合、エッジ補償は、受け入れられ1230、f2=f1である。そうでない場合、エッジエンハンスメントはドリフトとみなされ、オリジナルのアップサンプリングされたフレームは、再構成として復元される。スケールファクタは、α×αとして示すことができる。スケールファクタは、オリジナルキーフレームのサイズとメタデータのサイズとの間のレシオとして定義される。例えば、オリジナルキーフレームが352×288CIFCommonIntermediateVideoFormatを有し、非キーフレームが、メタデータを生成するため176×144のQCIFQuarterCIFビデオフォーマットにダウンサンプリングされる場合、スケールファクタは、2×2である。f2の位置i,jのエッジ補償の決定は、の間の位置におけるピクセル差分に基づく。ここで、は、xのフロア演算を表し、Zは整数の集合である。図12を参照して説明される更新は、として定式化できる。連続的な精緻化のさらなる繰り返しは、それが収束するまで品質をさらに向上させるのに利用可能である。例えば、以下の式12では、固定数又は単調減少系列Tkが、閾値として利用される。繰り返しアルゴリズムは、ダウンサンプリングされたフレームの制約と共にエッジ情報を利用する。当該アルゴリズムは、フレーム内のダウンサンプリングされたすべてのピクセル差分が閾値Tk未満になると停止する。実際、デコーダにおける低い後処理コンプレクシティを維持するため、大部分のケースにおいて十分である精緻化の1又は2つののラウンドが利用可能である。制約条件付き最適化のための第2の方法は、図13に示されるように、アップサンプリングされた差分を訂正項として再構成f1に加える。第1加算器1310は、図12においてすでに説明されたものと同様に、を生成する同一のフィルタを用いて、にダウンサンプリングされる1320第1ラウンドの再構成f1を取得するため、再構成された非キーフレームとエッジマップとを加える。しかしながら、この場合、第2加算器1330は、を生成するためアップサンプリングされる1340差分のサブサンプリングフレームを提供する。最終的に、f2が取得されるように、がf1に加えられる1350。このようにして、ドリフトされたエッジエンハンスメントが低減される。このアプローチは、連続的な精緻化繰り返しバージョンに拡張可能である。以下の式14では、ステップサイズΔkは、収束速度を制御するため差分フレームと乗算される。例えば、Δkは、単調減少系列Δ/k又はΔ/2kとすることが可能である。ただし、Δは固定されたステップサイズである。過剰処理を回避するための第3の方法は、時間エッジ補償を条件付きで適用することである。時間エッジ補償が適用されるべきか判断するための判定が実行される。現在のキーフレームがリファレンス非キーフレームと高い相関があるエリアでは、時間エッジ補償が適用される。そうでない場合、時間エッジ補償は無効とされる。一実施例は、として定式化できる。図14に示されるように、時間エッジ補償を適用するか否かの判定がピクセルレベルの差分に基づき行われる。近傍のキーフレームgは、にダウンサンプリングされる1420。ダウンサンプリングされたフレームは、gとしてオリジナルサイズにアップサンプリングされ1430、として示される。判定ブロック1410は、の間の絶対的な距離を計算する。が閾値T以上である場合、時間エッジ補償が無効とされ1440、である。が閾値T未満である場合、時間エッジ補償が適用され1450、である。条件付き時間エッジ補償の他の実施例が、2つのリファレンス非キーフレームが利用可能であるケースに適用可能であり、として定式化できる。図15において、双方向の条件付き時間エッジ補償のためのフローチャートが示される。前のキーフレームgは、にダウンサンプリングされる1510。ダウンサンプリングされたフレームは、gとしてオリジナルサイズにアップサンプリングされ1520、として示される。次のキーフレームhは、にダウンサンプリングされる1530。ダウンサンプリングされたフレームは、オリジナルサイズにアップサンプリングされ1540、として示される。この判定1550,1560,1570は、2つの条件に基づき行われる。の双方が閾値T以上である場合、時間エッジ補償は無効とされ1580、である。が閾値以上であり、が閾値より小さい場合、キーフレームhからの時間エッジ情報が、補償1585において利用される。が閾値より小さく、が閾値以上である場合、キーフレームからの時間エッジ情報が、補償1590において利用される。の双方が閾値より小さい場合、双方向時間エッジ補償が適用される1595。本開示に適用可能なさらなる追加的な実施例が、図16,17を参照して次のパラグラフにおいて説明される。キーフレームから導出されるエッジマップは、圧縮アーチファクトリンギング/輪郭/ブロッキングアーチファクトなどなどのノイズ及びアーチファクトの各種ソースを含む。エッジマップフィルタリングは、提案された後処理方法の品質を向上させることが可能なノイズを削除又は低減するのに利用可能である。フィルタは、ローパスフィルタ、Kalmanフィルタ、デブロッキングフィルタ、デコンボリューションフィルタ、Bayesianフィルタ、バイラテラルフィルタなどとすることが可能である。図16において、例えば、図6の時間エッジの実施例を利用したフローチャートが示される。再構成されたキーフレームgは、ダウンサンプリングされたフレームを生成するためダウンサンプリングされる1610。その後、それは、オリジナルサイズにアップサンプリングされ1620、として示される。第1加算器1630は、エッジマップを生成する。エッジマップは、フィルタリングされたエッジマップを生成するため、エッジマップフィルタリング1640にわたされる。第2加算器1650は、フィルタリングされたエッジマップを用いてを補償し、エッジエンハンストされた非キーフレームを生成する。消失したエッジマップにおける動きを考慮することによって、さらなる改善が実現可能である。動き補償は、非キーフレームのエッジ情報の予測を生成するため、キーフレームのエッジ情報について適用可能である。図17に示されるように例えば、図6の実施例が再び参照される、再構成されたキーフレームgが、ダウンサンプリングされたフレームを生成するためダウンサンプリングされる1710。その後、それは、にアップサンプリングされる1720。第1加算器1730は、エッジマップを生成する。エッジマップは、動き補償されたエッジマップを生成するため処理される1740。エッジマップの動きベクトルは、動き補償された時間補間と同様の方法により導出可能である。第2加算器1750は、動き補償されたエッジマップを用いてを加え、エッジエンハンストされた非キーフレームを生成する。例えば、図8の実施例を参照して、フィルタリング/動き補償が、第1加算器とアップサンプラ820との間で、又はアップサンプラ820と第2加算器840との間で適用可能である。図9の実施例を参照して、フィルタリング/動き補償は、アップサンプラ920の前後に適用可能である。図10の実施例を参照して、フィルタリング/動き補償は、乗算器1040,1080の前後に適用可能である。図7は、上述されたように、主題の比較による具体例を示した。図18は、PSNRPeakSignal-to-NoiseRatioを用いた時間エッジエンハンスメントありとなしの客観的な品質比較を示す。本例では、Type-IAssistedFrameメタデータが利用され、ダウンサンプルレシオは4×4である。キーフレームと非キーフレームとの双方が、H.264/AVCを用いて符号化及び復号化される。当該処理は、図11の図に続く。式4に指定される一方向時間エッジ補償と、式7に指定される双方向時間エッジ補償との双方が、後処理のないケースと比較される。メタデータに基づく技術の圧縮効率性に関して、メタデータのビットレートは、ソースシーケンスの符号化構造及び特性に依存する。一般に、メタデータのビットレートは、メタデータの解像度にほぼ比例する。圧縮されたストリームのフレーム数は、メタデータにより表されるフレーム数に等しい。メタデータは、圧縮されたストリームと同一の符号化構造に符号化される。圧縮されたストリームは、ソースフレームをフル解像度に符号化し、メタデータは、サブサンプリングされた解像度にソースフレームを符号化する。メタデータが2×2のダウンサンプリングレシオにより表される場合、メタデータは、圧縮されたストリームのビットレートの約25を追加する。メタデータが4×4のダウンサンプリングレシオにより表される場合、メタデータは、圧縮されたストリームの約6.25のビットレートを追加する。このパーセンテージは、メタデータを符号化するのにより多くのBフレームが利用される場合、さらに減少可能である。本開示によるエッジエンハンスメント方法は、追加的なメタデータを送信することなく視覚的品質を向上させることが可能である。図7において、ダウンサンプリングレシオ4×4の具体例が示された。データのオーバヘッドは、特に結果としての効果を取得するためデコーダ及びポストプロセッサに要求される低いコンプレクシティを考慮して、画質の向上が与えられるときに許容されることは、当業者に理解されるであろう。本開示はまた、キーフレーム/非キーフレームの区別に限定されない実施例に関する。例えば、本出願の説明及び図面に示される実施例はまた、現在のフレームがそれの高周波数成分又はエッジを処理チェーンにおいて消失した場合に適用可能であり、その後、近傍フレームが十分な高周波数成分又はエッジを利用可能にすることを仮定すると、それは近傍フレームの対応する成分によりエンハンスされる。本開示に説明される方法及びシステムは、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせにより実現されてもよい。ブロック、モジュール又はコンポーネントとして説明される特徴は、一緒になって例えば、集積論理デバイスなどの論理デバイスなどに又は別々に例えば、別々の接続された論理デバイスなどにより実現されてもよい。本開示の方法のソフトウェア部分は、実行されると、少なくとも部分的に開示された方法を実行する命令を有するコンピュータ可読媒体から構成されてもよい。コンピュータ可読媒体は、例えば、RAMRandomAccessMemory及び/又はROMRead-OnlyMemoryなどから構成されてもよい。命令は、プロセッサ例えば、デジタル信号プロセッサDSP、特定用途向け集積回路ASIC又はフィールドプログラマブルロジックアレイFPGAなどにより実行されてもよい。上述された具体例は、本開示のメタデータによる時間スケーリングのエッジエンハンスメントの実施例を生成及び利用する方法の完全な開示及び説明を当業者に提供するために与えられたものであり、発明者がそれらの開示とみなすものの範囲を限定することを意図するものでない。本開示を実行するための上述されたモードの改良は、ビデオの分野の当業者により利用されてもよく、以下の請求項の範囲内であると意図される。明細書に記載されたすべての特許及び刊行物は、本開示が属する分野における当業者のレベルを示すものであってもよい。本開示において引用されたすべての参考文献は、各参考文献が個々に参照することによってそのすべてが援用されるような同一の範囲を参照することによって援用される。本開示は特定の方法又はシステムに限定されず、もちろん、変更可能であることが理解されるべきである。また、ここで用いられる用語は、特定の実施例を説明するためのものであり、限定的であることを意図するものでないことが理解されるべきである。本明細書及び添付した請求項に用いられるように、単数形のある及びそのという表現は、コンテンツが明らかにそうでないことを示さない場合、複数の参照を含む。複数のという用語は、コンテンツが明らかにそうでないことを示さない場合、2以上の参照を含む。そうでないと定義されていない場合、ここに用いられるすべての技術的及び科学的用語は、本開示が属する当業者によって通常理解されるものと同じ意味を有する。本開示のいくつかの実施例が説明された。にもかかわらず、本開示の趣旨及び範囲から逸脱することなく各種変更が可能であることが理解されるであろう。従って、他の実施例は以下の請求項の範囲内である。従って、本発明は、ここに開示された、現在存在する及び/又は以降に開発された要素本発明の各種パーツ又は特徴及びこれらの均等から適切に構成されるか、又は実質的に構成されてもよい。さらに、ここに例示的に開示される本発明は、ここに具体的に開示されているか否かに関係なく、何れかの要素がなくても実施されてもよい。明らかに、本発明の多数の変更及び変形は、上記教示に基づき可能である。従って、本発明は、添付した請求項の範囲内において、ここに具体的に記載された以外により実施されてもよいことが理解されるべきである。従って、本発明は、限定されることなく、本発明のいくつかの部分の構成、特徴及び機能を開示した以下のEEEEnumeratedExampleEmbodimentsを含む、ここに開示された形式の何れかにより実現されてもよい。EEE1.画像の非キーフレームを前記画像の近傍のキーフレームを介し後処理する方法であって、ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されるキーフレームをダウンサンプリングするステップと、アップサンプリングされた再構成されたキーフレームを生成するため、前記ダウンサンプリングされた再構成されたキーフレームをアップサンプリングするステップと、前記再構成されたキーフレームと前記アップサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、前記再構成された非キーフレームを補償するため、再構成された非キーフレームに前記差分を加えるステップと、を有する方法。EEE2.前記再構成されたキーフレームと前記アップサンプリングされた再構成されたキーフレームとの間の差分は、前記再構成された非キーフレームに加える前にフィルタリングされる、請求項1記載の方法。EEE3.前記再構成されたキーフレームと前記アップサンプリングされた再構成されたキーフレームとの間の差分は、前記再構成された非キーフレームに加える前に動き補償される、請求項1記載の方法。EEE4.画像の非キーフレームを前記画像のキーフレームを介し処理する方法であって、ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されたキーフレームをダウンサンプリングするステップと、前記ダウンサンプリングされた非キーフレームとダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、アップサンプリングされた差分を生成するため、前記差分をアップサンプリングするステップと、前記再構成されたキーフレームに前記アップサンプリングされた差分を加えるステップと、を有する方法。EEE5.前記キーフレームは、前記非キーフレームの近傍のキーフレームである、請求項4記載の方法。EEE6.前記差分を生成するステップ、前記アップサンプリングするステップ及び前記加えるステップは、前記画像の復号化段階で実行される、請求項4記載の方法。EEE7.画像の非キーフレームを前記画像の近傍のキーフレームを介し処理する方法であって、前記非キーフレームと前記キーフレームとの間の差分を生成するステップと、ダウンサンプリングされた差分を生成するため、前記差分をダウンサンプリングするステップと、アップサンプリングされた差分を生成するため、前記ダウンサンプリングされた差分をアップサンプリングするステップと、前記キーフレームを再構成するステップと、前記再構成されたキーフレームに前記アップサンプリングされた差分を加えるステップと、を有する方法。EEE8.前記キーフレームは、前記非キーフレームの近傍のキーフレームである、請求項7記載の方法。EEE9.前記アップサンプリングするステップ及び前記加えるステップは、前記画像の復号化段階において実行される、請求項7記載の方法。EEE10.画像の非キーフレームを前記画像のキーフレームを介し後処理する方法であって、ダウンサンプリングされた再構成されたキーフレームを生成するため、複数の再構成されたキーフレームをダウンサンプリングするステップと、アップサンプリングされた再構成されたキーフレームを生成するため、前記ダウンサンプリングされた再構成されたキーフレームをアップサンプリングするステップと、前記再構成されたキーフレームと各自のアップサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、前記再構成された非キーフレームを補償するため、再構成された非キーフレームに前記差分の和を加えるステップと、を有する方法。EEE11.前記キーフレームは、前記非キーフレームの前の1以上のキーフレーム及び/又は前記非キーフレームの後の1以上のキーフレームを有する、請求項10記載の方法。EEE12.前記差分は、加重パラメータに基づき重み付けされた差分である、請求項10記載の方法。EEE13.前記加重パラメータは、各差分のキーフレームと前記非キーフレームとの間の時間距離に依存する、請求項12記載の方法。EEE14.前記加重パラメータは、固定的パラメータである、請求項12記載の方法。EEE15.前記加重パラメータは、現在の非キーフレームとリファレンスキーフレームとの間の差分に依存する、請求項12記載の方法。EEE16.前記加重パラメータは、適応的である、請求項12記載の方法。EEE17.前記差分の和を加えるステップは、前記キーフレームの適応的に選択されたサブセットを参照して生成される前記差分の和に限定される、請求項10記載の方法。EEE18.前記再構成された非キーフレームはさらに、以前に後処理された非キーフレームを考慮することによって補償される、請求項10記載の方法。EEE19.画像の非キーフレームを前記画像のキーフレームを介し後処理する方法であって、ダウンサンプリングされた再構成されたキーフレームを生成するため、再構成されたキーフレームをダウンサンプリングするステップと、ダウンサンプリングされた再構成された各キーフレームについて、ダウンサンプリングされた非キーフレームと前記ダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、アップサンプリングされた差分を生成するため、各差分をアップサンプリングするステップと、変更されたアップサンプリングされた差分を生成するため、アップサンプリングされた各差分に再構成された各キーフレームを加えるステップと、補償された非キーフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップと、を有する方法。EEE20.前記変更されたアップサンプリングされた差分は、加重パラメータに基づき重み付けされた変更されたアップサンプリングされた差分である、請求項19記載の方法。EEE21.前記加重パラメータは、各差分のキーフレームと前記非キーフレームとの間の時間距離に依存する、請求項20記載の方法。EEE22.前記加重パラメータは、固定的パラメータである、請求項20記載の方法。EEE23.前記加重パラメータは、現在の非キーフレームとリファレンスキーフレームとの間の差分に依存する、請求項20記載の方法。EEE24.前記加重パラメータは、適応的である、請求項20記載の方法。EEE25.画像の非キーフレームを前記画像のキーフレームを介し後処理する方法であって、再構成されたキーフレームを提供するステップと、アップサンプリングされた差分を生成するため、再構成された各キーフレームと非キーフレームとの間のダウンサンプリングされた差分をアップサンプリングするステップと、変更されたアップサンプリングされた差分を生成するため、再構成された各キーフレームにアップサンプリングされた各差分を加えるステップと、補償された非キーフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップと、を有する方法。EEE26.前記変更されたアップサンプリングされた差分は、加重パラメータに基づき重み付けされた変更されたアップサンプリングされた差分である、請求項25記載の方法。EEE27.前記加重パラメータは、各差分のキーフレームと前記非キーフレームとの間の時間距離に依存する、請求項26記載の方法。EEE28.前記加重パラメータは、固定的パラメータである、請求項26記載の方法。EEE29.前記加重パラメータは、現在の非キーフレームとリファレンスキーフレームとの間の差分に依存する、請求項26記載の方法。EEE30.前記加重パラメータは、適応的である、請求項26記載の方法。EEE31.画像の非キーフレーム部分を前記画像の復号化中に更新するか否か評価する方法であって、第1非キーフレーム部分を提供するステップと、キーフレーム部分と前記キーフレーム部分のアップサンプリングされたバージョンとの間の差分キーフレーム部分を提供するステップと、第2非キーフレーム部分を生成するため、前記第1非キーフレーム部分に前記差分キーフレーム部分を加えるステップと、前記第2非キーフレーム部分をダウンサンプリングするステップと、前記ダウンサンプリングされた第2非キーフレーム部分とダウンサンプリングされた第1非キーフレーム部分との間の差分部分が閾値未満であるか評価するステップと、前記差分部分が前記閾値未満である場合、前記第2非キーフレーム部分に前記非キーフレーム部分を更新するステップと、前記差分部分が前記閾値未満でない場合、前記第1非キーフレーム部分を維持するステップと、を有する方法。EEE32.前記キーフレームは、前記非キーフレームの近傍フレームである、請求項31記載の方法。EEE33.前記キーフレーム部分は、前記キーフレームのピクセルであり、前記非キーフレーム部分は、前記非キーフレームのピクセルである、請求項31又は32記載の方法。EEE34.前記評価するステップは、減少する閾値により繰り返し実行される、請求項31乃至33何れか一項記載の方法。EEE35.画像の非キーフレーム部分を前記画像の復号化中に更新する方法であって、第1非キーフレーム部分を提供するステップと、キーフレーム部分と前記キーフレーム部分のアップサンプリングされたバージョンとの間の差分キーフレーム部分を提供するステップと、第2非キーフレーム部分を生成するため、前記第1非キーフレーム部分に前記差分キーフレーム部分を加えるステップと、前記第2非キーフレーム部分をダウンサンプリングするステップと、ダウンサンプリングされた第1非キーフレーム部分と前記ダウンサンプリングされた第2非キーフレーム部分との間の差分を生成するステップと、前記差分をアップサンプリングするステップと、更新された非キーフレーム部分を生成するため、前記第2非キーフレーム部分に前記アップサンプリングされた差分を加えるステップと、を有する方法。EEE36.前記キーフレームは、前記非キーフレームの近傍フレームである、請求項35記載の方法。EEE37.前記キーフレーム部分は、前記キーフレームのピクセルであり、前記非キーフレーム部分は、前記非キーフレームのピクセルである、請求項35又は36記載の方法。EEE38.画像の非キーフレーム部分に前記画像の復号化処理中に時間エッジ補償を適用するか否か評価する方法であって、前記画像のキーフレーム部分を提供するステップと、ダウンサンプリングされたキーフレーム部分を生成するため、前記キーフレーム部分をダウンサンプリングするステップと、アップサンプリングされたキーフレーム部分を生成するため、前記ダウンサンプリングされたキーフレーム部分をアップサンプリングするステップと、前記アップサンプリングされたキーフレーム部分と未補償の非キーフレーム部分との差分が閾値未満であるか評価するステップと、前記差分が前記閾値未満である場合、前記キーフレーム部分と前記アップサンプリングされたキーフレーム部分との間の差分を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、前記差分が前記閾値未満でない場合、前記非キーフレーム部分を未補償に維持するステップと、を有する方法。EEE39.前記キーフレームは、前記非キーフレームの近傍フレームである、請求項38記載の方法。EEE40.前記キーフレーム部分は、前記キーフレームのピクセルであり、前記非キーフレーム部分は、前記非キーフレームのピクセルである、請求項38又は39記載の方法。EEE41.前記評価するステップは、減少する閾値により繰り返し実行される、請求項38乃至40何れか一項記載の方法。EEE42.画像の非キーフレームに前記画像の復号化処理中に時間エッジ補償を適用するか否か評価する方法であって、前記画像の第1及び第2キーフレーム部分を提供するステップと、ダウンサンプリングされた第1及び第2キーフレーム部分を生成するため、前記画像の第1及び第2キーフレーム部分をダウンサンプリングするステップと、アップサンプリングされた第1及び第2キーフレーム部分を生成するため、前記ダウンサンプリングされた第1及び第2キーフレーム部分をアップサンプリングするステップと、前記アップサンプリングされた第1キーフレーム部分と未補償の非キーフレーム部分との間の第1差分が閾値未満であるか評価するステップと、前記アップサンプリングされた第2キーフレーム部分と前記未補償の非キーフレーム部分との間の第2差分が前記閾値未満であるか評価するステップと、前記第1差分と前記第2差分とが前記閾値未満である場合、前記第1キーフレーム部分と前記アップサンプリングされた第1キーフレーム部分との間の差分と、前記第2キーフレーム部分と前記アップサンプリングされた第2キーフレーム部分との間の差分との和を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、前記第1差分が前記閾値未満であり、前記第2差分が前記閾値未満でない場合、前記第1キーフレーム部分と前記アップサンプリングされた第1キーフレーム部分との間の差分を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、前記第1差分が前記閾値未満でなく、前記第2差分が前記閾値未満である場合、前記第2キーフレーム部分と前記アップサンプリングされた第2キーフレーム部分との間の差分を前記非キーフレーム部分に加えることによって、前記非キーフレーム部分を補償するステップと、前記第1差分と前記第2差分とが前記閾値未満でない場合、前記非キーフレーム部分を未補償に維持するステップと、を有する方法。EEE43.前記第1及び第2キーフレームは、前記非キーフレームの近傍フレームである、請求項42記載の方法。EEE44.前記キーフレーム部分は、前記キーフレームのピクセルであり、前記非キーフレーム部分は、前記非キーフレームのピクセルである、請求項42又は43記載の方法。EEE45.前記評価するステップは、減少する閾値により繰り返し実行される、請求項42乃至44何れか一項記載の方法。EEE46.画像の非キーフレーム部分を前記画像の復号化中に更新するか否か評価する方法であって、第1非キーフレーム部分を提供するステップと、各キーフレーム部分と前記キーフレーム部分のアップサンプリングされたバージョンとの間の複数の差分キーフレーム部分を提供するステップと、複数の第2非キーフレーム部分を生成するため、各非キーフレーム部分に各差分キーフレーム部分を加えるステップと、各第2非キーフレーム部分をダウンサンプリングするステップと、ダウンサンプリングされた各第2非キーフレーム部分とダウンサンプリングされた第1非キーフレーム部分との間の1以上の差分部分が閾値未満であるか評価するステップと、1以上の差分部分が前記閾値未満である場合、前記非キーフレーム部分を更新し、そうでない場合、前記第1非キーフレーム部分を維持するステップと、を有する方法。EEE47.画像の非キーフレーム部分を前記画像の復号化中に更新する方法であって、第1非キーフレーム部分を提供するステップと、キーフレーム部分と前記キーフレーム部分のアップサンプリングされた各バージョンとの間の複数の差分キーフレーム部分を提供するステップと、第2非キーフレーム部分を生成するため、前記第1非キーフレーム部分に前記差分キーフレーム部分を加えるステップと、前記第2非キーフレーム部分をダウンサンプリングするステップと、ダウンサンプリングされた第1非キーフレーム部分と前記ダウンサンプリングされた第2非キーフレーム部分との間の差分を生成するステップと、前記差分をアップサンプリングするステップと、更新された非キーフレーム部分を生成するため、前記第2非キーフレーム部分に前記アップサンプリングされた差分を加えるステップと、を有する方法。EEE48.前記差分キーフレームを加えるステップは、加重和である、請求項47記載の方法。EEE49.画像の再構成されたフレームを前記画像の近傍フレームを介しエンハンスする方法であって、ダウンサンプリングされた再構成されたフレームを生成するため、エンハンスされる前記フレームの再構成された近傍フレームをダウンサンプリングするステップと、アップサンプリングされた再構成されたフレームを生成するため、前記ダウンサンプリングされた再構成されたフレームをアップサンプリングするステップと、前記再構成されたフレームと前記アップサンプリングされた再構成されたフレームとの間の差分を生成するステップと、前記エンハンスされる再構成されたフレームに前記差分を加えるステップと、を有する方法。EEE50.前記エンハンスされる再構成されたフレームに前記差分を加えるステップは、前記再構成されたフレームに高周波数成分を加えることによって、前記再構成されたフレームをエンハンスする、請求項49記載の方法。EEE51.画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、ダウンサンプリングされた再構成されたフレームを生成するため、前記エンハンスされるフレームの再構成された近傍フレームをダウンサンプリングするステップと、エンハンスされるダウンサンプリングされたフレームと前記ダウンサンプリングされた再構成されたキーフレームとの間の差分を生成するステップと、アップサンプリングされた差分を生成するため、前記差分をアップサンプリングするステップと、前記再構成された近傍フレームに前記アップサンプリングされた差分を加えるステップと、を有する方法。EEE52.前記再構成された近傍フレームに前記アップサンプリングされた差分を加えるステップは、前記画像のフレームに高周波数成分を加えることによって、前記画像のフレームをエンハンスする、請求項51記載の方法。EEE53.画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、前記エンハンスされるフレームと前記近傍フレームとの間の差分を生成するステップと、ダウンサンプリングされた差分を生成するため、前記差分をダウンサンプリングするステップと、アップサンプリングされた差分を生成するため、前記ダウンサンプリングされた差分をアップサンプリングするステップと、前記近傍フレームを再構成するステップと、前記再構成された近傍フレームに前記アップサンプリングされた差分を加えるステップと、を有する方法。EEE54.前記再構成された近傍フレームに前記アップサンプリングされた差分を加えるステップは、前記画像のフレームに高周波数成分を加えることによって、前記画像のフレームをエンハンスする、請求項53記載の方法。EEE55.画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、ダウンサンプリングされた再構成された近傍フレームを生成するため、複数の再構成された近傍フレームをダウンサンプリングするステップと、アップサンプリングされた再構成された近傍フレームを生成するため、前記ダウンサンプリングされた再構成された近傍フレームをアップサンプリングするステップと、前記再構成された近傍フレームと前記アップサンプリングされた再構成された各近傍フレームとの間の差分を生成するステップと、再構成されたフレームをエンハンスするため、前記再構成されたフレームに前記差分の和を加えるステップと、を有する方法。EEE56.前記再構成されたフレームに前記差分の和を加えるステップは、前記再構成されたフレームに高周波数成分を加えることによって、前記再構成されたフレームをエンハンスする、請求項55記載の方法。EEE57.画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、ダウンサンプリングされた再構成された近傍フレームを生成するため、再構成された近傍フレームをダウンサンプリングするステップと、ダウンサンプリングされた再構成された各近傍フレームについて、エンハンスされるダウンサンプリングされたフレームと前記ダウンサンプリングされた再構成された近傍フレームとの間の差分を生成するステップと、アップサンプリングされた差分を生成するため、各差分をアップサンプリングするステップと、変更されたアップサンプリングされた差分を生成するため、アップサンプリングされた各差分に再構成された各近傍フレームを加えるステップと、エンハンスされたフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップと、を有する方法。EEE58.前記変更されたアップサンプリングされた差分を加えるステップは、前記フレームに高周波数成分を加えることによって、前記フレームをエンハンスする、請求項57記載の方法。EEE59.画像のフレームを前記画像の近傍フレームを介しエンハンスする方法であって、再構成された近傍フレームを提供するステップと、アップサンプリングされた差分を生成するため、再構成された各近傍フレームとエンハンスされるフレームとの間のダウンサンプリングされた差分をアップサンプリングするステップと、変更されたアップサンプリングされた差分を生成するため、再構成された各近傍フレームにアップサンプリングされた各差分を加えるステップと、エンハンスされたフレームを生成するため、前記変更されたアップサンプリングされた差分を一緒に加えるステップと、を有する方法。EEE60.前記変更されたアップサンプリングされた差分を加えるステップは、前記フレームに高周波数成分を加えることによって、エンハンスされたフレームを生成する、請求項59記載の方法。EEE61.請求項1乃至60何れか一項の方法による画像の1以上のフレームを処理するシステム。EEE62.画像の1以上のフレームを処理するため、請求項1乃至60何れか一項の方法の利用。EEE63.請求項1乃至60何れか一項記載の方法をコンピュータに実行させる命令セットを有するコンピュータ可読媒体。"