(57)【要約】【課題】品質向上および超解像技法のための方法、及び品質向上および超解像技法のための装置をここで広く開示することである。【解決手段】一つの実施形態では、品質向上および超解像技法のための方法は、第１の解像度にあるメディアの第１のバージョンを受け取るステップと、少なくとも１つの変換及び適応閾値判定を使用して、第１の解像度以上の第２の解像度にあるメディアの第２のバージョンを生成するステップと、を含んでいる。【選択図】図２
2011524714.tif 000002
【特許請求の範囲】
【請求項１】
第１の解像度にあるメディアの第１のバージョンを受け取るステップと、
少なくとも１つの変換及び適応閾値判定を使用して、前記第１の解像度以上の第２の解像度にある前記メディアの第２のバージョンを生成するステップと、
を含む方法。
【請求項２】
前記メディアの第２のバージョンを生成するステップが、
少なくとも１つの歪曲変換をサブフレームに適用して変換係数を生成するサブステップ
を含む、請求項１に記載の方法。
【請求項３】
前記少なくとも１つの歪曲変換が、２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を含む、請求項２に記載の方法。
【請求項４】
前記方法は、前記メディアの前記第１のバージョンをアップサンプリングすることによって生成される画像内でサブフレームを適応的に選択するステップ、をさらに含み、
前記少なくとも１つの歪曲変換をサブフレームに適用して変換係数を生成するサブステップが、前記画像内の前記選択されたサブフレームの各々に変換を適用することを含む、請求項２に記載の方法。
【請求項５】
前記サブフレームが、前記画像内の各ピクセルにおいて適応的に選択される、請求項４に記載の方法。
【請求項６】
前記少なくとも１つの歪曲変換が、２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を含む、請求項４に記載の方法。
【請求項７】
前記少なくとも１つの変換が、２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を含む、請求項１に記載の方法。
【請求項８】
前記適応閾値判定が、空間的適応閾値の適用を含む、請求項１に記載の方法。
【請求項９】
前記メディアの第２のバージョンを生成するステップが、
適応閾値を計算するサブステップと、
前記適応閾値を用いて、変換係数を閾値判定するサブステップと、
を含む、請求項１に記載の方法。
【請求項１０】
前記メディアの第２のバージョンを生成するステップが、
メディアの前記第１のバージョンをアップサンプリングして、アップサンプリングされた画像を生成するサブステップと、
各サブフレームに対する変換を使用して、前記アップサンプリングされた画像内のサブフレームを変換するサブステップと、
適応閾値を用いて、変換された各サブフレームの変換係数を閾値判定するサブステップと、
前記閾値判定された変換係数を逆変換して、ピクセル領域において処理されたサブフレームを形成するサブステップと、
前記処理されたサブフレームを組み合わせて、新しいフレームを生成するサブステップと、
前記新しいフレームにデータ一貫性操作を適用するサブステップと、
を含む、請求項１に記載の方法。
【請求項１１】
前記変換が、２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を含む、請求項１０に記載の方法。
【請求項１２】
前記方法は、
あらゆるピクセルにおいて正規となるように、前記サブフレームを設定するステップをさらに含む、請求項１１に記載の方法。
【請求項１３】
前記方法は、
あらゆるピクセルにおいて正規となるように、前記サブフレームを設定するステップをさらに含む、請求項１０に記載の方法。
【請求項１４】
前記方法は、
各サブフレームに対する変換を適応的に選択するステップをさらに含む、請求項１０に記載の方法。
【請求項１５】
前記方法は、
前記アップサンプリングされた画像内の各ピクセルにおいて、サブフレームを適応的に選択するステップをさらに含む、請求項１０に記載の方法。
【請求項１６】
前記アップサンプリングされた画像内のサブフレームを変換するサブステップが、前記選択されたサブフレームに変換を適用することを含み、前記変換が、２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を含む、請求項１５に記載の方法。
【請求項１７】
前記方法は、１つ以上の適応閾値を計算するステップをさらに含み、
適応閾値を用いて、変換された各サブフレームの変換係数を閾値判定するサブステップが、前記１つ以上の適応閾値のうちの１つを用いて、変換された各サブフレームの変換係数を閾値判定することを含む、請求項１０に記載の方法。
【請求項１８】
前記方法は、
各ピクセルにおいて選択されたサブフレームに対する前記変換を適応的に選択するステップをさらに含む、請求項１７に記載の方法。
【請求項１９】
前記方法は、
各ピクセルにおいて選択されたサブフレームに対する前記変換を適応的に選択するステップをさらに含む、請求項１０に記載の方法。
【請求項２０】
前記方法は、
サイド情報を送るステップをさらに含む、請求項１０に記載の方法。
【請求項２１】
前記方法は、
前記メディアの前記第２のバージョンを生成するのに使用された操作を反復的に繰り返して、前記メディアの第３のバージョンを生成するステップをさらに含む、請求項１に記載の方法。
【請求項２２】
前記メディアの第２のバージョンを生成するステップが、
メディアの前記第１のバージョンをアップサンプリングするサブステップと、
前記アップサンプリングされた画像内の各ピクセルに対してサブフレームを適応的に選択するサブステップと、
変換を使用して、選択された各サブフレームを変換するサブステップであって、前記変換が、２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を含む、サブステップと、
前記変換係数を閾値判定するサブステップと、
前記閾値判定された変換係数を逆変換して、ピクセル領域において処理されたサブフレームを形成するサブステップと、
前記処理されたサブフレームを組み合わせて、新しいフレームを生成するサブステップと、
前記メディアの前記第１のバージョンよりも高い解像度にある前記メディアの第２のバージョンが生成されるように、前記新しいフレームにデータ一貫性操作を適用するサブステップと
を含む、請求項１に記載の方法。
【請求項２３】
前記メディアの前記第１のバージョンが、カメラによって生成される、請求項２２に記載の方法。
【請求項２４】
前記変換が、歪曲変換である、請求項２２に記載の方法。
【請求項２５】
前記第１の解像度にあるメディアの前記第１のバージョンが、ビデオ復号器において生成され、前記メディアの前記第２のバージョンを生成するステップが、前記ビデオ復号器における後処理操作の一部として実行される、請求項１に記載の方法。
【請求項２６】
前記第１の解像度にあるメディアの前記第１のバージョンが、ビデオ復号器において生成され、前記メディアの前記第２のバージョンを生成するステップが、前記ビデオ復号器におけるループフィルタによって一部として実行される、請求項１に記載の方法。
【請求項２７】
メディアの前記第１のバージョンが、ワイヤレス通信システムにおいて送信されたことに応答して、モバイルデバイスによって受信され、
前記方法は、前記メディアの前記第２のバージョンを、表示のために高解像度ディスプレイに送るステップ、をさらに含む、請求項１に記載の方法。
【請求項２８】
前記モバイルデバイスが、前記第２のバージョンを生成し、前記第２のバージョンを前記高解像度ディスプレイに送る、請求項２７に記載の方法。
【請求項２９】
前記モバイルデバイスが、前記第１のバージョンをドッキングステーションに送り、前記ドッキングステーションが、前記第２のバージョンを生成し、前記第２のバージョンを前記高解像度ディスプレイに送る、請求項２７に記載の方法。
【請求項３０】
メディアの前記第１のバージョンが、ネットワークを介して端末によって受信されたビデオであり、前記端末が、表示のために前記第２のバージョンを生成する、請求項１に記載の方法。
【請求項３１】
各サブフレームに対する変換を使用して、画像内のサブフレームを変換するステップと、
適応閾値を用いて、変換された各サブフレームの変換係数を閾値判定するステップと、
前記閾値判定された変換係数を逆変換して、ピクセル領域において処理されたサブフレームを形成するステップと、
前記処理されたサブフレームを組み合わせて、新しいフレームを生成するステップと
を含む方法。
【請求項３２】
前記変換が、歪曲変換である、請求項３１に記載の方法。
【請求項３３】
前記方法は、
第１の解像度にある前記メディアの第１のバージョンをアップサンプリングして、前記画像を生成するステップ
をさらに含む、請求項３１に記載の方法。
【請求項３４】
前記方法は、
前記新しいフレームにデータ一貫性操作を適用するステップ
をさらに含む、請求項３３に記載の方法。
【請求項３５】
前記方法は、
あらゆるピクセルにおいて正規となるように、前記サブフレームを設定するステップをさらに含む、請求項３１に記載の方法。
【請求項３６】
前記方法は、
各サブフレームに対する変換を適応的に選択するステップをさらに含む、請求項３１に記載の方法。
【請求項３７】
前記方法は、
前記アップサンプリングされた画像内の各ピクセルにおいて、サブフレームを適応的に選択するステップをさらに含む、請求項３１に記載の方法。
【請求項３８】
前記アップサンプリングされた画像内のサブフレームを変換するステップが、前記選択されたサブフレームに２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を適用するサブステップを含む、請求項３７に記載の方法。
【請求項３９】
前記方法は、１つ以上の適応閾値を計算するステップ、をさらに含み、
適応閾値を用いて、変換された各サブフレームの変換係数を閾値判定するステップが、前記１つ以上の適応閾値のうちの１つを用いて、変換された各サブフレームの変換係数を閾値判定するサブステップを含む、請求項３１に記載の方法。
【請求項４０】
前記方法は、
各ピクセルにおいて選択されたサブフレームに対する前記変換を適応的に選択するステップをさらに含む、請求項３９に記載の方法。
【請求項４１】
前記方法は、
各ピクセルにおいて選択されたサブフレームに対する前記変換を適応的に選択するステップをさらに含む、請求項３１に記載の方法。
【請求項４２】
前記方法は、
サイド情報を送るステップをさらに含む、請求項３１に記載の方法。
【請求項４３】
変換を使用して、選択された各サブフレームを変換するステップであって、前記変換が、２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を含む、ステップと、
非適応閾値を使用して変換係数を閾値判定するステップと、
前記閾値判定された変換係数を逆変換して、ピクセル領域において処理されたサブフレームを形成するステップと、
前記処理されたサブフレームを組み合わせて、新しいフレームを生成するステップと
を含む方法。
【請求項４４】
前記方法は、
メディアの第１のバージョンをアップサンプリングするステップと、
前記アップサンプリングされた画像内の各ピクセルに対して、サブフレームを適応的に選択するステップと
をさらに含む、請求項４３に記載の方法。
【請求項４５】
前記方法は、
前記新しいフレームにデータ一貫性操作を適用するステップ
をさらに含む、請求項４３に記載の方法。
【請求項４６】
前記選択された各サブフレームが、ビデオ復号器において生成され、前記新しいフレームを生成するステップが、前記ビデオ復号器における後処理操作の一部として実行される、請求項４３に記載の方法。
【請求項４７】
前記選択された各サブフレームが、ビデオ復号器において生成され、前記新しいフレームを生成するステップが、前記ビデオ復号器におけるループフィルタによって一部として実行される、請求項４３に記載の方法。
【請求項４８】
前記選択された各サブフレームが、ワイヤレス通信システムにおいて送信されたことに応答して、モバイルデバイスによって受信され、前記新しいフレームを、表示のために高解像度ディスプレイに送るステップをさらに含む、請求項４３に記載の方法。
【請求項４９】
前記モバイルデバイスが、前記新しいフレームを生成し、前記新しいフレームを前記高解像度ディスプレイに送る、請求項４８に記載の方法。
【請求項５０】
前記モバイルデバイスが、前記選択された各サブフレームをドッキングステーションに送り、前記ドッキングステーションが、前記新しいフレームを生成し、前記新しいフレームを前記高解像度ディスプレイに送る、請求項４８に記載の方法。
【請求項５１】
前記選択された各サブフレームが、ネットワークを介して端末によって受信されたビデオの一部であり、前記端末が、表示のために前記新しいフレームを生成する、請求項４３に記載の方法。
【請求項５２】
システムによって実行された場合に、前記システムに
第１の解像度にあるメディアの第１のバージョンを受け取るステップと、
少なくとも１つの変換及び適応閾値判定を使用して、前記第１の解像度以上の第２の解像度にある前記メディアの第２のバージョンを生成するステップと、
を含む方法、
を実行させる命令を保存する１つ又は複数のコンピュータ可読記憶媒体を有する製造品。
【請求項５３】
前記メディアの第２のバージョンを生成するステップが、サブフレームに変換を適用して、変換係数を生成するサブステップであって、
前記変換が、２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を含む、サブステップを含む、請求項５２に記載の製造品。
【請求項５４】
前記方法が、前記メディアの前記第１のバージョンをアップサンプリングすることによって生成される画像内でサブフレームを適応的に選択するステップをさらに含み、
少なくとも１つの歪曲変換をサブフレームに適用して、変換係数を生成するサブステップが、前記画像内の前記選択されたサブフレームの各々に変換を適用することであって、前記変換が、２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を含む、変換すること、を含む、請求項５３に記載の製造品。
【請求項５５】
前記サブフレームが、前記画像内の各ピクセルにおいて適応的に選択される、請求項５４に記載の製造品。
【請求項５６】
前記適応閾値が、空間的適応閾値を含む、請求項５２に記載の製造品。
【請求項５７】
前記メディアの第２のバージョンを生成するステップが、
適応閾値を計算するサブステップと、
前記適応閾値を用いて、変換係数を閾値判定するサブステップと、
を含む、請求項５２に記載の製造品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に、画像／ビデオ信号処理に関する。より詳細には、本発明は、画像／ビデオ信号の品質を向上させること、及び／又は画像／ビデオ信号の空間解像度を増加させることに関する。
【背景技術】
【０００２】
今日、画像及びビデオ信号処理が、多くの用途で広く使用されている。特定の解像度の画像又はビデオが必要とされているのに、より低い解像度の画像又はビデオしか利用可能でないことがしばしばある。そのような場合に、より低い解像度のバージョンを使用して、より高い解像度の画像を生成するために使用される方法が数多く存在する。これらの既存の方法は、より低い解像度の画像又はビデオに、線形補間フィルタ又は単純な非線形補間フィルタを適用することを含む。
【０００３】
線形又は非線形補間フィルタの使用の例は、Ｇｏｎｚａｌｅｚ  ＆  Ｗｏｏｄｓ、「Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ」、Ｐｅａｒｓｏｎ  Ｅｄｕｃａｔｉｏｎ、２ｎｄ  Ｅｄｉｔｉｏｎにおいて説明されているような双線形補間フィルタ、ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６４  ＆  ＩＳＯ／ＩＥＣ  １４４９６−１０  （ＭＰＥＧ−４）  ＡＶＣ、「Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  ｆｏｒ  Ｇｅｎｅｒｉｃ  Ａｕｄｉｏｖｉｓｕａｌ  Ｓｅｒｖｉｃｅｓ」、ｖｅｒｓｉｏｎ  ３：  ２００５において説明されている線形補間フィルタ、及びＶａｔｉｓ  ＆  Ｏｓｔｅｒｍａｎｎ、「Ｌｏｃａｌｌｙ  Ａｄａｐｔｉｖｅ  Ｎｏｎ−Ｓｅｐａｒａｂｌｅ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ  Ｆｉｌｔｅｒ  ｆｏｒ  Ｈ．２６４／ＡＶＣ」、ＩＥＥＥ  ＩＣＩＰ、Ｏｃｔ．  ２００６において説明されている分離不能補間フィルタを含む。しかし、これら３つの技法の各々は、滑らかに変化するピクセル値を有する画像／ビデオフレームに適用可能である。その理由は、それらは滑らかな画像モデルを使用して導出されており、フィルタは一般にローパスフィルタに制限されるからである。したがって、それらの技法は、斜めエッジ、テクスチャなど、多くのタイプの領域に適用可能でない。さらに、少なくともＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６４及びＶａｔｉｓ  ＆  Ｏｓｔｅｒｍａｎｎに関して、それらの技法は、現在フレームを予測するために、ピクセルの分数だけシフトされた先行フレーム（複数可）が使用される、ビデオ圧縮用途にのみ適用可能である。
【０００４】
また、画像／ビデオの解像度を増加させるための、非常に単純な変換に基づいた方法が存在するが、非常に多くの反復を必要とする。そのような例の１つが、Ｇｕｌｅｒｙｕｚ、「Ｐｒｅｄｉｃｔｉｎｇ  Ｗａｖｅｌｅｔ  Ｃｏｅｆｆｉｃｉｅｎｔｓ  Ｏｖｅｒ  Ｅｄｇｅｓ  Ｕｓｉｎｇ  Ｅｓｔｉｍａｔｅｓ  Ｂａｓｅｄ  ｏｎ  Ｎｏｎｌｉｎｅａｒ  Ａｐｐｒｏｘｉｍａｎｔｓ」、Ｐｒｏｃ．  Ｄａｔａ  Ｃｏｍｐｒｅｓｓｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ、Ａｐｒｉｌ  ２００４において説明されている。
【０００５】
しかし、この技法は、斜めエッジ及びテクスチャには適用可能でない様々な単純化が施されたブロック変換に限定され、良好な品質を得るには基本方法の反復を数多く必要とし、複雑度がひどく高い。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Ｇｏｎｚａｌｅｚ  ＆  Ｗｏｏｄｓ、「Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ」、Ｐｅａｒｓｏｎ  Ｅｄｕｃａｔｉｏｎ、２ｎｄ  Ｅｄｉｔｉｏｎ
【非特許文献２】ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６４  ＆  ＩＳＯ／ＩＥＣ  １４４９６−１０  （ＭＰＥＧ−４）  ＡＶＣ、「Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  ｆｏｒ  Ｇｅｎｅｒｉｃ  Ａｕｄｉｏｖｉｓｕａｌ  Ｓｅｒｖｉｃｅｓ」、ｖｅｒｓｉｏｎ  ３：  ２００５
【非特許文献３】Ｖａｔｉｓ  ＆  Ｏｓｔｅｒｍａｎｎ、「Ｌｏｃａｌｌｙ  Ａｄａｐｔｉｖｅ  Ｎｏｎ−Ｓｅｐａｒａｂｌｅ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ  Ｆｉｌｔｅｒ  ｆｏｒ  Ｈ．２６４／ＡＶＣ」、ＩＥＥＥ  ＩＣＩＰ、Ｏｃｔ．  ２００６
【非特許文献４】Ｇｕｌｅｒｙｕｚ、「Ｐｒｅｄｉｃｔｉｎｇ  Ｗａｖｅｌｅｔ  Ｃｏｅｆｆｉｃｉｅｎｔｓ  Ｏｖｅｒ  Ｅｄｇｅｓ  Ｕｓｉｎｇ  Ｅｓｔｉｍａｔｅｓ  Ｂａｓｅｄ  ｏｎ  Ｎｏｎｌｉｎｅａｒ  Ａｐｐｒｏｘｉｍａｎｔｓ」、Ｐｒｏｃ．  Ｄａｔａ  Ｃｏｍｐｒｅｓｓｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ、Ａｐｒｉｌ  ２００４
【発明の概要】
【０００７】
品質向上／超解像技法のための方法及び装置が、本明細書において開示される。一実施形態では、この方法は、第１の解像度にあるメディアの第１のバージョンを受け取るステップと、少なくとも１つの変換及び適応閾値判定（ａｄａｐｔｉｖｅ  ｔｈｒｅｓｈｏｌｄｉｎｇ）を使用して、第１の解像度以上の第２の解像度にあるメディアの第２のバージョンを生成するステップとを含む。
【図面の簡単な説明】
【０００８】
【図１Ａ】メディアの品質向上／超解像を実行するためのプロセスの一実施形態のフロー図である。
【図１Ｂ】圧縮ビデオのための品質向上／超解像技法の一実施形態の適用シナリオを説明するシステムのブロック図である。
【図１Ｃ】非圧縮ビデオのための品質向上／超解像技法の一実施形態の適用シナリオを説明するシステムのブロック図である。
【図２】品質を向上させ、及び／又は解像度を増加させるためのプロセスの一実施形態のフロー図である。
【図３】アップサンプリングプロセスの一実施形態のフロー図である。
【図４Ａ】サブフレームタイプのライブラリに対応するマスクの例を示す図である。
【図４Ｂ】サブフレームタイプのライブラリに対応するマスクの例を示す図である。
【図４Ｃ】サブフレームタイプのライブラリに対応するマスクの例を示す図である。
【図４Ｄ】サブフレームタイプのライブラリに対応するマスクの例を示す図である。
【図４Ｅ】サブフレームタイプのライブラリに対応するマスクの例を示す図である。
【図４Ｆ】サブフレームタイプのライブラリに対応するマスクの例を示す図である。
【図４Ｇ】サブフレームタイプのライブラリに対応するマスクの例を示す図である。
【図４Ｈ】サブフレームタイプのライブラリに対応するマスクの例を示す図である。
【図４Ｉ】サブフレームタイプのライブラリに対応するマスクの例を示す図である。
【図４Ｊ】サブフレームタイプのライブラリに対応するマスクの例を示す図である。
【図４Ｋ】サブフレームタイプのライブラリに対応するマスクの例を示す図である。
【図４Ｌ】サブフレームタイプのライブラリに対応するマスクの例を示す図である。
【図４Ｍ】サブフレームタイプのライブラリに対応するマスクの例を示す図である。
【図５】ピクセルがラスタスキャン順に採番された場合の、ピクセルｉにおけるサブフレームｚｉの一例を示す図である。
【図６】サブフレーム選択処理の一実施形態のフロー図である。
【図７】サブフレームのための変換選択プロセスの一実施形態のフロー図である。
【図８】変換係数を閾値判定するための閾値判定プロセスの一実施形態のフロー図である。
【図９】単調減少階段関数を示す図である。
【図１０】サブフレームを組み合わせてフレームを形成するためのプロセスの一実施形態のフロー図である。
【図１１】データ一貫性（ｄａｔａ  ｃｏｎｓｉｓｔｅｎｃｙ）操作の一実施形態のデータフロー図である。
【図１２】例示的なコンピュータシステムのブロック図である。
【図１３Ａ】選択されたピクセルのサンプルサブセットを示す図である。
【図１３Ｂ】選択されたピクセルのサンプルサブセットを示す図である。
【図１３Ｃ】選択されたピクセルのサンプルサブセットを示す図である。
【図１３Ｄ】選択されたピクセルのサンプルサブセットを示す図である。
【図１３Ｅ】選択されたピクセルのサンプルサブセットを示す図である。
【発明を実施するための形態】
【０００９】
本発明は、以下で与えられる詳細な説明と、本発明の様々な実施形態についての添付の図面から、より十分に理解されるが、それらは、本発明を特定の実施形態に限定するものと見なされるべきではなく、説明及び理解を目的としたものにすぎない。
【００１０】
ビデオ及び／又は画像の品質を向上させるための向上技法が説明される。一実施形態では、当該技法は、低解像度入力画像及び／又はビデオにそれぞれ対応する高解像度画像及び／又はビデオを生成するための超解像（ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ）技法としても機能する。一実施形態では、これは、低解像度画像及び／又はビデオ内の各ピクセル位置に対して多数のピクセル位置を追加することによって達成される。本明細書の目的では、追加されるピクセル位置は、補間位置として知られ、低解像度画像に由来する位置は、オリジナル位置として知られる。
【００１１】
以下の説明では、本発明のより徹底した説明を提供するために、多くの細部が説明される。しかし、これらの特定の細部がなくても本発明を実施できることは、当業者には明らかであろう。他の例では、よく知られた構造及びデバイスは、本発明を不明瞭にすることを避けるため、詳細に示す代わりに、ブロック図形式で示される。以下の詳細な説明のいくつかの部分は、アルゴリズム及びコンピュータメモリ内のデータビットに施される操作のシンボル表現によって提示される。これらのアルゴリズムによる説明及び表現は、仕事の内容を他の当業者に最も効率的に伝えるために、データ処理分野の当業者によって使用される手段である。アルゴリズムは、ここでは、また一般には、所望の結果をもたらす自己矛盾のないステップの系列であると見なされる。ステップは、物理量の物理的操作を必要とするステップである。必ずしも必要ではないが通常は、これらの量は、保存、転送、組合せ、比較、及び他の操作が可能な電気的又は磁気的信号の形態をとる。主に共通的使用の理由から、これらの信号をビット、値、要素、シンボル、文字、項、又は数などと呼ぶことが時に便利であることが分かっている。しかし、上記及び類似の用語のすべては、適切な物理量に関連付けられ、これらの量に適用される単に便利なラベルにすぎないことに留意すべきである。別途具体的に述べられない限り、以下の説明から明らかなように、説明の全体にわたって、「処理する」又は「計算する」又は「算出する」又は「決定する」又は「表示する」などの用語を利用した説明は、コンピュータシステムのレジスタ及びメモリ内の物理（電子的）量として表現されたデータを操作及び変形して、コンピュータシステムのメモリ若しくはレジスタ内の、又は他のそのような情報ストレージ、伝送、若しくは表示デバイス内の物理量として同様に表現される他のデータにする、コンピュータシステム又は類似の電子コンピューティングデバイスの動作及びプロセスに言及していることが理解される。
【００１２】
本発明は、本明細書の操作を実行するための装置にも関する。この装置は、必要とされる目的のために特別に構成することができ、又はコンピュータ内に保存されたコンピュータプログラムによって選択的に活動化又は再構成される汎用コンピュータを備えることができる。そのようなコンピュータプログラムは、フロッピディスク、光ディスク、ＣＤ−ＲＯＭ、及び光磁気ディスクを含む任意のタイプのディスク、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気若しくは光カード、又は電子的命令を保存するのに適した任意のタイプの媒体などの、しかしそれらに限定されない、各々がコンピュータシステムバスに結合される、コンピュータ可読記憶媒体内に保存することができる。
【００１３】
本明細書で提示されるアルゴリズム及び表示は、どの特定のコンピュータ又は他の装置にも本質的に関係しない。様々な汎用システムが、本明細書の教示によるプログラムとともに使用でき、又は必要とされる方法ステップを実行するためのより専門的な装置を構成したほうが便利であると分かることもある。様々なこれらのシステムに必要とされる構造は、以下の説明から明らかとなる。加えて、本発明は、いずれか特定のプログラミング言語を参照して説明されることはない。本明細書で説明される本発明の教示を実施するために、様々なプログラミング言語を使用できることが理解できよう。
【００１４】
機械可読媒体は、機械（例えばコンピュータ）によって可読な形式で情報を保存又は伝送するための任意の機構を含む。例えば、機械可読媒体は、リードオンリメモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、電気、光、音響、又は他の形態の伝搬信号（例えば、搬送波、赤外線信号、デジタル信号など）などを含む。
【００１５】
概要
メディア（例えば、画像、ビデオなど）のための高速で高性能の品質向上及び／又は超解像技法が開示される。これらの技法は、低品質、低解像度の画像及びビデオから、高品質、高解像度（必要であれば）のメディア（例えば、画像、ビデオなど）を描画することを可能にする。一実施形態では、これらの技法は、ビデオシーケンスの高品質な超解像再構成（ズーミング）を可能にする。
【００１６】
一実施形態では、超解像技法として、歪曲変換（ｗａｒｐｅｄ  ｔｒａｎｓｆｏｒｍ）及び適応閾値判定を使用して、より高い解像度のメディアが生成される。歪曲変換の場合、エッジと一致するように変換が歪められ、方向性エッジ（ｄｉｒｅｃｔｉｏｎａｌ  ｅｄｇｅ）及びコーナにおいてスパース表現（ｓｐａｒｓｅ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）をもたらす。歪曲変換の使用は、従来技術の技法と比較した場合、方向性エッジ及びコーナに沿って、鮮明さの増加をもたらす。一実施形態では、最高品質の出力ビデオを描画するため、局所エッジ方向に基づいて、歪曲変換が選択される。この選択は、ピクセルごとに独立に、又はピクセルのブロックに対して一緒に行うことができる。ブロックサイズの例は、２×２、３×３、４×４、２×４、４×２などである。
【００１７】
空間適応閾値の使用は、局所信号統計値による閾値の調節を可能にし、それが、２回の反復だけで非常に高い品質を達成することを可能にする。これは、同様の品質を達成するのに数１０回の反復を必要とするいくつかの従来技法の反復回数よりもはるかに少ない。
【００１８】
図１Ａは、メディアの品質向上／超解像再構成を実行するためのプロセスの一実施形態のフロー図である。プロセスは、ハードウェア（回路、専用ロジックなど）、（汎用コンピュータシステム若しくは専用機械上で実行される）ソフトウェア、又は両方の組合せを含むことができる、処理ロジックによって実行される。
【００１９】
図１Ａを参照すると、プロセスは、処理ロジックが、第１の解像度にあるメディア（例えば、画像、ビデオなど）の第１のバージョンを受け取ることによって開始する（処理ブロック１３０）。メディアの第１のバージョンを受け取った後、処理ロジックは、少なくとも１つの歪曲変換及び適応閾値判定を使用して、第１の解像度以上の第２の解像度にあるメディアの第２のバージョンを生成する（処理ブロック１３１）。一実施形態では、第２のバージョンの生成は、反復プロセスの結果として生じる。一実施形態では、反復プロセスは、わずか２回の反復で完了する。
【００２０】
一実施形態では、メディアの第２のバージョンを生成することは、変換係数を生成するために、サブフレームに少なくとも１つの歪曲変換（例えば２Ｄ分離可能ＤＣＴ）を適用することによって実行される。一実施形態では、その方法は、変換係数を生成するために、サブフレームに歪曲変換を適用することが、画像内の選択されたサブフレームの各々に変換を適用することを含むように、メディアの第１のバージョンをアップサンプリングすることによって生成された画像内でサブフレームを適応的に選択することを含む。一実施形態では、サブフレームは、画像内の各ピクセルにおいて適応的に選択される。一実施形態では、適応閾値判定は、空間適応閾値の適用を含み、メディアの第２のバージョンを生成することは、適応閾値を計算することと、適応閾値を用いて変換係数を閾値判定することを含む。
【００２１】
一実施形態では、超解像技法は、２Ｄフィルタを選択し、その２Ｄフィルタを使用して入力画像／ビデオフレームをアップサンプリングすることと、アップサンプリングされたフレームの任意のピクセルで開始するサブフレームを選択し、アップサンプリングされたフレーム内の各ピクセルにおいてサブフレームを形成し、そのサブフレームに対してピクセル適応歪曲変換を適用することと、各サブフレームのためのディテール保存適応閾値（ｄｅｔａｉｌ−ｐｒｅｓｅｒｖｉｎｇ  ａｄａｐｔｉｖｅ  ｔｈｒｅｓｈｏｌｄ）を導出し、硬閾値判定（例えば、変換係数の大きさが閾値よりも小さい場合はゼロに設定される）又は軟閾値判定などの他の方法を使用して、このサブフレームの変換係数を閾値判定し、処理されたサブフレームを形成するために、閾値判定された変換係数に逆変換を適用することと、アップサンプリングされたフレームのより良い推定を取得するために、処理されたサブフレームに対して組合せ操作を実行することと、アップサンプリングされたフレームと入力フレームの間のデータ一貫性を達成するために、アップサンプリングされたフレームに対して補正操作を任意選択的に実行することと、を含む。これらの操作は、１回の反復で構成され、超解像推定をもたらす。一実施形態では、超解像推定をさらに精緻化するため、サブフレーム選択から補正までの操作が繰り返される。
【００２２】
一実施形態では、品質向上技法は、入力画像／ビデオフレームの任意のピクセルで開始するサブフレームを選択し、入力フレーム内の各ピクセルにおいてサブフレームを形成し、そのサブフレームに対してピクセル適応歪曲変換を適用することと、各サブフレームのためのディテール保存適応閾値を導出し、硬閾値判定（例えば、変換係数の大きさが閾値よりも小さい場合はゼロに設定される）又は軟閾値判定などの他の方法を使用して、このサブフレームの変換係数を閾値判定し、処理されたサブフレームを形成するために、閾値判定された変換係数に逆変換を適用することと、入力フレームの品質向上バージョンを取得するために、処理されたサブフレームに対して組合せ操作を実行することと含む。これらの操作は、１回の反復で構成され、向上した品質推定をもたらす。一実施形態では、品質をさらに向上させるため、すべてのプロセスが繰り返される。
【００２３】
一実施形態では、本明細書で説明される技法は、任意の係数だけ解像度を増加させる。すなわち、超解像技法の使用は、解像度の増加に関して、整数倍（例えば、２×、３×など）に限定されない。超解像技法は、任意の係数（例えば、１．２×、１．５×、２．６×など）だけ解像度を増加させることができる。一実施形態では、本明細書で説明される技法は、サイド情報（ｓｉｄｅ−ｉｎｆｏｒｍａｔｉｏｎ）の助けを借りて又は借りずに、圧縮／非圧縮の画像／ビデオ信号に適用される。図１Ｂは、圧縮ビデオのための、本明細書で説明される技法の一実施形態の適用シナリオを説明するシステムのブロック図である。ブロックの各々は、ハードウェア（回路、専用ロジックなど）、（汎用コンピュータシステム若しくは専用機械上で実行される）ソフトウェア、又は両方の組合せを含むことができる。図１Ｂを参照すると、低解像度（ＬＲ）カメラ１０１が、低解像度画像／ビデオをキャプチャし、低解像度画像／ビデオは、圧縮のために、ビデオ／画像符号器１０２に送られる。符号化されたビデオは、通信プラットフォーム１０３を使用して、空間的及び／又は時間的にトランスポートされ、圧縮解除のために、ビデオ／画像復号器１０４に送られる。復号されたビデオ１１３は、本明細書で説明される処理のために、超解像生成器及び／又はビデオ品質向上器１０５に送られる。超解像生成器及び／又はビデオ品質向上器１０５の出力は、ＬＲディスプレイ１０６又は高解像度（ＨＲ）ディスプレイ１０７などのディスプレイに送られる。一実施形態では、ＬＲカメラ１０１及び符号器１０２は、（破線で示された）カメラサイド情報１１０及び符号器サイド情報１１１を送り、それらは、サイド情報１１２を形成するために組み合わされ、サイド情報１１２は、超解像生成器及び／又はビデオ品質向上器１０５によって使用することができる。サイド情報は、品質向上及び超解像技法のための、パラメータ（例えば、ＬＲカメラ１０１についての情報（例えばレンズタイプ）、量子化ステップサイズなど）又は選択／モード決定のいずれかから成ることができる。例えば、あるサイド情報は、どの補間技法を使用すべきかについての決定を助けることができる。サイド情報は、デフォルト設定を含むことができる。このようにして、サイド情報は、本明細書で説明される技法が、異なる設定に合わせてカスタマイズされることを可能にする。一実施形態では、サイド情報は、異なる選択を表す値からなるベクトルである。サイド情報を通知する１つの簡単な方法は、以下のようであり、ＯＰがサイド情報を表すベクトルを示すとする。各選択は、ベクトル内の２つの要素を使用して通知される。第ｎの選択については、選択が通知されない場合、ＯＰ（２＊ｎ−１）＝０であり、選択が通知される場合、ＯＰ（２＊ｎ−１）＝１であり、ＯＰ（２＊ｎ）＝「選択を表す値」である。ＯＰ（２＊ｎ）は、ＯＰ（２＊ｎ−１）＝１の場合に限って、設定され、使用される必要がある。
【００２４】
図１Ｃは、非圧縮ビデオのための、本明細書で説明される技法の一実施形態の適用シナリオを説明するシステムのブロック図である。ブロックの各々は、ハードウェア（回路、専用ロジックなど）、（汎用コンピュータシステム若しくは専用機械上で実行される）ソフトウェア、又は両方の組合せを含むことができる。図１Ｃを参照すると、低解像度（ＬＲ）カメラ１０１が、低解像度画像／ビデオをキャプチャし、低解像度画像／ビデオは、本明細書で説明される処理のために、超解像生成器及び／又はビデオ品質向上器１０５に送られる。超解像生成器及び／又はビデオ品質向上器１０５の出力は、ＬＲディスプレイ１０６又はＨＲディスプレイ１０７などのディスプレイに送られる。一実施形態では、ＬＲカメラ１０１は、（破線で示された）サイド情報１２１を送り、サイド情報１２１は、超解像生成器及び／又はビデオ品質向上器１０５によって使用することができる。サイド情報は、上で説明されたように、品質向上及び超解像技法のための、パラメータ（例えばＬＲカメラ１０１についての情報）又は選択／モード決定のいずれかから成ることができる。上で説明されたように、サイド情報は、品質向上及び超解像技法が、異なる設定に合わせてカスタマイズされることを可能にする。
【００２５】
品質向上／超解像技法の一実施形態
図２は、品質向上を実行し、解像度を増加させるためのプロセスの一実施形態のフロー図である。プロセスは、ハードウェア（回路、専用ロジックなど）、（汎用コンピュータシステム若しくは専用機械上で実行される）ソフトウェア、又は両方の組合せを含むことができる処理ロジックによって実行される。
【００２６】
図２を参照すると、ｘは、低解像度（ＬＲ）の入力画像／ビデオフレームを示す。一実施形態では、すべての画像／ビデオフレームは、ピクセルをラスタスキャン順に配列することによって、ベクトルとして表現される。代替として、データは、ベクトル、行列として、又は他の任意の形式で表現することができ、及び／又は保存することができる。
【００２７】
最初に、処理ロジックは、入力フレームｘをアップサンプリングして、アップサンプリングされたフレームｙを取得する（処理ブロック２０１）。アップサンプリングは、入力フレームｘのアップサンプリングバージョン（ｙ）を導出するために選択されたアップサンプリング２Ｄフィルタを使用して、実行することができる。図３は、アップサンプリングプロセスの一実施形態を示しており、以下でより詳細に説明される。本明細書で説明される技法を品質向上のために使用する場合、この操作は任意選択であることに留意されたい。この操作が実行されない場合、フレームｙは、フレームｘに等しくなるように設定される。
【００２８】
入力フレームｘをアップサンプリングして、アップサンプリングされたフレームｙを取得した後、処理ロジックは、各ピクセルｉ＝１：Ｎに対して、ピクセルｉをピボット（ｐｉｖｏｔ）とするサブフレームｚｉを選択する（処理ブロック２０２）。Ｎは、ｙ内のピクセルの数を表す。この実施形態では、画像内の各ピクセルに対してサブフレームが形成され、処理される。しかし、別の実施形態では、処理は、選択されたピクセルのサブセットに対してのみ実行することができ、画像内のすべてのピクセルに対して実行されるわけではない。サブセットは、事前決定することができ、又はサイド情報の一部として通知することができる。図１３Ａ〜図１３Ｅは、そのようなサブセットの例を示しているが、本明細書で説明される教示とともに、他のサブセットを使用することもできる。
【００２９】
ピクセルｉをピボットとするサブフレームｚｉを選択した後、処理ロジックは、変換Ｈｉを選択し、サブフレームｚｉに対して変換Ｈｉを適用することによって、係数ｄｉを計算する（処理ブロック２０３）。一実施形態では、変換は、２Ｄ  ＤＣＴである。別の実施形態では、変換は、２Ｄアダマール変換（Ｈａｄａｍａｒｄ  ｔｒａｎｓｆｏｒｍ）である。マスタ閾値（ｍａｓｔｅｒ  ｔｈｒｅｓｈｏｌｄ）は、変換を選択するために使用できる入力である。
【００３０】
係数ｄｉを生成した後、処理ロジックは、
【数１】
2011524714.tif 000003
を取得するために、係数ｄｉに対してマスタ閾値
【数２】
2011524714.tif 000004
を適用し、適応閾値
【数３】
2011524714.tif 000005
を計算し、係数ｄｉを適応的に閾値判定して
【数４】
2011524714.tif 000006
を取得するために、係数ｄｉに対して適応閾値
【数５】
2011524714.tif 000007
を適用する（処理ブロック２０４）。その後、処理ロジックは、処理されたサブフレーム
【数６】
2011524714.tif 000008
を取得するために、閾値判定された係数
【数７】
2011524714.tif 000009
に逆変換Ｈｉ−１を適用する（処理ブロック２０５）。次に、処理ロジックは、フレーム
【数８】
2011524714.tif 000010
を形成するために、すべてのピクセルに対応するすべての処理されたサブフレーム
【数９】
2011524714.tif 000011
を重み付けして組み合わせる（処理ブロック２０６）。次に、処理ロジックは、フレームｙ’を取得するために、フレーム
【数１０】
2011524714.tif 000012
に対してデータ一貫性ステップを実行する（処理ブロック２０７）。データ一貫性ステップは、
【数１１】
2011524714.tif 000013
として定義される。処理ロジックは、ｙ’のダウンサンプリングが入力フレームｘを与えるように、
【数１２】
2011524714.tif 000014
を計算する。本明細書で説明される技法を品質向上のために使用する場合、この操作は任意選択であることに留意されたい。この操作が実行されない場合、
フレームｙ’は、フレーム
【数１３】
2011524714.tif 000015
に等しくなるように設定される。
【００３１】
その後、処理ロジックは、さらなる反復が必要かどうかを判定する（処理ブロック２０８）。一実施形態では、反復の回数は２である。反復の実際の回数は、サイド情報の一部として通知することができる。さらなる反復が必要である場合、プロセスは処理ブロック２２０に移行し、処理ロジックは、新しいマスタ閾値
【数１４】
2011524714.tif 000016
を計算し、ｙ’に等しくフレームｙを設定し（処理ブロック２１１）、その後、プロセスは処理ブロック２０２に移行する。処理ロジックが、さらなる反復は必要ないと判定した場合、プロセスは処理ブロック２０９に移行し、処理ロジックは、フレームｙ’を出力し、プロセスは終了する。一実施形態では、処理ブロック２０１の線形補間操作と、処理ブロック２０６のデータ一貫性操作は任意選択であることに留意されたい。（例えば、線形補間モジュールを動作不能にすることによって）線形補間操作が実行されない場合、ビデオ／画像の出力解像度は、入力解像度と同じである。したがって、この実施形態の下では、ビデオ／画像の品質は向上するが、超解像は存在しない。
【００３２】
アップサンプリングプロセス
アップサンプリングフィルタは、ダウンサンプリング操作によって、又は入力デバイスの物理的制約が原因で生じたローパスフィルタリングを逆行させるために、様々な方法で選択することができる。入力デバイスがカメラである場合、これらの制約は、ネイティブ解像度、光学焦点、及びシャッタスピードを含むことができるが、それらに限定されない。一実施形態では、このローパスフィルタリングは、任意の有限タップフィルタとして、又は例えばドベシ（Ｄａｕｂｅｃｈｉｅｓ）若しくはルガル（Ｌｅ  Ｇａｌｌ）ウェーブレットなどのウェーブレットフィルタのＬＬバンドとしてモデル化される。一実施形態では、ローパスフィルタは、ドベシ７／９ウェーブレットとしてモデル化され、フレームｙを取得するために、対応する逆ウェーブレットフィルタが使用される。本発明の実施形態は、これらの方法を使用して導出されるアップサンプリングフィルタに限定されないことに留意されたい。双線形、双３次、及びＨ．２６４補間フィルタなどの任意のアップサンプリングフィルタを含むが、それらに限定されない、画像／ビデオの解像度を増加させることができるモジュールを使用することができる。
【００３３】
ローパスフィルタ及び／又はアップサンプリングフィルタを定義するパラメータは、サイド情報（例えば、サイド情報１１２、サイド情報１２１など）に含むことができる。
【００３４】
一実施形態では、ローパスフィルタがウェーブレットフィルタ（ＬＬバンド）としてモデル化される場合、アップサンプリングフィルタは、逆ウェーブレットフィルタであり、ローパスフィルタが任意の有限タップフィルタとしてモデル化される場合、アップサンプリングフィルタは、元のフレームと、元のフレームをローパスフィルタ及びアップサンプリングフィルタに連続的に通すことによって取得されるフレームとの間のＭＳＥにおいて最適なウィナーフィルタ（Ｗｉｅｎｅｒ  ｆｉｌｔｅｒ）である。一実施形態では、最適フィルタは、元のフレームに依存し、サイド情報を使用してピクセルごとに独立に通知される。
【００３５】
一実施形態では、入力フレームｘは、フレームｙを取得するために、逆ウェーブレットフィルタ又はピクセル適応ウィナーフィルタを使用して、アップサンプリングされ、フィルタリングされる。図３は、アップサンプリングプロセスの一実施形態のフロー図である。プロセスは、ハードウェア（回路、専用ロジックなど）、（汎用コンピュータシステム若しくは専用機械上で実行される）ソフトウェア、又は両方の組合せを含むことができる、処理ロジックによって実行される。
【００３６】
図３を参照すると、ローパスフィルタのパラメータを使用して、処理ロジックは、ローパスフィルタがウェーブレットフィルタのＬＬバンドとしてモデル化されているかどうかを判定する（処理ブロック３０１）。これは、処理ロジックが、ローパスフィルタをウェーブレットフィルタとして分類すること、又は分類しないことを可能にする。処理ロジックが、ローパスフィルタはウェーブレットフィルタであると判定した場合、処理ロジックは、アップサンプラ３１１を用いて、入力フレームｘをアップサンプリングし、フレームｙを取得するために、入力フレームｘに逆ウェーブレットフィルタを適用する（処理ブロック３０３）。処理ロジックが、ローパスフィルタはウェーブレットフィルタではないと判定した場合、処理ロジックは、アップサンプラ３１０を用いて、入力フレームｘをアップサンプリングし、フレームｙを取得するために、入力フレームｘにピクセル適応ウィナーフィルタを適用する（処理ブロック３０２）。
【００３７】
サブフレーム選択プロセス
アップサンプリングプロセスが完了し、フレームｙが取得された後、図２の処理ブロック２０２のサブフレーム選択プロセスが開始する。サブフレームタイプＳは、Ｍ２×１の整数値ベクトルとして定義される。本明細書の目的では、Ｍは、ゼロよりも大きな任意の整数とすることができる。｛Ｓ１，Ｓ２，Ｓ３，．．．｝は、サブフレームタイプのライブラリである。ピクセルがラスタスキャン順で採番されるフレームｙ内で選択された各ピクセルｉに対して、サブフレームタイプｓｉが、ライブラリから選択され、ベクトルｐｉが、
【数１５】
2011524714.tif 000017
として形成され、ここで、
【数１６】
2011524714.tif 000018
は、すべての要素が１に等しいＭ２×１のベクトルである。一実施形態では、選択されないピクセルに対しては、ｐｉは、ゼロからなるベクトルである。サブフレームと呼ばれるＭ２×１のベクトルｚｉが、ｐｉの要素に対応するロケーションにおけるフレームｙのピクセル値を用いて形成される。ピクセルｉは、サブフレームｚｉのピボットと呼ばれる。図５は、ピクセルがラスタスキャン順で採番された場合の、ピクセルｉにおけるサブフレームｚｉの一例を示している。図５を参照すると、ピクセルのラスタスキャン順の順序付けは、ピクセルをラスタスキャン順に「１」から採番し始めることによって行われる。ピクセルｉでピボットされたサブフレームが示されている。サブフレームは、歪曲行（ｗａｒｐｅｄ  ｒｏｗ）と呼ばれるＭ個のベクトルに組織される。第１の歪曲行は、ラスタスキャン順によるサブフレーム要素１〜Ｍを有し、第２の歪曲行は、サブフレーム要素（Ｍ＋１）〜２Ｍを有し、以降も同様である。
【００３８】
一実施形態では、Ｍは４に等しく、サブフレームタイプのライブラリは、図４Ａ〜図４Ｍに示される１組のマスクに対応する。図４Ａ〜図４Ｍを参照すると、サブフレームのこのライブラリの場合、マスクは、矢印で示される異なる方向に対応する。図４Ａのマスクは、正規の水平方向及び垂直方向に対応しているので、本明細書では正規マスク（ｒｅｇｕｌａｒ  ｍａｓｋ）と呼ばれる。他のマスクは、非自明な方向に対応しているので、方向性マスク（ｄｉｒｅｃｔｉｏｎａｌ  ｍａｓｋ）と呼ばれる。マスク内のピクセル（「ａ」〜「ｐ」）の差分位置（ｄｉｆｆｅｒｅｎｔｉａｌ−ｐｏｓｉｔｉｏｎ）（Ω）は、Ω＝ＣＣ＋Ｗ×ＣＲとして定義され、ここで、Ｗはフレームｙの幅である。ＣＣは、ピクセル［ａ］の列から開始して現在の対象ピクセルの列に達するために水平右方向に動かす必要のある列の数である。ＣＲは、ピクセル［ａ］の行から開始して現在の対象ピクセルの行に達するために垂直下方向に動かす必要のある行の数である。例えば、図４Ｈのマスクの場合、ピクセル「ｃ」は、ＣＣ＝−１及びＣＲ＝２を有する。マスクに対応するサブフレームタイプは、「ａ」から「ｐ」の順序に並べられた、そのマスク内のピクセルの差分位置を含むベクトルである。
【００３９】
一実施形態では、ピクセルのためのサブフレームタイプの選択は、正規マスクに対応するサブフレームタイプを常に選択することによって行われる。別の実施形態では、ピクセルのためのサブフレームタイプの選択は、選択された各ピクセルについて、（１）各サブフレームタイプについて、形成されたサブフレームに対して２Ｄ  ＤＣＴを評価し、（２）与えられた閾値Ｔについて、Ｔよりも大きな大きさを有する非ゼロ変換係数の数を最小化するサブフレームタイプを選択することによって行われる。また別の実施形態では、ピクセルのためのサブフレームタイプの選択は、選択された各ピクセルについて、すべての歪曲行にわたって平均したピクセル値の歪曲行分散を最小化するサブフレームタイプを選択することによって行われる。さらに別の実施形態では、ピクセルのためのサブフレームタイプの選択は、Ｋ×Ｌのピクセルのブロックについて、各ピクセルに（すべての歪曲行にわたって平均したピクセル値の歪曲行分散を最小化するサブフレームタイプに基づいて）サブフレームタイプ選出の投票を行わせ、Ｋ×Ｌのブロック内のすべてのピクセルについて、最多得票のサブフレームタイプを選択することによって行われ、ここで、Ｋ及びＬは、０よりも大きな任意の整数とすることができる。一実施形態では、Ｋ及びＬはともに、４になるように設定される。さらに別の実施形態では、ピクセルのためのサブフレームタイプの選択は、各ピクセルについて、Ｋ×Ｌのピクセルのブロックを形成し、このブロック上で先の投票方式を使用してサブフレームタイプを選択することによって行われる。どの場合も、選択されたサブフレームタイプが、現在のピクセルのために使用される。したがって、各マスクについて測定されたこれらの統計値の１つを使用することによって、サブフレームの選択が実行される。図４Ａ〜図４Ｍのものとは異なるマスクも使用できることに留意されたい。
【００４０】
図６は、サブフレーム選択処理の一実施形態のフロー図である。プロセスは、ハードウェア（回路、専用ロジックなど）、（汎用コンピュータシステム若しくは専用機械上で実行される）ソフトウェア、又は両方の組合せを含むことができる、処理ロジックによって実行される。
【００４１】
図６を参照すると、プロセスは、処理ロジックがフレームｙを受け取り、サブフレームがピクセル適応かどうかを判定することによって開始する（処理ブロック６０１）。サブフレームがピクセル適応ではない場合、処理ロジックは、すべてのピクセルのために正規サブフレームタイプを選択する（処理ブロック６０２）。フレームｙのサブフレームがピクセル適応である場合、処理ロジックは、各ピクセルについて、歪曲行分散を最小化するサブフレームタイプをマークする（処理ブロック６０３）。これは、上で説明されたように、サブフレームタイプのライブラリ（６２０）を使用して行われる。したがって、各ピクセルについて、サブフレームタイプのライブラリの中で歪曲行分散を最小化するサブフレームタイプがマークされる。
【００４２】
次に、処理ロジックは、選択がブロックベースであるかどうかを判定する（処理ブロック６０４）。処理ロジックが選択はブロックベースであると判定した場合、処理ロジックは、各ブロックにおいて各サブフレームタイプをマークしたピクセルの数を数え（処理ブロック６０６）、ブロック内のすべてのピクセルについて、処理ロジックは、そのブロック内の最も多くのピクセルによってマークされたサブフレームタイプを選択する（処理ブロック６０７）。言い換えると、選択がブロックベースである場合、ブロック内の最も多くのピクセルによってマークされたサブフレームタイプが、そのブロック内のすべてのピクセルのために選択される。処理ロジックが選択はブロックベースではないと判定した場合、処理ロジックは、各ピクセルについて、そのピクセルによってマークされたサブフレームタイプを選択する（処理ブロック６０５）。言い換えると、各ピクセルは、それ自らによってマークされたサブフレームタイプを選択する。
【００４３】
各ピクセルのためのサブフレームタイプの選択は、サイド情報の一部とすることができる。
【００４４】
変換の選択及び適用
サブフレームｚｉを選択した後、サブフレームｚｉは、ピクセル適応歪曲変換Ｈｉを使用して、ｄｉに変換される。この変換は、変換基底のサポートがサブフレーム形状に合致するように歪んでいるので、本明細書では「歪曲」と呼ばれる。この変換は、サブフレームタイプの選択がピクセルごとに変化し得るという事実に加えて、異なるピクセルでピボットされたサブフレームが異なる変換を使用できるので、ピクセル適応と呼ばれる。一実施形態では、変換Ｈｉは、例えば、分離可能２Ｄアダマール、分離可能ＤＣＴ、分離不能ＤＣＴ、２Ｄガボール（Ｇａｂｏｒ）ウェーブレット、操作可能ピラミッド（Ｓｔｅｅｒａｂｌｅ  ｐｙｒａｍｉｄ）、２Ｄ方向性ウェーブレット（ｄｉｒｅｃｔｉｏｎａｌ  ｗａｖｅｌｅｔ）、カーブレット（Ｃｕｒｖｅｌｅｔ）、及びコンタレット（Ｃｏｎｔｏｕｒｌｅｔ）などの、変換のライブラリから選択される。分離可能変換は歪曲された後では分離不能になることに留意されたい。選択は、事前に固定することができ、又は異なるピクセルでピボットされた異なるサブフレームに対して適応的とすることもできる。一実施形態では、適応的な場合、選択された変換は、マスタ閾値
【数１７】
2011524714.tif 000019
よりも絶対値が大きい係数の数が最も少ない変換である。一実施形態では、変換の選択は、サイド情報の一部である。サブフレームのための変換選択プロセスの一実施形態のフロー図が、図７に示されている。
【００４５】
図７を参照すると、プロセスは、ハードウェア（回路、専用ロジックなど）、（汎用コンピュータシステム若しくは専用機械上で実行される）ソフトウェア、又は両方の組合せを含むことができる、処理ロジックによって実行される。プロセスは、処理ロジックが、変換がピクセル適応であるかどうかをテストすることによって開始する（処理ブロック７０１）。このテストは、リストを参照することによって実行することができる。一実施形態では、リストは、変換が非適応的なものからなることができる。別の実施形態では、リストは、サイド情報の一部として通知することができる。処理ロジックが、変換はピクセル適応ではないと判定した場合、処理ロジックは、変換として使用するために２Ｄ直交分離可能ＤＣＴを選択し、その変換をサブフレームｚｉに適用することによって変換係数ｄｉを生成する（処理ブロック７０２）。処理ロジックが、変換はピクセル適応であると判定した場合、変換のライブラリ｛Ｈ１，Ｈ２，．．．｝内の各変換Ｈｊについて、処理ロジックは、公式
ｄｊ＝Ｈｊ×ｚｉ
を使用して、変換係数ｄｊを計算する（処理ブロック７０３）。変換係数ｄｊは、変換Ｈｊに対応する。
【００４６】
次に、各ｊについて、処理ロジックは、マスタ閾値
【数１８】
2011524714.tif 000020
よりも絶対値が大きい、ｄｊ内の係数の数を数え（処理ブロック７０５）、最小カウントを有する変換Ｈｋを変換のライブラリの中から選択し、最小カウントに対応する変換（Ｈｋ）に等しく変換Ｈｉを設定し、変換係数ｄｋに等しく係数ｄｉを設定する（処理ブロック７０６）。
【００４７】
閾値判定
変換を選択した後に行われる閾値判定プロセスの一部として、一実施形態では、
【数１９】
2011524714.tif 000021
を取得するために、変換係数ｄｉに対して、ディテール保存適応閾値
【数２０】
2011524714.tif 000022
が適用される。閾値
【数２１】
2011524714.tif 000023
は、その値が画像／ビデオフレーム内の高周波数ディテールを保存するように適応されるので、本明細書ではディテール保存と呼ばれる。変換係数ｄｉは、
【数２２】
2011524714.tif 000024
を取得するために、マスタ閾値
【数２３】
2011524714.tif 000025
も使用して閾値判定される。閾値判定操作は、様々な方法で行うことができる。一実施形態では、閾値判定操作は、硬閾値判定を使用して実行される。別の実施形態では、閾値判定操作は、軟閾値判定を使用して実行される。硬閾値判定操作は、
【数２４】
2011524714.tif 000026
と定義され、ここで、Ｔは使用される閾値である。同様に、閾値としてＴを用いる軟閾値判定操作は、
【数２５】
2011524714.tif 000027
と定義される。
【００４８】
閾値判定の結果は、エネルギー損と比較することができる。あまりにも大量の信号エネルギーが失われる場合、この特定の領域に対して閾値が高すぎる可能性があり、したがって、閾値を引き下げなければならないことがある。
【００４９】
代替実施形態では、閾値
【数２６】
2011524714.tif 000028
は、以下の方法のうちの１つで計算され、すなわち、
【数２７】
2011524714.tif 000029
【数２８】
2011524714.tif 000030
ここで、ｆ（）は関数を表し、
【数２９】
2011524714.tif 000031
ここで、ｆ（）は関数を表し、
【数３０】
2011524714.tif 000032
である。関数ｆ（）は、図９に示されるような単調減少の階段状関数である。一実施形態では、使用される関数は、ルックアップテーブルであり、そのルックアップテーブルは、サイド情報の一部とすることができる。図９を参照すると、適応閾値判定プロセスで使用される単調減少階段関数の形状が示されている。パラメータ（ｆ１、ｆ２、．．．、ｆｎ）及び（Ｅ１、Ｅ２、．．．、Ｅｎ）が、関数を完全に定義する。関数のステップ位置（ｆ１、ｆ２、．．．、ｆｎ及びＥ１、Ｅ２、．．．、Ｅｎ）は、再構成される画像／ビデオの品質において局所最適を達成するために、トレーニングセット上で調整される。
【数３１】
2011524714.tif 000033
であるような、
【数３２】
2011524714.tif 000034
内の非ゼロ要素の数を最小化するように、
【数３３】
2011524714.tif 000035
のために可能な値において検索を実行し、ここで、ｌｏｃａｌは、画像全体ではなく、画像の局所部分を指す。Ｅｌｏｃａｌはサイド情報の一部とすることができ、又はデフォルト値を使用することができる。これは、アルゴリズムのための設定として見ることができる。一実施形態では、デフォルト値は、トレーニングセット上で調整を行い、再構成される画像／ビデオの品質において局所最適を達成する値を選択することによって、取得することができる。
【００５０】
すべてのｋ∈｛１，２，…，Ｎ｝にわたって合算された、
【数３４】
2011524714.tif 000036
であるような、
【数３５】
2011524714.tif 000037
内の非ゼロ要素の総数を最小化するように、
【数３６】
2011524714.tif 000038
のために可能な値において合同検索を実行し、ここで、ｇｌｏｂａｌは、全体としての画像を指す。Ｅｇｌｏｂａｌはサイド情報の一部とすることができ、又はデフォルト値を使用することができる。これは、アルゴリズムのための設定として見ることができる。一実施形態では、デフォルト値は、トレーニングセット上で調整を行い、再構成される画像／ビデオの品質において局所最適を達成する値を選択することによって、取得することができる。一実施形態では、オプション
【数３７】
2011524714.tif 000039
が使用され、閾値判定操作のために、硬閾値判定が使用される。閾値判定プロセスにおける異なるパラメータは、サイド情報の一部とすることができる。
【００５１】
図８は、変換係数ｄｉを閾値判定するための閾値判定プロセスの一実施形態のフロー図である。プロセスは、ハードウェア（回路、専用ロジックなど）、（汎用コンピュータシステム若しくは専用機械上で実行される）ソフトウェア、又は両方の組合せを含むことができる、処理ロジックによって実行される。
【００５２】
図８を参照すると、プロセスは、マスタ閾値
【数３８】
2011524714.tif 000040
と、係数ｄｉとを入力として使用して開始し、処理ロジックは、各要素ｄｉｊ∈ｄｉについて、以下の式に従って、対応する要素
【数３９】
2011524714.tif 000041
を計算する（処理ブロック８０１）。
【数４０】
2011524714.tif 000042
このようにして、処理ロジックは、マスタ閾値
【数４１】
2011524714.tif 000043
よりも絶対値が小さいすべての係数をゼロに設定し、これらの係数は、
【数４２】
2011524714.tif 000044
として保存される。
【００５３】
次に、処理ロジックは、閾値が適応的かどうかを判定する（処理ブロック８０２）。このテストは、リストを参照することによって実行することができる。一実施形態では、リストは、閾値が非適応的なものからなることができる。別の実施形態では、リストは、サイド情報の一部として通知することができる。処理ロジックが、適応閾値が使用されていないと判定した場合、処理ロジックは、
【数４３】
2011524714.tif 000045
から直接、出力係数
【数４４】
2011524714.tif 000046
をコピーする（処理ブロック８０３）。処理ロジックが、適応閾値が使用されていると判定した場合、処理ロジックは、マスタ閾値
【数４５】
2011524714.tif 000047
と、絶対値
【数４６】
2011524714.tif 000048
（ｄｉと
【数４７】
2011524714.tif 000049
の間のＬ−２ノルム）の単調減少関数との積として、以下のように、
適応閾値
【数４８】
2011524714.tif 000050
を計算する（処理ブロック８０４）。
【数４９】
2011524714.tif 000051
その後、処理ロジックは、各要素について、式
【数５０】
2011524714.tif 000052
に従って、対応する要素
【数５１】
2011524714.tif 000053
を計算する（処理ブロック８０５）。したがって、このようにして、
【数５２】
2011524714.tif 000054
よりも絶対値が小さいすべての係数ｄｉｊは、ゼロに設定され、
【数５３】
2011524714.tif 000055
として保存される。
【００５４】
サブフレームの組合せ
閾値判定された係数に逆変換を適用した後、フレーム
【数５４】
2011524714.tif 000056
を形成するために、処理されたサブフレームのすべてが、重み付けして組み合わされる。一実施形態では、処理された各サブフレーム
【数５５】
2011524714.tif 000057
に対して、重みｗｉが計算される。代替実施形態では、この重みは、以下の方法の１つで計算される。
【数５６】
2011524714.tif 000058
ここで、ｆ（）は関数を表す。そのような関数の一例は、
【数５７】
2011524714.tif 000059
である。
【数５８】
2011524714.tif 000060
ここで、ｆ（）は関数を表す。
【００５５】
ＭＳＥオプション：
【数５９】
2011524714.tif 000061
ここで、ｅｍｉｎは定数である。
Ｌ−ｐノルムオプション（ｐ≧０）：
【数６０】
2011524714.tif 000062
ここで、ｎｍｉｎは定数である。
【数６１】
2011524714.tif 000063
ここで、ｐ≧０であり、関数ｇ（）は、図９に示された関数ｆ（）に類似した単調減少階段関数である。関数のステップ位置（ｆ１、ｆ２、．．．、ｆｎ及びＥ１、Ｅ２、．．．、Ｅｎ）は、再構成される画像／ビデオの品質において局所最適を達成するために、トレーニングセット上で調整される。
【数６２】
2011524714.tif 000064
ここで、ｐ≧０であり、関数ｇ（）は、図９に示された関数ｆ（）に類似した単調減少階段関数である。関数のステップ位置（ｆ１、ｆ２、．．．、ｆｎ及びＥ１、Ｅ２、．．．、Ｅｎ）は、再構成される画像／ビデオの品質において局所最適を達成するために、トレーニングセット上で調整される。計算された重みｗｉは、サイド情報の一部とすることができる。
【００５６】
（すべてのピクセルに対応する）処理されたサブフレーム
【数６３】
2011524714.tif 000065
は、
【数６４】
2011524714.tif 000066
を形成するために、重み付けして一緒に組み合わされる。このプロセスの一実施形態が、第ｊピクセルの値である
【数６５】
2011524714.tif 000067
について説明される。
【数６６】
2011524714.tif 000068
及びｎｊ＝０と設定し、ここで、ｎｊは、第ｊピクセルの正規化係数である。処理された各サブフレーム
【数６７】
2011524714.tif 000069
について、
ピクセルｊがｐｉの一部である場合、
ｋ＝ｐｉ内のピクセルｊのインデックスである。
【数６８】
2011524714.tif 000070
ここで、
【数６９】
2011524714.tif 000071
は、処理されたサブフレーム
【数７０】
2011524714.tif 000072
におけるピクセルｊの値である。
ｎｊ＝ｎｊ＋ｗｉ
【数７１】
2011524714.tif 000073
【００５７】
図１０は、処理されたすべてのサブフレームを組み合わせてフレーム
【数７２】
2011524714.tif 000074
を形成するためのプロセスの一実施形態のフロー図である。プロセスは、ハードウェア（回路、専用ロジックなど）、（汎用コンピュータシステム若しくは専用機械上で実行される）ソフトウェア、又は両方の組合せを含むことができる、処理ロジックによって実行される。
【００５８】
図１０を参照すると、プロセスは、フレームｙ内の各ピクセルｍ＝１：Ｎについて、その値
【数７３】
2011524714.tif 000075
及びその正規化係数ｎｍをゼロに設定することによって開始する（処理ブロック１００１）。次に、処理ロジックは、ピクセルインデックスｊと、サブフレームインデックスｉを１に初期化する（処理ブロック１００２）。
【００５９】
初期化の後、処理ロジックは、ピクセルｊ∈ｐｉかどうかを判定する（処理ブロック１００３）。ピクセルｊ∈ｐｉである場合、プロセスは処理ブロック１００４に移行する。ピクセルｊ∈ｐｉではない場合、プロセスは処理ブロック１００５に移行する。
【００６０】
処理ブロック１００４において、一実施形態では、処理ロジックは、
【数７４】
2011524714.tif 000076
内のピクセルｊの値である
【数７５】
2011524714.tif 000077
と、ｄｉ及び
【数７６】
2011524714.tif 000078
を使用して計算された重み係数ｗｉとを使用して、
【数７７】
2011524714.tif 000079
及びｎｉを更新する。一実施形態では、重み係数は、以下に従って計算される。
【数７８】
2011524714.tif 000080
処理ブロック１００４において、ｋはｐｉ内のピクセルｊのインデックスに等しい。一実施形態では、処理ロジックは、以下の式に基づいて、
【数７９】
2011524714.tif 000081
及びｎｊを更新する。
【数８０】
2011524714.tif 000082
ｎｊ＝ｎｊ＋ｗｉ
処理ロジックが
【数８１】
2011524714.tif 000083
及びｎｊを更新した後、プロセスは処理ブロック１００５に移行する。
【００６１】
処理ブロック１００５において、処理ロジックは、ｉ＝フレーム内のピクセルの総数Ｎであるかどうかをチェックする。ｉ＝Ｎである場合、プロセスは処理ブロック１００７に移行する。ｉ＝Ｎではない場合、プロセスは処理ブロック１００６に移行する。処理ブロック１００６において、インデックスが１だけ増やされ、プロセスは処理ブロック１００３に移行する。処理ブロック１００７において、処理ロジックは、以下の式に従って、
【数８２】
2011524714.tif 000084
を更新する。
【数８３】
2011524714.tif 000085
【数８４】
2011524714.tif 000086
を更新した後、処理ロジックは、インデックスｉを１に設定し（処理ブロック１００８）、インデックスｊがＮに等しいかどうかをチェックする（処理ブロック１００９）。ｊ＝Ｎである場合、処理は終了する。ｊ＝Ｎではない場合、プロセスは処理ブロック１０１０に移行し、インデックスｊが１だけ増やされる。インデックスｊを１だけ増やした後、プロセスは処理ブロック１００３に移行する。
【００６２】
ビデオの場合、一実施形態では、組合せ操作は、自己回帰プロセスをエミュレートするための、先行フレームに基づいた推定を含むこともできる。これは、多くの高周波数ディテールを有する領域において、滑らかなビデオ再生を保証する。これは数学的に、
【数８５】
2011524714.tif 000087
と表現され、ここで、αは自己回帰係数を表す。一実施形態では、α＝０．５である。別の実施形態では、αは、サイド情報の一部とすることができ、
【数８６】
2011524714.tif 000088
は、現在フレームと先行フレームの間のシーンの動きに関して補正された先行フレームの推定である。
【００６３】
データ一貫性操作
データ一貫性操作は、元の低解像度画像／ビデオが高解像度画像／ビデオから回復可能なように、関連する信号内容を保存する。したがって、超解像技法によって生成された高解像度画像／ビデオは、低解像度画像／ビデオと一貫性がある。
【００６４】
一実施形態では、フレームｙ’は、フレーム
【数８７】
2011524714.tif 000089
に等しく設定され、（データ一貫性ステップが使用されない場合は）ｙ’が向上した品質推定又は超解像推定と見なされる。
【００６５】
別の実施形態では、フレーム
【数８８】
2011524714.tif 000090
は、ｙ’を出力するデータ一貫性ステップによって処理され、ｙ’が超解像推定と見なされる。この操作は、モデル化されたローパスフィルタを使用するｙ’のダウンサンプリングが入力画像／ビデオｘフレームをもたらすことを保証する。
【００６６】
一実施形態では、
【数８９】
2011524714.tif 000091
をダウンサンプリングして
【数９０】
2011524714.tif 000092
を取得するために、モデル化されたローパスフィルタが使用される。差フレーム
【数９１】
2011524714.tif 000093
は、
【数９２】
2011524714.tif 000094
を使用して計算される。アップサンプリングバージョン
【数９３】
2011524714.tif 000095
は、ｘからｙを生成したのと同じプロセスを使用して形成される。超解像推定は、
【数９４】
2011524714.tif 000096
として形成される。
【００６７】
図１１は、データ一貫性操作の一実施形態のデータフロー図である。図１１のブロック及び関連操作は、ハードウェア（回路、専用ロジックなど）、（汎用コンピュータシステム若しくは専用機械上で実行される）ソフトウェア、又は両方の組合せを含むことができる。図１１を参照すると、モデル化されたローパスフィルタ１１０１は、組み合わされたフレーム
【数９５】
2011524714.tif 000097
をフィルタリングし、ダウンサンプラ１１０２は、フィルタリングされた出力をダウンサンプリングして、
【数９６】
2011524714.tif 000098
を形成する。減算器１１０３は、入力フレームｘから
【数９７】
2011524714.tif 000099
を減算して、低解像度にある差フレーム
【数９８】
2011524714.tif 000100
を形成する。アップサンプラ１１０４は、図３に示されたプロセスを使用して、差フレーム
【数９９】
2011524714.tif 000101
をアップサンプリングして、アップサンプリングバージョン
【数１００】
2011524714.tif 000102
を取得する。加算器１１０５は、アップサンプリングバージョン
【数１０１】
2011524714.tif 000103
を
【数１０２】
2011524714.tif 000104
に加算して、超解像推定ｙ’を形成する。
【００６８】
反復
向上した品質／超解像推定ｙ’は、図２に示されるプロセス全体にわたって反復することによって、さらに精緻化することができる。反復の回数（ＮＩ）は、ゼロよりも大きい任意の整数とすることができる。マスタ閾値
【数１０３】
2011524714.tif 000105
が更新され、フレームｙ’がフレームｙにコピーされる。マスタ閾値は、任意の正の実数値とすることができ、以下の方法のいずれかで更新することができる。
線形オプション：
【数１０４】
2011524714.tif 000106
ここで、Δは事前に選択された定数である。
【００６９】
ＭＳＥオプション：
【数１０５】
2011524714.tif 000107
ここで、ｆ（）は関数を表す。
【００７０】
一実施形態では、反復の回数（ＮＩ）と、各反復のマスタ閾値
【数１０６】
2011524714.tif 000108
は、サイド情報の一部として含まれる。一実施形態では、反復の回数（ＮＩ）は、１以上４以下の整数であり、マスタ閾値は、最初の反復については１００に設定され、
【数１０７】
2011524714.tif 000109
である。例えば、ＮＩが２に等しい場合、２回の反復のためのマスタ閾値は、１００及び５０である。したがって、一実施形態では、閾値の数は２であり、第２の反復では、マスタ閾値が減らされる。
【００７１】
適用例
品質向上及び超解像技法は、画像及び／又はビデオの処理、符号化、及び表示において様々な用途を有する。一般に、これらの技法は、低品質、低解像度の画像及び／又はビデオを高品質、低／高解像度に高めるために使用することができる。
【００７２】
より具体的には、ビデオ放送に関して、低解像度ビデオのみを扱うディスプレイを有するデバイス（例えばモバイルフォン）向けの放送番組は、テレビなどの高解像度ディスプレイが利用可能な静止環境においても使用することができる。また、高解像度ディスプレイを有する電話機の場合、低解像度ビデオのみを扱うディスプレイを有するモバイルフォン用のコンテンツなど、低解像度で利用可能なコンテンツは、電話機の高解像度ディスプレイのより高い解像度に合致するように、処理することができる。一実施形態では、低解像度ビデオ信号は、１つ又は複数のモバイルフォンに放送され、モバイルフォンは、低解像度ビデオ信号を表示する。モバイルフォンは、低解像度ビデオを高解像度ビデオに変換し、高解像度ビデオ自体を表示し、及び／又は高解像度ビデオをテレビなどの高解像度ディスプレイに送るための本明細書で説明された機能を含む。一実施形態では、モバイルフォンは、ローカルワイヤレス伝送を使用して、高解像度ビデオをテレビに送信する。別の実施形態では、セルフォンは、低解像度ビデオをドッキングステーションに送り、ドッキングステーションは、本明細書で説明された技法を使用して、低解像度ビデオを高解像度ビデオに変換し、それらを高解像度ディスプレイに送信する。
【００７３】
本明細書で説明された技法の別の適用例は、ネットワークにおけるビデオ品質向上を目的としたものである。例えば、モバイルフォンのカメラによってキャプチャされたビデオは、低品質及び低解像度である。説明された技法は、これらのビデオを高品質及び高解像度に高めるためにネットワーク中で使用することができる。キャプチャされたビデオは、本明細書で開示された技法を使用する向上化（例えば、圧縮アーチファクトの低減、解像度の増加など）のために、サーバ又は他のプロセッサベースのシステムにネットワークを介してアップロードされ、その後、ユーザは、向上化が図られたビデオをネットワークからダウンロードすることができる。
【００７４】
別の適用例は、圧縮効率に著しい利得を提供する、ビデオ符号化における分数ペルの動き補償（ｆｒａｃｔｉｏｎａｌ−ｐｅｌ  ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ）である。分数ペルの動き補償を行うには、入力画像／ビデオは、分数ピクセル位置において強度値を得るために、補間されるべきである。補間を行うために、超解像技法を使用することができる。
【００７５】
同様に、モバイルフォンによって撮影され、ネットワークを介して共有される画像は、しばしば良好な品質にはない。共有するにあたって、低品質、低解像度にある画像が、ネットワークを介して送信される場合、より高い品質及び／又は解像度レベルにある画像を送信するのと比較して、帯域幅利用が低減される。その場合、送信後に、これらの画像の品質は、特にユーザがそのような画像の１つを印刷したいと望む場合、「印刷」品質又はより良い品質を達成するために、本明細書で説明された技法を使用して改善することができる。また、ビデオ会議の品質は、本明細書で説明された技法を使用することによって改善することができる。より具体的には、ビデオ会議関連機器の１つとして通信を行うために使用される端末は、本明細書で説明された機能を備えることができ、したがって、より高いズームレベル及び／又は改善された品質で会議映像を示すことができる。
【００７６】
ビデオ品質向上技法は、圧縮効率を改善するために、ビデオ復号器においてループフィルタとしても使用することができる。
【００７７】
利点の例
本発明の実施形態は、関連技術と比較して、高品質の性能を達成する。本発明の実施形態は、滑らかな領域、テクスチャ、すべての方向のエッジを有する、多種多様な画像／ビデオコンテンツに適用可能である。本発明の実施形態は、水平エッジ又は垂直エッジを有する領域に限定されない。本発明の実施形態は、局所ピクセル統計値に基づいて、そのパラメータを適応させる。本発明の実施形態は、可能な場合は常に、画像／ビデオソースからのサイド情報を使用することができる。本発明の実施形態は、よりわずかな反復しか必要とせず、よりわずかな計算複雑度しかもたらさない。
【００７８】
コンピュータシステムの例
図１２は、本明細書で説明された操作の１つ又は複数を実行できる例示的なコンピュータシステムのブロック図である。図１２を参照すると、コンピュータシステム１２００は、例示的なクライアント又はサーバコンピュータシステムを含むことができる。コンピュータシステム１２００は、情報を伝達するための通信機構又はバス１２１１と、情報を処理するための、バス１２１１と結合されたプロセッサ１２１２とを含む。プロセッサ１２１２は、マイクロプロセッサに限定されないが、例えば、Ｐｅｎｔｉｕｍ（登録商標）、ＰｏｗｅｒＰＣ（登録商標）、Ａｌｐｈａ（登録商標）などのマイクロプロセッサを含む。
【００７９】
システム１２００は、情報又はプロセッサ１２１２によって実行される命令を保存するための、バス１２１１に結合されたランダムアクセスメモリ（ＲＡＭ）又は他の動的記憶デバイス１２０４（メインメモリと呼ばれる）をさらに含む。メインメモリ１２０４は、プロセッサ１２１２による命令の実行中に一時変数又は他の中間情報を保存するために使用することもできる。
【００８０】
コンピュータシステム１２００は、プロセッサ１２１２のための静的情報及び命令を保存するための、バス１２１１に結合されたリードオンリメモリ（ＲＯＭ）及び／又は他の静的記憶デバイス１２０６と、磁気ディスク又は光ディスク及び対応するディスクドライブなどのデータ記憶デバイス１２０７も含む。データ記憶デバイス１２０７は、情報及び命令を保存するために、バス１２１１に結合される。
【００８１】
コンピュータシステム１２００は、情報をコンピュータユーザに表示するための、バス１２１１に結合された、ブラウン管（ＣＲＴ）又は液晶ディスプレイ（ＬＣＤ）などのディスプレイデバイス１２２１にさらに結合することができる。英数字キー及び他のキーを含む英数字入力デバイス１２２２も、情報及びコマンド選択をプロセッサ１２１２に伝達するために、バス１２１１に結合することができる。さらなるユーザ入力デバイスは、方向情報及びコマンド選択をプロセッサ１２１２に伝達するため、並びにディスプレイ１２２１上でカーソルの動きを制御するための、バス１２１１に結合された、マウス、トラックボール、トラックパッド、スタイラス、又はカーソル方向キーなどのカーソルコントロール１２２３である。
【００８２】
バス１２１１に結合できる別のデバイスは、ハードコピーデバイス１２２４であり、ハードコピーデバイス１２２４は、紙、フィルム、又は類似のタイプの媒体上に情報をマークするために使用することができる。バス１２１１に結合できる別のデバイスは、電話又はハンドヘルドパームデバイスと通信するための、有線／無線通信機能１２２５である。
【００８３】
システム１２００のコンポーネント及び関連ハードウェアのいずれか又はすべてを、本発明で使用することができる。しかし、コンピュータシステムの他の構成が、デバイスのいくつか又はすべてを含み得ることが理解できよう。本発明は、パーソナルコンピュータ及びラップトップコンピュータに限定されない。本発明は、モバイルフォン、スマートフォン、ＰＤＡ、ポータブルプレーヤなどに適用可能である。
【００８４】
上述の説明を読んだ後では、当業者には疑いもなく本発明の代替形態及び変更形態が明らかとなるが、例示によって示され、説明された任意の特定の実施形態は、限定と見なされることを意図したものではないことを理解されたい。したがって、様々な実施形態の詳細についての言及は、本発明にとって本質的と見なされる特徴のみをその中で列挙した特許請求の範囲を限定することを意図していない。
【図１Ａ】
2011524714.tif 000110
【図１Ｂ】
2011524714.tif 000111
【図１Ｃ】
2011524714.tif 000112
【図２】
2011524714.tif 000113
【図３】
2011524714.tif 000114
【図４Ａ】
2011524714.tif 000115
【図４Ｂ】
2011524714.tif 000116
【図４Ｃ】
2011524714.tif 000117
【図４Ｄ】
2011524714.tif 000118
【図４Ｅ】
2011524714.tif 000119
【図４Ｆ】
2011524714.tif 000120
【図４Ｇ】
2011524714.tif 000121
【図４Ｈ】
2011524714.tif 000122
【図４Ｉ】
2011524714.tif 000123
【図４Ｊ】
2011524714.tif 000124
【図４Ｋ】
2011524714.tif 000125
【図４Ｌ】
2011524714.tif 000126
【図４Ｍ】
2011524714.tif 000127
【図５】
2011524714.tif 000128
【図６】
2011524714.tif 000129
【図７】
2011524714.tif 000130
【図８】
2011524714.tif 000131
【図９】
2011524714.tif 000132
【図１０】
2011524714.tif 000133
【図１１】
2011524714.tif 000134
【図１２】
2011524714.tif 000135
【図１３Ａ】
2011524714.tif 000136
【図１３Ｂ】
2011524714.tif 000137
【図１３Ｃ】
2011524714.tif 000138
【図１３Ｄ】
2011524714.tif 000139
【図１３Ｅ】
2011524714.tif 000140
【手続補正書】
【提出日】平成22年12月20日(2010.12.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の解像度にあるメディアの第１のバージョンを受け取るステップと、
少なくとも１つの変換及び適応閾値判定を使用して、前記第１の解像度以上の第２の解像度にあるメディアの第２のバージョンを生成するステップと、
を含み、
前記メディアの第２のバージョンを生成するステップが、
前記メディアのバージョンにおいてサブフレームを選択するサブステップと、
各ピクセルにおいて選択されたサブフレームに対する前記少なくとも１つの変換を適応的に選択するサブステップと、
前記サブフレームに前記少なくとも１つの変換を適用して、変換係数を生成するサブステップと、
を含む、
方法。
【請求項２】
前記メディアの第２のバージョンを生成するステップが、
少なくとも１つの歪曲変換をサブフレームに適用して、変換係数を生成するサブステップ、を含む、請求項１に記載の方法。
【請求項３】
前記少なくとも１つの歪曲変換が、２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を含む、請求項２に記載の方法。
【請求項４】
前記方法は、
前記メディアの前記第１のバージョンをアップサンプリングすることによって生成される画像内でサブフレームを適応的に選択するステップ、をさらに含み、
前記少なくとも１つの歪曲変換をサブフレームに適用して、変換係数を生成するサブステップが、前記画像内の前記選択されたサブフレームの各々に変換を適用することを含む、請求項２に記載の方法。
【請求項５】
前記サブフレームが、前記画像内の各ピクセルにおいて適応的に選択される、請求項４に記載の方法。
【請求項６】
前記少なくとも１つの歪曲変換が、２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を含む、請求項４に記載の方法。
【請求項７】
前記少なくとも１つの変換が、２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を含む、請求項１に記載の方法。
【請求項８】
前記適応閾値判定が、空間的適応閾値の適用を含む、請求項１に記載の方法。
【請求項９】
前記メディアの第２のバージョンを生成するステップが、
適応閾値を計算するサブステップと、
前記適応閾値を用いて、変換係数を閾値判定するサブステップと、
を含む、請求項１に記載の方法。
【請求項１０】
前記メディアの第２のバージョンを生成するステップが、
メディアの前記第１のバージョンをアップサンプリングして、アップサンプリングされた画像を生成するサブステップと、
各サブフレームに対する変換を使用して、前記アップサンプリングされた画像内のサブフレームを変換するサブステップと、
適応閾値を用いて、変換された各サブフレームの変換係数を閾値判定するサブステップと、
前記閾値判定された変換係数を逆変換して、ピクセル領域において処理されたサブフレームを形成するサブステップと、
前記処理されたサブフレームを組み合わせて、新しいフレームを生成するサブステップと、
前記新しいフレームにデータ一貫性操作を適用するサブステップと、
を含む、請求項１に記載の方法。
【請求項１１】
前記変換が、２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を含む、請求項１０に記載の方法。
【請求項１２】
前記方法は、
あらゆるピクセルにおいて正規となるように、前記サブフレームを設定するステップをさらに含む、請求項１１に記載の方法。
【請求項１３】
前記方法は、
あらゆるピクセルにおいて正規となるように、前記サブフレームを設定するステップをさらに含む、請求項１０に記載の方法。
【請求項１４】
各ピクセルにおいて選択されたサブフレームに対する前記少なくとも１つの変換を適応的に選択するサブステップが、閾値に基づいて行われる、請求項１に記載の方法。
【請求項１５】
前記方法は、
前記アップサンプリングされた画像内の各ピクセルにおいて、サブフレームを適応的に選択するステップをさらに含む、請求項１０に記載の方法。
【請求項１６】
前記アップサンプリングされた画像内のサブフレームを変換するサブステップが、前記選択されたサブフレームに変換を適用することを含み、
前記変換が、２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を含む、請求項１５に記載の方法。
【請求項１７】
前記方法は、
１つ以上の適応閾値を計算するステップをさらに含み、
適応閾値を用いて、変換された各サブフレームの変換係数を閾値判定するサブステップが、前記１つ以上の適応閾値のうちの１つを用いて、変換された各サブフレームの変換係数を閾値判定することを含む、請求項１０に記載の方法。
【請求項１８】
各ピクセルにおいて選択されたサブフレームに対する前記少なくとも１つの変換を適応的に選択するサブステップが、閾値に基づいて行われる、請求項１７に記載の方法。
【請求項１９】
各ピクセルにおいて選択されたサブフレームに対する前記少なくとも１つの変換を適応的に選択するサブステップが、閾値に基づいて行われる、請求項１０に記載の方法。
【請求項２０】
前記方法は、
サイド情報を送るステップをさらに含む、請求項１０に記載の方法。
【請求項２１】
前記方法は、
前記メディアの前記第２のバージョンを生成するのに使用された操作を反復的に繰り返して、前記メディアの第３のバージョンを生成するステップをさらに含む、請求項１０に記載の方法。
【請求項２２】
前記メディアの第２のバージョンを生成するステップが、
メディアの前記第１のバージョンをアップサンプリングするサブステップと、
前記アップサンプリングされた画像内の各ピクセルに対してサブフレームを適応的に選択するサブステップと、
変換を使用して、選択された各サブフレームを変換するサブステップであって、前記変換が、２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を含む、サブステップと、
前記変換係数を閾値判定するサブステップと、
前記閾値判定された変換係数を逆変換して、ピクセル領域において処理されたサブフレームを形成するサブステップと、
前記処理されたサブフレームを組み合わせて、新しいフレームを生成するサブステップと、
前記メディアの前記第１のバージョンよりも高い解像度にある前記メディアの第２のバージョンが生成されるように、前記新しいフレームにデータ一貫性操作を適用するサブステップと、
を含む、請求項１に記載の方法。
【請求項２３】
前記メディアの前記第１のバージョンが、カメラによって生成される、請求項２２に記載の方法。
【請求項２４】
前記変換が、歪曲変換である、請求項２２に記載の方法。
【請求項２５】
前記第１の解像度にあるメディアの前記第１のバージョンが、ビデオ復号器において生成され、
前記メディアの前記第２のバージョンを生成するステップが、前記ビデオ復号器における後処理操作の一部として実行される、請求項１に記載の方法。
【請求項２６】
第１の解像度にあるメディアの第１のバージョンを受け取るステップと、
少なくとも１つの変換及び適応閾値判定を使用して、前記第１の解像度以上の第２の解像度にある前記メディアの第２のバージョンを生成するステップと、
を含み、
前記第１の解像度にあるメディアの前記第１のバージョンは、ビデオ復号器において生成され、
前記メディアの前記第２のバージョンを生成するステップが、前記ビデオ復号器内のループフィルタによって一部として実行される、
方法。
【請求項２７】
第１の解像度にあるメディアの第１のバージョンを受け取るステップと、
少なくとも１つの変換及び適応閾値判定を使用して、前記第１の解像度以上の第２の解像度にある前記メディアの第２のバージョンを生成するステップと、
を含み、
メディアの前記第１のバージョンは、ワイヤレス通信システムにおいて送信されたことに応答して、モバイルデバイスによって受信され、
前記メディアの前記第２のバージョンを、表示のために高解像度ディスプレイに送るステップ、をさらに含む、
方法。
【請求項２８】
前記モバイルデバイスが、前記第２のバージョンを生成し、前記第２のバージョンを前記高解像度ディスプレイに送る、請求項２７に記載の方法。
【請求項２９】
前記モバイルデバイスが、前記第１のバージョンをドッキングステーションに送り、前記ドッキングステーションが、前記第２のバージョンを生成し、前記第２のバージョンを前記高解像度ディスプレイに送る、請求項２７に記載の方法。
【請求項３０】
メディアの前記第１のバージョンが、ネットワークを介して端末によって受信されたビデオであり、前記端末が、表示のために前記第２のバージョンを生成する、請求項１に記載の方法。
【請求項３１】
複数のサブフレームの各々に対する変換を適応的に選択するステップと、
各サブフレームに対する適応的に選択された変換を使用して、画像内のサブフレームを変換するステップと、
適応閾値を用いて、変換された各サブフレームの変換係数を閾値判定するステップと、
前記閾値判定された変換係数を逆変換して、ピクセル領域において処理されたサブフレームを形成するステップと、
前記処理されたサブフレームを組み合わせて、新しいフレームを生成するステップと、
を含む方法。
【請求項３２】
前記変換が、歪曲変換である、請求項３１に記載の方法。
【請求項３３】
前記方法は、
第１の解像度にある前記メディアの第１のバージョンをアップサンプリングして、前記画像を生成するステップ、
をさらに含む、請求項３１に記載の方法。
【請求項３４】
前記方法は、
前記新しいフレームにデータ一貫性操作を適用するステップ、
をさらに含む、請求項３３に記載の方法。
【請求項３５】
各サブフレームに対する変換を適応的に選択するステップが、閾値に基づいて行われる、請求項３１に記載の方法。
【請求項３６】
前記方法は、
前記アップサンプリングされた画像内の各ピクセルにおいて、サブフレームを適応的に選択するステップ、をさらに含む、請求項３１に記載の方法。
【請求項３７】
前記アップサンプリングされた画像内のサブフレームを変換するステップが、
前記選択されたサブフレームに２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を適用するサブステップ、を含む、請求項３６に記載の方法。
【請求項３８】
前記方法は、
１つ以上の適応閾値を計算するステップ、をさらに含み、
適応閾値を用いて、変換された各サブフレームの変換係数を閾値判定するステップが、前記１つ以上の適応閾値のうちの１つを用いて、変換された各サブフレームの変換係数を閾値判定するサブステップ、を含む、請求項３１に記載の方法。
【請求項３９】
前記方法は、
各ピクセルにおいて選択されたサブフレームに対する前記変換を適応的に選択するステップをさらに含む、請求項３８に記載の方法。
【請求項４０】
各ピクセルにおいて選択されたサブフレームに対する前記変換を適応的に選択するステップが、変換係数を閾値判定するときに使用される閾値に基づいて行われる、請求項３１に記載の方法。
【請求項４１】
前記方法は、
サイド情報を送るステップをさらに含む、請求項３１に記載の方法。
【請求項４２】
閾値に基づいて、複数のサブフレームの各サブフレームに対する変換を適応的に選択するステップと、
適応的に選択された変換を使用して、選択された各サブフレームを変換するステップであって、前記変換が、２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を含む、ステップと、
非適応閾値を使用して変換係数を閾値判定するステップと、
前記閾値判定された変換係数を逆変換して、ピクセル領域において処理されたサブフレームを形成するステップと、
前記処理されたサブフレームを組み合わせて、新しいフレームを生成するステップと、
を含む方法。
【請求項４３】
前記方法は、
メディアの第１のバージョンをアップサンプリングするステップと、
前記アップサンプリングされた画像内の各ピクセルに対して、サブフレームを適応的に選択するステップと、
をさらに含む、請求項４２に記載の方法。
【請求項４４】
前記方法は、
前記新しいフレームにデータ一貫性操作を適用するステップ、
をさらに含む、請求項４２に記載の方法。
【請求項４５】
前記選択された各サブフレームが、ビデオ復号器において生成され、
前記新しいフレームを生成するステップが、前記ビデオ復号器における後処理操作の一部として実行される、請求項４２に記載の方法。
【請求項４６】
前記選択された各サブフレームが、ビデオ復号器において生成され、
前記新しいフレームを生成するステップが、前記ビデオ復号器におけるループフィルタによって一部として実行される、請求項４２に記載の方法。
【請求項４７】
前記選択された各サブフレームが、ワイヤレス通信システムにおいて送信されたことに応答して、モバイルデバイスによって受信され、
前記方法は、
前記新しいフレームを、表示のために高解像度ディスプレイに送るステップ、をさらに含む、請求項４２に記載の方法。
【請求項４８】
前記モバイルデバイスが、前記新しいフレームを生成し、前記新しいフレームを前記高解像度ディスプレイに送る、請求項４７に記載の方法。
【請求項４９】
前記モバイルデバイスが、前記選択された各サブフレームをドッキングステーションに送り、前記ドッキングステーションが、前記新しいフレームを生成し、前記新しいフレームを前記高解像度ディスプレイに送る、請求項４７に記載の方法。
【請求項５０】
前記選択された各サブフレームが、ネットワークを介して端末によって受信されたビデオの一部であり、前記端末が、表示のために前記新しいフレームを生成する、請求項４２に記載の方法。
【請求項５１】
システムによって実行された場合に、前記システムに、
第１の解像度にあるメディアの第１のバージョンを受け取るステップと、
少なくとも１つの変換及び適応閾値判定を使用して、前記第１の解像度以上の第２の解像度にある前記メディアの第２のバージョンを生成するステップと、を含み、
前記メディアの第２のバージョンを生成するステップが、前記メディアのバージョンにおいてサブフレームを選択するサブステップと、各ピクセルにおいて選択されたサブフレームに対する前記少なくとも１つの変換を適応的に選択するサブステップと、前記サブフレームに前記少なくとも１つの変換を適用して、変換係数を生成するサブステップと、を含む方法、
を実行させる命令を保存する１つ又は複数のコンピュータ可読記憶媒体を有する製造品。
【請求項５２】
前記メディアの第２のバージョンを生成するステップが、
サブフレームに変換を適用して変換係数を生成するサブステップであって、前記変換が、２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を含む、当該サブステップ、
を含む、請求項５１に記載の製造品。
【請求項５３】
前記方法が、前記メディアの前記第１のバージョンをアップサンプリングすることによって生成される画像内でサブフレームを適応的に選択するステップをさらに含み、
少なくとも１つの歪曲変換をサブフレームに適用して、変換係数を生成するサブステップが、前記画像内の前記選択されたサブフレームの各々に変換を適用することであって、前記変換が２Ｄ分離可能ＤＣＴ又は２Ｄアダマール変換を含む、当該変換を適用すること、を含む、請求項５２に記載の製造品。
【請求項５４】
前記サブフレームが、前記画像内の各ピクセルにおいて適応的に選択される、請求項５３に記載の製造品。
【請求項５５】
前記適応閾値が、空間的適応閾値を含む、請求項５１に記載の製造品。
【請求項５６】
前記メディアの第２のバージョンを生成するステップが、
適応閾値を計算するサブステップと、
前記適応閾値を用いて、変換係数を閾値判定するサブステップと、
を含む、請求項５１に記載の製造品。
【請求項５７】
前記処理されたサブフレームを組み合わせて、前記新しいフレームを生成するサブステップが、
前記処理されたサブフレームの各々に対して重みを計算することと、
前記計算された重みに基づいて、前記処理されたサブフレームの重み付けバージョンを組み合わせることと、を含み、
前記計算された重みが、
【数１】
2011524714.tif 000141
に従って計算され、ここで、ｗｉは、前記処理されたサブフレームのうちのサブフレームｉの前記重みであり、ｅｍｉｎは、最小平均２乗誤差を表す定数であり、ｄｉは、サブフレームｉの変換係数のベクトルであり、
【数２】
2011524714.tif 000142
は、ｄｉの処理されたバージョンを表すベクトルである、
請求項１０に記載の方法。
【請求項５８】
前記新しいフレームに前記データ一貫性操作を適用するサブステップが、
モデル化されたローパスフィルタを適用して、前記新しいフレームをダウンサンプリングすることと、
前記ダウンサンプリングされたフレームを前記メディアの前記第１のバージョンから減算することによって、差フレームを計算することと、
前記差フレームをアップサンプリングして、アップサンプリングされた差フレームを形成することと、
前記アップサンプリングされた差フレームを前記新しいフレームに加算することと、
を含む、請求項１０に記載の方法。
【請求項５９】
前記モデル化されたローパスフィルタが、ドベシ７／９ウェーブレットフィルタである、請求項５８に記載の方法。
【請求項６０】
前記操作を反復的に繰り返すステップが、１〜４回反復実行される、請求項２１に記載の方法。
【請求項６１】
前記適応閾値が、マスタ閾値に基づいて計算される、請求項６０に記載の方法。
【請求項６２】
前記マスタ閾値は、
最初の反復については、１００に設定され、
前記最初の反復に後続する各反復については、１００を反復回数で除算したのに等しい数だけ減らされる、請求項６０に記載の方法。
【国際調査報告】
2011524714.tif 000143
2011524714.tif 000144
2011524714.tif 000145