(57)【特許請求の範囲】
【請求項１】
入力ビデオを受け取るステップと、
空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、
を含み、
空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための前記操作を実施するステップは、
サブフレームごとの空間変換を使用して現在フレーム及び過去フレームのサブフレームを変換するサブステップと、
各変換済みサブフレームに対する空間変換係数を適応しきい値によってしきい値処理するサブステップと、
時間変換を使用して、しきい値処理された空間変換済み係数を変換するサブステップと、
各変換済みサブフレームに対する時間変換係数をしきい値によってしきい値処理して、しきい値処理された時間変換済み係数を生み出すサブステップと、
前記しきい値処理された時間変換係数を逆変換して、ピクセル領域における処理済みサブフレームを形成するサブステップと、
前記処理済みサブフレームを結合して、新しいフレームを生み出すサブステップと、
を含む方法。
【請求項２】
前記空間変換がワープ変換である、請求項１に記載の方法。
【請求項３】
各変換済みサブフレームに対する空間変換係数を適応しきい値によってしきい値処理する前記サブステップは、
第１のしきい値を使用して、前記現在フレームの前記サブフレームから生成された係数に対するしきい値処理を実施すること、及び、
第２のしきい値を使用して、前記過去フレームの前記サブフレームから生成された係数に対するしきい値処理を実施することを含み、
前記第２のしきい値は、前記第１のしきい値から独立して計算される、請求項１に記載の方法。
【請求項４】
前記方法は、１つ又は複数の適応しきい値を計算するステップをさらに含み、
各変換済みサブフレームに対する変換係数を適応しきい値によってしきい値処理する前記サブステップは、前記１つ又は複数の適応しきい値のうちの１つによって、各変換済みサブフレームに対する変換係数をしきい値処理することを含む、請求項１に記載の方法。
【請求項５】
前記方法は、
前記新しいフレームに少なくとも１つの順方向変換を適用して、前記新しいフレームのデータを変換領域における係数に変換するステップと、
前記係数に対して少なくとも１つのデータ処理を実施するステップと、
データ処理後の前記係数に対して少なくとも１つの逆変換を適用するステップと、
をさらに含む、請求項１に記載の方法。
【請求項６】
前記少なくとも１つのデータ処理は、
前記係数に対しアンシャープマスキングを施すことと、前記係数に向上因子を適用することと、からなるグループの１つ又は複数を含む、請求項５に記載の方法。
【請求項７】
入力ビデオを受け取るステップと、
空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、
を含み、
前記操作は、
入力ビデオの現在フレームから幾つかのピクセルにおけるサブフレームを選択し、出力ビデオの過去フレームから別のサブフレームを見つけること、
ワープ空間変換を選択し、前記サブフレームを空間変換領域に変換すること、
適応しきい値を導出し、前記現在フレームから選択したサブフレームの空間変換係数及び前記過去フレームから見つけたサブフレームの空間変換係数をしきい値処理すること、
しきい値処理された空間変換係数に時間変換を適用し、時間変換係数の選択されたサブセットをしきい値処理すること、
時間変換係数を、まず時間的に逆変換し、次いで空間的に逆変換して、処理済みサブフレームを得ること、並びに、
現在フレームに属するサブフレームであって以前に処理されたサブフレームと、前記処理済みサブフレームとを結合して、出力ビデオの新しいフレームを生み出すこと、
を含む方法。
【請求項８】
前記ワープ空間変換がピクセル適応性であり、前記適応しきい値がディテール保存性である、請求項７に記載の方法。
【請求項９】
前記過去フレームの前記サブフレームは、基準を満たすことに基づいて、突き止められる、請求項７に記載の方法。
【請求項１０】
前記基準は、
前記ピクセルの数と、
前記現在フレームの前記選択されたサブフレームと前記過去フレームの前記見つけられたサブフレームとの間のｐ−ノルムの全ての値のうちの最小値と、
前記現在フレームの前記選択されたサブフレームと前記過去フレームの前記見つけられたサブフレームとの間のｐ−ノルムの、前記過去フレームの幅と垂直及び水平オフセットとによって限定される範囲内の値のうちの最小値と、
前記現在フレームの前記選択されたサブフレームと前記過去フレームの前記見つけられたサブフレームとの間のｐ−ノルムの、前記過去フレームの幅とランダムに選択された水平及び垂直オフセットとによって限定される範囲内の値のうちの最小値と、
からなるグループ、のうちの１つに基づく、請求項９に記載の方法。
【請求項１１】
適応しきい値を導出し、前記現在フレームから選択したサブフレームの空間変換係数及び前記過去フレームから見つけたサブフレームの空間変換係数をしきい値処理することは、
変換係数の大きさがしきい値未満の場合は係数が０に設定されるハードしきい値処理を使用することを含む、請求項７に記載の方法。
【請求項１２】
適応しきい値を導出し、前記現在フレームから選択したサブフレームの空間変換係数及び前記過去フレームから見つけたサブフレームの空間変換係数をしきい値処理することは、ソフトしきい値処理を使用することを含む、請求項７に記載の方法。
【請求項１３】
前記方法は、
前記入力ビデオからの別のフレームに最もよく合致する、前記出力ビデオの出力ビデオフレームを選択するステップと、
前記出力ビデオフレームを前記過去フレームとして使用して前記操作を実施するステップと、
をさらに含む、請求項７に記載の方法。
【請求項１４】
前記方法は、
前記サブフレームがあらゆるピクセルにおいて規則的であるように当該サブフレームを設定するステップ、をさらに含む、請求項７に記載の方法。
【請求項１５】
前記方法は、
変換をサブフレームごとに適応的に選択するステップ、をさらに含む、請求項７に記載の方法。
【請求項１６】
前記方法は、
サブフレームを各ピクセルにおいて適応的に選択するステップ、をさらに含む、請求項７に記載の方法。
【請求項１７】
前記方法は、
１つ又は複数の適応しきい値を計算するステップをさらに含み、
各変換済みサブフレームに対する変換係数を適応しきい値によってしきい値処理することは、前記１つ又は複数の適応しきい値のうちの１つによって、各変換済みサブフレームに対する変換係数をしきい値処理することを含む、請求項７に記載の方法。
【請求項１８】
前記方法は、
各ピクセルにおいて選択されたサブフレームに対して前記変換を適応的に選択するステップ、をさらに含む、請求項１７に記載の方法。
【請求項１９】
前記方法は、
操作パラメータのベクトルを送るステップ、をさらに含む、請求項７に記載の方法。
【請求項２０】
しきい値処理された空間変換係数に時間変換を適用し、時間変換係数の選択されたサブセットをしきい値処理することは、
前記現在フレーム及び前記過去フレームからの前記サブフレームのしきい値処理された空間変換係数から第１の行列／ベクトルを形成することと、
前記第１の行列／ベクトル中の係数の選択されたサブセットにしきい値処理を適用して、第２の行列／ベクトルを生み出すことと、
を含み、
時間変換係数を、まず時間的に逆変換し、次いで空間的に逆変換して、処理済みサブフレームを得ることは、
前記第２の行列／ベクトルに逆時間変換を適用して、第３の行列／ベクトルを生成することと、
前記第３の行列／ベクトルに逆空間変換を適用して、前記処理済みサブフレームを作成することと、
を含む、請求項７に記載の方法。
【請求項２１】
入力ビデオを受け取るステップと、
空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、
を含み、
空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための前記操作を実施するステップは、
サブフレームごとの空間変換を使用して、現在フレームのサブフレーム及び過去フレームのサブフレームを変換するサブステップと、
時間変換を使用して、空間変換済み係数を変換するサブステップと、
各変換済みサブフレームに対する時間変換係数をしきい値によってしきい値処理して、しきい値処理された時間変換済み係数を生み出すサブステップと、
前記しきい値処理された時間変換済み係数を逆変換して、ピクセル領域における処理済みサブフレームを形成するステップと、
前記処理済みサブフレームを結合して新しいフレームを生み出すサブステップと、
を含む方法。
【請求項２２】
入力ビデオを受け取るステップと、
空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、
を含み、
前記操作は、
入力ビデオの現在フレーム及び出力ビデオの過去フレームから新しいフレームを形成すること、および、
前記新しいフレームのサブフレーム及び前記現在フレームのサブフレームを処理することと、
を含み、
前記新しいフレームのサブフレーム及び前記現在フレームのサブフレームを処理することは、
前記現在フレーム及び前記新しいフレームからのピクセルを使用して第１及び第２のサブフレームをそれぞれ生成し、ピクセルごとのサブフレームタイプに基づいて、前記第１及び第２のサブフレーム中の各ピクセルからそれぞれ形成されたベクトルを使用することと、
ワープ空間変換を選択し、前記第１及び第２のサブフレームを空間変換領域に変換することと、
適応しきい値を導出し、前記第１のサブフレームの変換係数をしきい値処理することと、
しきい値処理された変換係数と前記第２のサブフレームから生成された係数とを使用して行列／ベクトルを生成することと、
前記行列／ベクトル中の係数を逆変換して処理済みサブフレームを作成することと、
現在フレームに属し且つ前に処理されたサブフレームと前記処理済みサブフレームとを結合して、出力ビデオの新しいフレームを生み出すことと、
を含む方法。
【請求項２３】
前記現在フレーム及び前記過去フレームが、多次元色表現の全てのチャネルのサブセットのみについて前記フレームのチャネル情報を含む、請求項２２に記載の方法。
【請求項２４】
入力ビデオを受け取るステップと、
空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、
を含み、
前記操作は、
入力ビデオの現在フレームからいくつかのピクセルにおけるサブフレームを選択すること、
ワープ空間変換を選択し、前記サブフレームを空間変換領域に変換すること、
適応しきい値を導出し、前記現在フレームからのサブフレームの空間変換係数をしきい値処理すること、
空間変換係数を逆変換して処理済みサブフレームを得ること、及び、
現在フレームに属し且つ前に処理されたサブフレームと前記処理済みサブフレームとを結合して、出力ビデオの新しいフレームを生み出すこと、
を含む方法。
【請求項２５】
コンピュータに、
請求項１に記載の方法が含む各ステップを実行させるためのプログラム、
を記憶したコンピュータ読み取り可能な記憶媒体。
【請求項２６】
請求項１に記載の方法における前記空間変換がワープ変換である、請求項２５に記載のコンピュータ読み取り可能な記憶媒体。
【請求項２７】
コンピュータに、
請求項３に記載の方法が含む各ステップを実行させるためのプログラム、
を記憶したコンピュータ読み取り可能な記憶媒体。
【請求項２８】
コンピュータに、
請求項７に記載の方法が含む各ステップを実行させるためのプログラム、
を記憶したコンピュータ読み取り可能な記憶媒体。
【請求項２９】
請求項７に記載の方法における前記ワープ空間変換がピクセル適応性であり、前記適応しきい値がディテール保存性である、請求項２８に記載のコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[0003]本発明は一般に、ビデオシーケンスの処理に関する。より詳細には、本発明は、ビデオシーケンス中の雑音及びちらつきの少なくとも一方を低減することに関する。
【０００２】
[0001]本特許出願は、２００８年２月５日に出願された、「Ｆｌｉｃｋｅｒ  Ｒｅｄｕｃｔｉｏｎ  ｉｎ  Ｖｉｄｅｏ  Ｓｅｑｕｅｎｃｅｓ  Ｕｓｉｎｇ  Ｔｅｍｐｏｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ」という名称の、対応する仮特許出願第６１／０２６，４５３号の優先権を主張し、この仮特許出願を参照により組み込む。
【０００３】
[0002]本出願は、本発明の法人譲受人に譲渡された、２００８年６月１７日に出願された「Ｉｍａｇｅ／Ｖｉｄｅｏ  Ｑｕａｌｉｔｙ  Ｅｎｈａｎｃｅｍｅｎｔ  ａｎｄ  Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ  Ｕｓｉｎｇ  Ｓｐａｒｓｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ」という名称の同時係属出願、米国特許出願第１２／１４０，８２９号に関係する。
【背景技術】
【０００４】
[0004]カメラ制限のせいで、獲得中にモスキート雑音及び時間的ちらつきが引き起こされる。圧縮、ダウンサンプリング、及びアップサンプリングなど、ビデオ処理パイプライン中のモジュールは、アーチファクト、エイリアシング、リンギング、及び時間的ちらつきを阻止することにつながる。今日、多くの適用例で、画像及びビデオ信号処理が広く使用されている。これらの技法のいくつかを使用して、雑音及び時間的ちらつきが低減されてきた。
【発明の概要】
【０００５】
本明細書では、ビデオシーケンス中の雑音及びちらつきの少なくとも一方を低減するための方法及び装置を開示する。一実施形態では、本方法は、入力ビデオを受け取るステップと、空間処理及び時間処理を使用して、入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、を含む。
【０００６】
[0005]本発明は、以下に提供する詳細な説明、及び本発明の様々な実施形態に関する添付の図面から、より完全に理解されるであろう。しかし、図面は、本発明を特定の実施形態に限定するものと考えるべきではなく、説明及び理解のためのものに過ぎない。
【図面の簡単な説明】
【０００７】
【図１Ａ】入力ビデオ中の雑音及びちらつきの少なくとも一方を低減するための、雑音ちらつき低減モジュールの一実施形態を示す図である。
【図１Ｂ】入力ビデオ中の雑音及びちらつきの少なくとも一方を低減するための、雑音ちらつき低減モジュールの一実施形態を示す図である。
【図２】ビデオシーケンスに対して画像処理を実施するプロセスの一実施形態の流れ図である。
【図３】サブフレームタイプのライブラリに対応するマスクの例を示す図である。
【図４】ピクセルにラスタ走査順に番号が付けられたときの、ピクセルｉにおける例示的なサブフレームを示す図である。
【図５】サブフレームタイプ選択プロセスの一実施形態の流れ図である。
【図６】過去の出力フレームからのサブフレーム形成プロセスの一実施形態の流れ図である。
【図７】空間変換選択プロセスの一実施形態の流れ図である。
【図８】時間変換選択プロセスの一実施形態の流れ図である。
【図９】変換係数をしきい値処理するしきい値処理プロセスの一実施形態の流れ図である。
【図１０】サブフレームを結合してフレームを生み出すプロセスの一実施形態の流れ図である。
【図１１】単調減少階段関数を示す図である。
【図１２】ビデオシーケンスに対して画像処理を実施するプロセスの別の実施形態の流れ図である。
【図１３】選択されたピクセルの例示的なサブセットを示す図である。
【図１４】コンピュータシステムの一実施形態のブロック図である。
【発明を実施するための形態】
【０００８】
[0006]圧縮／非圧縮ビデオシーケンス中の雑音及びちらつきの少なくとも一方低減のための方法及び装置について述べる。本明細書においてビデオシーケンスは、順番に配置された、本明細書でフレームと呼ぶ複数の画像からなる。
【０００９】
[0007]一実施形態では、本明細書に開示する技法は、入力ビデオの現在フレームからいくつかのピクセルにおけるサブフレームを選択し、出力ビデオの過去フレームから基準を満たす別のサブフレームを見つけること、ピクセル適応性のワープ空間変換を選択し、サブフレームを空間変換領域に変換すること、ディテール保存性の適応しきい値を導出し、ハードしきい値処理（変換係数の大きさがしきい値未満の場合は０に設定する）、又はソフトしきい値処理など他のしきい値処理技法を使用して、現在フレーム及び過去フレームからのサブフレームの変換係数をしきい値処理すること、時間変換を使用して空間変換係数をさらに変換し、時間変換係数の選択されたサブセットをしきい値処理すること、時間変換係数をまず時間的に、次いで空間的に逆変換して、現在フレームと過去フレームの両方に属する処理済みサブフレームを得ること、並びに、入力ビデオからの現在フレームに属する処理済みサブフレームを結合して、出力ビデオのための現在フレームを得ることを含むが、これらに限定されない。これらの操作を、入力ビデオの全てのフレームについて繰り返すことができる。
【００１０】
[0008]以下の記述では、本発明のより完全な説明を提供するために多くの詳細を示す。しかし、これらの具体的詳細なしでも本発明を実施することができることは、当業者には明らかであろう。他の場合では、本発明を曖昧にするのを避けるために、周知の構造及びデバイスについては詳細に示すのではなくブロック図の形で示す。
【００１１】
[0009]後続の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する操作の、アルゴリズム及び象徴表現の点から提示する。これらのアルゴリズム的記述及び表現は、データ処理分野の当業者が他の当業者に自身の作業の実質を最も効果的に伝えるために使用される手段である。アルゴリズムは、ここでは、また一般的には、所望の結果につながる首尾一貫した一連のステップであると考えられる。これらのステップは、物理量の物理的操作を必要とするステップである。必ずしもそうとは限らないが通常は、これらの量は、記憶、転送、結合、比較、及び他の方法で操作することのできる電気的又は磁気的信号の形をとる。主に一般的な慣例の理由で、これらの信号をビット、値、要素、記号、文字、用語、数字などとして言及するのが時として好都合であることが証明されている。
【００１２】
[0010]しかし、これら及び類似の用語は全て、適切な物理量に関連付けられるべきであって単にこれらの量に適用される好都合なラベルに過ぎないことを念頭に置くべきである。特に指定がない限り、以下の考察から明らかなように、この記述全体を通して、「処理する」又は「計算する」又は「算出する」又は「決定する」又は「表示する」などの用語を利用した考察は、コンピュータシステムのレジスタ及びメモリ内の物理的（電子的）量として表されるデータを操作して、コンピュータシステムメモリ又はレジスタ又は他のそのような情報記憶、伝送、若しくは表示デバイス内で同様に物理量として表される他のデータに変換するコンピュータシステム又は類似の電子コンピューティングデバイスの、アクション及びプロセスを指すことを理解されたい。
【００１３】
[0011]本発明はまた、本明細書の操作を実施するための装置に関する。本装置は、必要とされる目的に向けて特に構築されたものであってもよく、或いは、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化又は再構成される汎用コンピュータを含んでもよい。このようなコンピュータプログラムは、コンピュータ可読記憶媒体に記憶することができ、コンピュータ可読記憶媒体は、フレキシブルディスクや光学ディスクやＣＤ−ＲＯＭや光磁気ディスクを含めた任意のタイプのディスク、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気若しくは光学カード、又は、電子的命令を記憶するのに適した任意のタイプの媒体など（ただしこれらに限定されない）であり、これらはそれぞれコンピュータシステムバスに結合される。
【００１４】
[0012]本明細書に提示するアルゴリズム及び表示は、どんな特定のコンピュータ又は他の装置にも本質的に関係しない。本明細書の教示に従ったプログラムと共に様々な汎用システムを使用することもでき、或いは、必要とされる方法ステップを実施するためのより特殊化された装置を構築するのが好都合であることが判明する場合もある。これらの様々なシステムに必要とされる構造は、以下の記述から明らかになるであろう。加えて、本発明は、どんな特定のプログラミング言語に関して述べるものでもない。様々なプログラミング言語を使用して、本明細書に述べる本発明の教示を実施することができることは、理解されるであろう。
【００１５】
[0013]機械可読媒体は、マシン（例えばコンピュータ）によって読取り可能な形で情報を記憶又は伝送するための任意の機構を含む。例えば、機械可読媒体は、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、電気的、光学的、音響、又は他の形の伝搬信号（例えば搬送波、赤外線信号、ディジタル信号など）等を含む。
【００１６】
概観
[0014]図１Ａに、入力ビデオ中の雑音及びちらつきの少なくとも一方を低減するための、雑音ちらつき低減モジュールの一実施形態を示す。図１Ａを参照すると、雑音ちらつき低減ブロック１０１が、入力ビデオ１００を受け取る。入力ビデオ１００は、雑音及びちらつきの少なくとも一方を含む。雑音ちらつき低減ブロック１０１はまた、本明細書でＯＰと呼ぶオプショナルパラメータのベクトルと、しきい値パラメータ
【数１】
0005419897.tif 000002
も受け取る。これらの入力に応答して、雑音ちらつき低減ブロック１０１は、雑音及びちらつきが低減された出力ビデオ１０２を生成する。
【００１７】
[0015]図１Ｂに、ビデオシーケンスに対して画像処理を実施するプロセスの一実施形態の流れ図を示す。このプロセスは、ハードウェア（回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム上若しくは専用マシン上で実行されるものなど）、又はこれらの組合せを含むことのできる、処理ロジックによって実施される。
【００１８】
[0016]図１Ｂを参照すると、プロセスは、処理ロジックが入力ビデオを受け取ることで開始する（処理ブロック１１１）。
【００１９】
[0017]入力ビデオを受け取るのに応答して、処理ロジックは、空間及び時間処理を使用して入力ビデオ中の雑音とちらつきの一方又は両方を低減するための操作を実施する（処理ブロック１１２）。一実施形態では、これらの操作は、係数の適応しきい値処理を伴う空間変換及び時間変換を適用することを含む。一実施形態では、空間変換及び時間変換を適用することは、少なくとも１つのワープ変換をサブフレームに適用して変換係数を生み出すことを含む。
【００２０】
[0018]図２に、ビデオシーケンスに対して画像処理を実施するプロセスの一実施形態のより詳細な流れ図を示す。このプロセスは、ハードウェア（回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム上若しくは専用マシン上で実行されるものなど）、又はこれらの組合せを含むことのできる、処理ロジックによって実施される。
【００２１】
[0019]以下に述べるプロセスでは、ｘは、本明細書に述べる技法によって処理されている入力ビデオシーケンスからの現在フレームを示し、
【数２】
0005419897.tif 000003
は、本明細書に述べる技法を使用した後で出力される過去フレームを示し、
【数３】
0005419897.tif 000004
は、画像処理プロセスによって使用されるしきい値パラメータを示す。さらに、他のオプショナルパラメータを含む、ＯＰで示されるベクトルを供給することができる。ユーザ又はアルゴリズムは、主観的／客観的品質の最適化を使用して、又はモデルベースの技法を使用して、又は他の方法を使用して、最も望ましいパラメータを決定することができる。較正アルゴリズムを使用することもできる。このようなアルゴリズムはまた、ビデオ処理パイプラインと入力ビデオのいずれか又は両方に関する部分的／完全な知識を利用することができる。一実施形態では、ピクセルをラスタ走査順に構成することによって全てのビデオフレームがベクトルで表され、Ｎは各ビデオフレーム中のピクセルの数を表す。
【００２２】
[0020]フレームｘが得られた後、図２の処理ブロック２０２のサブフレーム選択プロセスが開始する。サブフレームタイプＳが、Ｍ２×１整数値ベクトルとして定義される。本明細書において、Ｍは、０よりも大きい任意の整数とすることができる。｛Ｓ１，Ｓ２，Ｓ３，．．．｝は、サブフレームタイプのライブラリである。ピクセルにラスタ走査順に番号が付けられた場合に、フレームｘからの選択されたピクセルのセット中の各ピクセルｉにつき、サブフレームタイプｓｉがライブラリから選択され、ベクトルｐｉが
【数４】
0005419897.tif 000005
として形成され、ここで、
【数５】
0005419897.tif 000006
は、全ての要素が１に等しいＭ２×１ベクトルである。一実施形態では、選択されないピクセルの場合、ｐｉは０のベクトルである。選択されたピクセルのセットは、所定とすることもでき、或いはベクトルＯＰ内で信号伝達することもできる。この実施形態では、画像中の各ピクセルにつき、サブフレームが形成され処理される。すなわち、選択されたピクセルのセットは、フレーム中のピクセルのセット全体である。しかし、別の実施形態では、画像中の全てのピクセルに対してではなく、ピクセルの選択されたサブセットのみに対して処理が実施されてもよい。サブセットは、所定とすることもでき、或いはサイド情報の一部として信号伝達することもできる。図１３に、このようなサブセットの例を示す。本明細書に述べる教示により他のサブセットを使用してもよい。サブフレームと呼ばれるＭ２×１ベクトルｚｉが、ｐｉの要素に対応する位置におけるフレームｘのピクセル値を用いて形成される。ピクセルｉは、サブフレームｚｉに対するピボットと呼ばれる。図４に、ピクセルにラスタ走査順に番号が付けられたときの、ピクセルｉにおける例示的なサブフレームｚｉを示す。図４を参照すると、ピクセルのラスタ走査順序付けは、この順序で「１」からピクセルに番号を付けることによって行われる。サブフレームがピクセルｉでピボットされるのが示されている。サブフレームは、ワープ行と呼ばれるＭ個のベクトルに編成される。第１のワープ行は、この順序でサブフレーム要素１〜Ｍを有し、第２のワープ行は、要素（Ｍ＋１）〜２Ｍを有し、以下同様である。
【００２３】
[0021]一実施形態では、Ｍは４に等しく、サブフレームタイプのライブラリは、図３に示すマスクのセットに対応する。図３を参照すると、このサブフレームライブラリでは、マスクは、矢印で示されるような種々の方向に対応する。図３の（Ａ）のマスクは、通常の水平又は垂直方向に対応するので、本明細書ではこれを通常マスクと呼ぶ。他のマスクは、非自明な方向に対応するので、有向マスクと呼ぶ。マスク中のピクセル（「ａ」〜「ｐ」）の差分位置（Ω）は、Ω＝ＣＣ＋Ｗ×ＣＲとして定義され、ここで、Ｗはフレームｙの幅である。ＣＣは、当該の現在ピクセルの列に達するためにピクセル「ａ」の列から右に水平に移動させる必要のある列の数である。ＣＲは、当該の現在ピクセルの行に達するためにピクセル「ａ」の行から下に垂直に移動させる必要のある行の数である。例えば、図３の（Ｈ）のマスクの場合、ピクセル「ｃ」は、ＣＣ＝−１及びＣＲ＝２を有する。あるマスクに対応するサブフレームタイプは、「ａ」から「ｐ」まで順序付けられたそのマスク中のピクセルの差分位置を含むベクトルである。
【００２４】
[0022]一実施形態では、ピクセルに対するサブフレームタイプの選択は、常に通常マスクに対応するサブフレームタイプを選択することによって行われる。別の実施形態では、ピクセルに対するサブフレームタイプの選択は、選択された各ピクセルにつき、（１）形成されたサブフレームにわたる２次元ＤＣＴをサブフレームタイプごとに評価することによって、且つ（２）所与のしきい値Ｔについて、Ｔよりも大きい０でない変換係数の数を最小限にするサブフレームタイプを選択することによって、行われる。さらに別の実施形態では、ピクセルに対するサブフレームタイプの選択は、選択された各ピクセルにつき、全てのワープ行にわたって平均されたピクセル値のワープ行分散を最小限にするサブフレームタイプを選択することによって行われる。さらに別の実施形態では、ピクセルに対するサブフレームタイプの選択は、Ｋ×Ｌピクセルのブロックに対して、サブフレームタイプに対する各ピクセル票（ｖｏｔｅ）（全てのワープ行にわたって平均されたピクセル値のワープ行分散を最小限にするサブフレームタイプに基づく）を有することによって、且つ、Ｋ×Ｌブロック中の全てのピクセルについて票が最も多いサブフレームタイプを選択することによって行われ、ここで、Ｋ及びＬは、０よりも大きい任意の整数とすることができる。一実施形態では、Ｋ及びＬは、全て４に設定される。さらに別の実施形態では、ピクセルに対するサブフレームタイプの選択は、各ピクセルにつき、Ｋ×Ｌピクセルのブロックを形成し、このブロックに対して上記投票方式を使用してサブフレームタイプを選択することによって行われる。各ケースで、選択されたサブフレームタイプは、現在ピクセルに使用される。したがって、各マスクに対するこれらの測定された統計のうちの１つを使用して、サブフレームの選択が実施される。
【００２５】
[0023]図３に示すマスク以外のマスクを使用してもよいことに留意されたい。
【００２６】
[0024]図５は、サブフレーム選択処理の一実施形態の流れ図である。このプロセスは、ハードウェア（回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム上若しくは専用マシン上で実行されるものなど）、又はこれらの組合せを含むことのできる、処理ロジックによって実施される。
【００２７】
[0025]図５を参照すると、プロセスは、処理ロジックが、フレームｘを受け取り、サブフレームがピクセル適応であるかどうか判定することによって開始する（処理ブロック５０１）。サブフレームがピクセル適応でない場合は、処理ロジックは、全てのピクセルに対して通常サブフレームタイプを選択する（処理ブロック５０２）。フレームｘのサブフレームがピクセル適応である場合は、処理ロジックは、各ピクセルにつき、ワープ行分散を最小限にするサブフレームタイプをマークする（処理ブロック５０３）。これは、前述のようにサブフレームタイプのライブラリ（５１０）を使用して行われる。したがって、各ピクセルにつき、サブフレームタイプのライブラリのうち、ワープ行分散を最小限にするサブフレームタイプがマークされる。
【００２８】
[0026]次に、処理ロジックは、選択がブロックベースであるかどうか判定する（処理ブロック５０４）。選択がブロックベースであると処理ロジックが判定した場合は、処理ロジックは、各ブロック中で、各サブフレームタイプをマークしたピクセルの数をカウントし（処理ブロック５０６）、ブロック中の全てのピクセルに対して、そのブロック中で最も多くのピクセルによってマークされたサブフレームタイプを選択する（処理ブロック５０７）。言い換えれば、選択がブロックベースの場合、ブロック中の最も多くのピクセルによってマークされたサブフレームタイプが、そのブロック中の全てのピクセルに対して選択される。選択がブロックベースでないと処理ロジックが判定した場合は、処理ロジックは、各ピクセルに対して、そのピクセルによってマークされたサブフレームタイプを選択する（処理ブロック５０５）。言い換えれば、各ピクセルは、それ自体によってマークされたサブフレームタイプを選択する。
【００２９】
[0027]各ピクセルに対するサブフレームタイプの選択は、ベクトルＯＰ内で信号伝達することができる。
【００３０】
[0028]サブフレームタイプｓｉを使用してベクトル
【数６】
0005419897.tif 000007
が形成され、ここで、ｍｉは整数であり、
【数７】
0005419897.tif 000008
は、全ての要素が１に等しいＭ２×１ベクトルである。処理ロジックはまた、
【数８】
0005419897.tif 000009
の要素に対応する位置における過去の出力フレーム
【数９】
0005419897.tif 000010
のピクセル値を用いて、
【数１０】
0005419897.tif 000011
（やはりサブフレームである）で示されるＭ２×１ベクトルも形成する（処理ブロック２０３）。
【００３１】
[0029]ｍｉの選択は、いくつかの異なる方式で行うことができる。代替実施形態では、ｍｉの選択は、以下の方法のうちの１つで実施される。
【００３２】
ｉ．ｍｉ＝ｉ
ｉｉ．全ての可能な値から、ｚｉと
【数１１】
0005419897.tif 000012
との間のｐ−ノルム（ｐ≧０）である
【数１２】
0005419897.tif 000013
が最小限になるようなｍｉを選択する。
【００３３】
ｉｉｉ．上記「ｉｉ」に基づいてｍｉを選択するが、探索セットを｛ｊ：ｊ＝ｉ＋ｊｈ＋Ｗ×ｊｖ｝に制限し、ここで、Ｗはフレーム
【数１３】
0005419897.tif 000014
の幅であり、ｊｈ，ｊｖ∈｛−Ｊ，−（Ｊ−１），．．．，−１，０，１，．．．，Ｊ−１，Ｊ｝である。Ｊは、０以上の任意の整数である。一実施形態では、オプション「ｉｉｉ」が使用されるときは、Ｊの値は２に設定され、２−ノルムが使用される。
【００３４】
ｉｖ．上記「ｉｉｉ」に基づいてｍｉを計算し、値ｋ＝ｋｈ＋Ｗ×ｋｖをｍｉに加える。ここで、Ｗはフレーム
【数１４】
0005419897.tif 000015
の幅であり、ｋｈ，ｋｖは、セット｛−Ｋ，−（Ｋ−１），．．．，−１，０，１，．．．，Ｋ−１，Ｋ｝からのランダム生成された値である。Ｋは、０以上の任意の整数である。
【００３５】
ｍｉの選択は、ベクトルＯＰ内で信号伝達することができる。
【００３６】
[0030]別の実施形態では、強度補償や非線形予測フィルタなど（ただしこれらに限定されない）の技法を使用して過去の出力フレーム
【数１５】
0005419897.tif 000016
が処理されて、例えば輝度変化や場面フェードなどの問題が補償された後で、サブフレーム
【数１６】
0005419897.tif 000017
が形成される。
【００３７】
[0031]図６は、過去の出力フレームからのサブフレーム形成プロセスの一実施形態の流れ図である。このプロセスは、ハードウェア（回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム上若しくは専用マシン上で実行されるものなど）、又はこれらの組合せを含むことのできる、処理ロジックによって実施される。
【００３８】
[0032]図６を参照すると、プロセスは、処理ロジックが探索セット｛ｍ１，ｍ２，．．．｝を使用することによって開始し、各値ｍｊにつき、以下の式に従って
【数１７】
0005419897.tif 000018
を計算する（処理ブロック６０１）。
【数１８】
0005419897.tif 000019
[0033]次に、処理ロジックは、
【数１９】
0005419897.tif 000020
を使用して、フレーム
【数２０】
0005419897.tif 000021
からサブフレーム
【数２１】
0005419897.tif 000022
を形成する（処理ブロック６０２）。次いで処理ロジックは、各ｊにつき、ｐ−ノルム
【数２２】
0005419897.tif 000023
を計算する（処理ブロック６０３）。
【００３９】
[0034]ｐ−ノルムを計算した後、処理ロジックは、最小のｐ−ノルムを与えるようなｍｋを選択する。ｍｉをｍｋに等しく設定し、式
【数２３】
0005419897.tif 000024
に従って
【数２４】
0005419897.tif 000025
を設定し、
【数２５】
0005419897.tif 000026
を使用してサブフレーム
【数２６】
0005419897.tif 000027
を形成する（処理ブロック６０４）。
【００４０】
空間変換の選択及び適用
[0035]図２の処理ブロック２０４の一部として、処理ロジックはまた、空間変換の選択及び適用を実施する。より具体的には、処理ロジックは、ピクセル適応ワープ空間変換Ｈｉを使用して、サブフレームｚｉ及び
【数２７】
0005419897.tif 000028
を、ｅｉ及び
【数２８】
0005419897.tif 000029
にそれぞれ変換する。この変換は「ワープ」と呼ばれる。その理由は、変換基底のサポートが、サブフレーム形状に合致するようにワープしたからである。この変換はピクセル適応と呼ばれる。その理由は、サブフレームタイプの選択がピクセルごとに異なることに加えて、異なるピクセルにおいてピボットされるサブフレームが、異なる変換を使用することができるからである。変換Ｈｉは、分離ＤＣＴ、非分離ＤＣＴ、２次元ガボールウェーブレット、ステアラブル（Ｓｔｅｅｒａｂｌｅ）ピラミッド、２次元有向ウェーブレット、カーブレット（Ｃｕｒｖｅｌｅｔ）、及びコンタレット（Ｃｏｎｔｏｕｒｌｅｔ）などの、変換のライブラリから選択することができる。一実施形態では、使用される空間変換は、非適応方式の正規直交分離２次元ＤＣＴである。別の実施形態では、使用される空間変換は、非適応方式の正規直交分離２次元アダマール変換である。
【００４１】
[0036]分離変換は、ワープされた後で非分離になることに留意されたい。変換の選択は、アプリオリに固定されていてもよく、或いは、異なるピクセルにおいてピボットされる異なるサブフレームに対して適応的であってもよい。適応の場合、選択される変換は、絶対値がマスタしきい値
【数２９】
0005419897.tif 000030
よりも大きいｅｉ中の係数の数が最も少ない変換である。
【００４２】
[0037]図７に、サブフレームに対する空間変換選択プロセスの一実施形態の流れ図を示す。このプロセスは、ハードウェア（回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム上若しくは専用マシン上で実行されるものなど）、又はこれらの組合せを含むことのできる、処理ロジックによって実施される。
【００４３】
[0038]図７を参照すると、プロセスは、変換がピクセル適応であるかどうかを処理ロジックがテストすることによって開始する（処理ブロック７０１）。このテストは、リストを参照することによって実施することができる。一実施形態では、リストは、変換が非適応であるようなリストとすることができる。別の実施形態では、リストは、ベクトルＯＰ内で信号伝達することができる。変換がピクセル適応でないと処理ロジックが判定した場合は、処理ロジックは、変換Ｈｉとして使用するための２次元正規直交分離ＤＣＴを選択し、変換をサブフレームｚｉに適用することによって変換係数ｅｉを生成し、変換をサブフレーム
【数３０】
0005419897.tif 000031
に適用することによって変換係数
【数３１】
0005419897.tif 000032
を生成する（処理ブロック７０２）。
【００４４】
[0039]変換がピクセル適応であると処理ロジックが判定した場合は、処理ロジックは、変換のライブラリ｛Ｈ１，Ｈ２，．．．．｝（処理ブロック７０４）中の各変換Ｈｊにつき、以下の式
ｅｊ＝Ｈｊ×ｚｉ
を使用して変換係数ｅｊを計算する（処理ブロック７０３）。変換係数ｅｊは、変換Ｈｊに対応する。
【００４５】
[0040]次に、処理ロジックは、各ｊにつき、絶対値がしきい値
【数３２】
0005419897.tif 000033
よりも大きいｅｊ中の係数の数をカウントし（処理ブロック７０５）、最少カウントの変換Ｈｋを変換のライブラリから選択し、変換Ｈｉを、最少カウントに対応する変換（Ｈｋ）に等しく設定し、次いで、係数ｅｉを変換係数ｅｋに等しく設定し、変換Ｈｉをサブフレーム
【数３３】
0005419897.tif 000034
に適用することによって変換係数
【数３４】
0005419897.tif 000035
を生成する（処理ブロック７０６）。
【００４６】
[0041]空間変換の選択は、ベクトルＯＰ内で信号伝達することができる。
【００４７】
しきい値処理
[0042]図２の処理ブロック２０４の一部として、処理ロジックはまた、しきい値処理を実施する。より具体的には、処理ロジックは、ｅｉの選択された要素に適応しきい値
【数３５】
0005419897.tif 000036
を適用してａｉを得る。一実施形態では、ｅｉの全ての要素が選択される。別の実施形態では、第１の要素（通常はＤＣ要素）を除いた全ての要素が選択される。さらに別の実施形態では、どの要素も選択されない。変換係数ｅｉはまた、マスタしきい値
【数３６】
0005419897.tif 000037
を使用してしきい値処理されて、
【数３７】
0005419897.tif 000038
が得られる。しきい値処理操作は、例えばハードしきい値処理及びソフトしきい値処理など、様々な方法で行うことができる。ハードしきい値処理操作は、
【数３８】
0005419897.tif 000039
として定義され、ここで、Ｔは、使用されるしきい値である。同様に、Ｔをしきい値とするソフトしきい値処理操作は、以下のように定義される。
【数３９】
0005419897.tif 000040
代替実施形態では、しきい値
【数４０】
0005419897.tif 000041
が、以下の方法のうちの１つで計算される。
【数４１】
0005419897.tif 000042
ここで、ｆ（  ）は関数を表す。
【数４２】
0005419897.tif 000043
ここで、ｆ（  ）は関数を表す。
【数４３】
0005419897.tif 000044
関数ｆ（  ）は、図１１に示すような単調減少階段関数である。一実施形態では、関数のステップ位置（ｆ１，ｆ２，．．．，ｆｎ及びＥ１，Ｅ２，．．．，Ｅｎ）が訓練セットに対して調整されて、再構築画像／ビデオ品質における局所最適が達成される。一実施形態では、このしきい値計算は、ハードしきい値処理で使用される。
(6)
【数４４】
0005419897.tif 000045
の可能な値に対して探索を実施して、
【数４５】
0005419897.tif 000046
であるようなａｉ中の０でない要素の数を最小限にする。Ｅｌｏｃａｌはサイド情報の一部とすることができ、或いはデフォルト値を使用してもよい。これは、アルゴリズムに関する設定と見なすことができる。一実施形態では、デフォルト値は、訓練セットに対して調整して、再構築画像／ビデオ品質における局所最適を達成する値を選択することによって、得ることができる。
(7)
【数４６】
0005419897.tif 000047
の可能な値に対してジョイント探索を実施して、
【数４７】
0005419897.tif 000048
であるような、全てのｋ∈｛１，２，．．．，Ｎ｝にわたって合計されたａｋ中の０でない要素の総数を最小限にする。Ｅｇｌｏｂａｌはサイド情報の一部とすることができ、或いはデフォルト値を使用してもよい。これは、アルゴリズムに関する設定と見なすことができる。一実施形態では、デフォルト値は、訓練セットに対して調整して、再構築画像／ビデオ品質における局所最適を達成する値を選択することによって、得ることができる。
【数４８】
0005419897.tif 000049
の値は、ベクトルＯＰ内で信号伝達することができる。別の実施形態では、
【数４９】
0005419897.tif 000050
を計算するのに使用されるオプションの選択を、ベクトルＯＰ内で信号伝達することができる。
【００４８】
[0043]
【数５０】
0005419897.tif 000051
の選択された要素に適応しきい値
【数５１】
0005419897.tif 000052
が適用されて、
【数５２】
0005419897.tif 000053
が得られる。一実施形態では、
【数５３】
0005419897.tif 000054
の全ての要素が選択される。別の実施形態では、第１の要素（通常はＤＣ要素）を除いた全ての要素が選択される。さらに別の実施形態では、どの要素も選択されない。変換係数
【数５４】
0005419897.tif 000055
はまた、マスタしきい値
【数５５】
0005419897.tif 000056
を使用してしきい値処理されて、
【数５６】
0005419897.tif 000057
が得られる。しきい値処理操作は、前述のハードしきい値処理及びソフトしきい値処理など、様々な方法で行うことができる。
【００４９】
[0044]代替実施形態では、しきい値
【数５７】
0005419897.tif 000058
は、以下の方法のうちの１つで計算される。
【数５８】
0005419897.tif 000059
ここで、ｆ（  ）は関数を表す。
【数５９】
0005419897.tif 000060
ここで、ｆ（  ）は関数を表す。
【数６０】
0005419897.tif 000061
関数ｆ（  ）は、図１１に示すような単調減少階段関数である。関数のステップ位置（ｆ１，ｆ２，．．．，ｆｎ及びＥ１，Ｅ２，．．．，Ｅｎ）が訓練セットに対して調整されて、局所最適が達成される。一実施形態では、このしきい値計算が使用され、ハードしきい値処理がしきい値処理操作に使用される。
(6)
【数６１】
0005419897.tif 000062
の可能な値に対して探索を実施して、
【数６２】
0005419897.tif 000063
であるような
【数６３】
0005419897.tif 000064
中の０でない要素の数を最小限にする。Ｅｌｏｃａｌはサイド情報の一部とすることができ、或いはデフォルト値を使用してもよい。これは、アルゴリズムに関する設定と見なすことができる。一実施形態では、デフォルト値は、訓練セットに対して調整して、再構築画像／ビデオ品質における局所最適を達成する値を選択することによって、得ることができる。
(7)
【数６４】
0005419897.tif 000065
の可能な値に対してジョイント探索を実施して、
【数６５】
0005419897.tif 000066
であるような、全てのｋ∈｛１，２，．．．，Ｎ｝にわたって合計された
【数６６】
0005419897.tif 000067
中の０でない要素の総数を最小限にする。Ｅｇｌｏｂａｌはサイド情報の一部とすることができ、或いはデフォルト値を使用してもよい。これは、アルゴリズムに関する設定と見なすことができる。一実施形態では、デフォルト値は、訓練セットに対して調整して、再構築画像／ビデオ品質における局所最適を達成する値を選択することによって、得ることができる。
【００５０】
一実施形態では、
【数６７】
0005419897.tif 000068
の値は、ベクトルＯＰ内で信号伝達される。別の実施形態では、
【数６８】
0005419897.tif 000069
を計算するのに使用されるオプションの選択が、ベクトルＯＰ内で信号伝達される。
【００５１】
時間変換の選択及び適用
[0045]処理ブロック２０５で、処理ロジックは、しきい値処理の結果、すなわちベクトルａｉ及び
【数６９】
0005419897.tif 000070
を使用して、Ｍ２×２行列
【数７０】
0005419897.tif 000071
を形成する。本明細書において、関数ｈ（  ）は、輝度変化に合致するための、
【数７１】
0005419897.tif 000072
の全ての要素の恒等関数若しくは単純な線形スケーリング、又は、フェードなどのより複雑な場面特性を取り込むためのより一般的な関数とすることができる。処理ロジックは、ピクセル適応時間変換Ｇｉを使用して、
【数７２】
0005419897.tif 000073
をｂｉに変換する。
【数７３】
0005419897.tif 000074
変換Ｇｉは、変換のライブラリから選択することができる。変換は、ピクセル適応と呼ばれる。その理由は、異なるピクセルにおいてピボットされるサブフレームが、異なる変換を使用することができるからである。適応の場合、選択される変換は、絶対値がマスタしきい値
【数７４】
0005419897.tif 000075
よりも大きいｂｉ中の係数の数が最も少ない変換である。
【００５２】
[0046]図８は、時間変換選択プロセスの一実施形態の流れ図である。このプロセスは、ハードウェア（回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム上若しくは専用マシン上で実行されるものなど）、又はこれらの組合せを含むことのできる、処理ロジックによって実施される。
【００５３】
[0047]図８を参照すると、プロセスは、変換がピクセル適応であるかどうかを処理ロジックがテストすることによって開始する（処理ブロック８０１）。このテストは、リストを参照することによって実施することができる。一実施形態では、リストは、変換が非適応であるようなリストとすることができる。別の実施形態では、リストは、ベクトルＯＰ内で信号伝達することができる。変換がピクセル適応でないと処理ロジックが判定した場合は、処理ロジックは、デフォルト時間変換に基づいて変換Ｇｉを選択し、変換Ｇｉを行列
【数７５】
0005419897.tif 000076
に適用することによって変換係数ｂｉを生成する（処理ブロック８０２）。一実施形態では、使用されるデフォルト時間変換はハール変換、すなわち
【数７６】
0005419897.tif 000077
である。時間変換の選択は、ベクトルＯＰ内で信号伝達することができる。
【００５４】
[0048]変換がピクセル適応であると処理ロジックが判定した場合は、処理ロジックは、変換のライブラリ｛Ｇ１，Ｇ２，．．．．｝（処理ブロック８０４）中の各変換Ｇｊにつき、式
【数７７】
0005419897.tif 000078
を使用して変換係数ｂｊを計算する（処理ブロック８０３）。
【００５５】
変換係数ｂｊは、変換Ｇｊに対応する。
【００５６】
[0049]次に、処理ロジックは、各ｊにつき、絶対値がマスタしきい値
【数７８】
0005419897.tif 000079
よりも大きいｂｊ中の係数の数をカウントし（処理ブロック８０５）、次いで、最少カウントの変換Ｇｋを変換のライブラリから選択し、変換Ｇｉを、最少カウントに対応する変換（Ｇｋ）に等しく設定し、次いで、係数ｂｉを変換係数ｂｋに等しく設定する（処理ブロック８０６）。
【００５７】
時間変換後のしきい値処理
[0050]変換係数ｂｉを生成した後、
【数７９】
0005419897.tif 000080
を使用して変換係数ｂｉがしきい値処理されて、ｃｉが得られる（図２の処理ブロック２０６）。しきい値処理操作は、前述のように、ハードしきい値処理及びソフトしきい値処理など、様々な方法で行うことができる。しきい値処理の選択は、ベクトルＯＰ内で信号伝達することができる。
【００５８】
[0051]一実施形態では、図９に示すようにハードしきい値処理が使用される。図９を参照すると、このハードしきい値処理は、ハードウェア（回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム上若しくは専用マシン上で実行されるものなど）、又はこれらの組合せを含むことのできる、処理ロジックによって実施される。
【００５９】
[0052]このハードしきい値処理は、マスタしきい値
【数８０】
0005419897.tif 000081
及び係数ｂｉを入力として使用して、処理ロジックが、各要素ｂｉｊ∈ｂｉにつき、以下の式
【数８１】
0005419897.tif 000082
に従って対応する要素ｃｉｊ∈ｃｉを計算することによって開始する（処理ブロック９０１）。このようにして、処理ロジックは、絶対値がマスタしきい値
【数８２】
0005419897.tif 000083
よりも小さい全ての係数を０に設定し、これらの係数はｃｉとして記憶される。
【００６０】
[0053]一実施形態では、アプリオリに選択されたｂｉのいくつかの要素は、しきい値処理されず、ｃｉ中のそれぞれの位置に直接コピーされる。特定の一実施形態では、ｂｉの第１の列中の要素はしきい値処理されない。しきい値処理されない要素のセットの選択は、ベクトルＯＰ内で信号伝達することができる。
【００６１】
[0054]一実施形態では、任意選択で、式ｃｉｊ＝ｃｉｊ＊αｊ０＋αｊ１を使用して要素ｃｉｊ∈ｃｉを向上させ、ここで、パラメータαｊ０、αｊ１は訓練セットに対して調整されて、再構築画像／ビデオ品質における局所最適が達成される。このような操作は、図２の処理ブロック２０６の後に行われることに留意されたい。一実施形態では、これらのパラメータはベクトルＯＰ内で信号伝達することができる。
【００６２】
逆変換
[0055]しきい値処理の後、処理ロジックは、
【数８３】
0005419897.tif 000084
を使用して係数を逆変換して（時間変換により）、
【数８４】
0005419897.tif 000085
を得る（処理ブロック２０７）。処理ロジックはまた、ｄｉに逆変換（空間）
【数８５】
0005419897.tif 000086
を適用して、処理済みサブフレーム
【数８６】
0005419897.tif 000087
を得る（処理ブロック２０８）。
【００６３】
[0056]一実施形態では、前の反復によって出力された過去フレームを使用せずに、現在フレームが処理される。この実施形態では、ベクトル
【数８７】
0005419897.tif 000088
及び、行列
【数８８】
0005419897.tif 000089
は計算されない。ベクトルｄｉは、ｄｉ＝ａｉとして得られ、ｄｉに逆変換（空間）
【数８９】
0005419897.tif 000090
が適用されて、処理済みサブフレーム
【数９０】
0005419897.tif 000091
が得られる。
【００６４】
[0057]別の実施形態では、単に直前の過去出力フレーム
【数９１】
0005419897.tif 000092
を使用するのではなく、画像処理の結果として出力された過去フレームのセット
【数９２】
0005419897.tif 000093
を使用することができる。ＮＰＦが、セット中の過去フレームの数を示すものとする。この場合、セット中の各過去フレームは、前述と同様にして、
【数９３】
0005419897.tif 000094
の１つの列に貢献する。出力フレーム
【数９４】
0005419897.tif 000095
は、
【数９５】
0005419897.tif 000096
の形で第２の列に貢献し、出力フレーム
【数９６】
0005419897.tif 000097
は、
【数９７】
0005419897.tif 000098
の形で第３の列に貢献し、以下同様である。一実施形態では、
【数９８】
0005419897.tif 000099
、ｂｉ、ｃｉ、及びｄｉは、サイズＭ２×（ＮＰＦ＋１）であり、Ｇｉは、サイズ（ＮＰＦ＋１）×（ＮＰＦ＋１）である。
【００６５】
サブフレームの結合
[0058]しきい値処理された係数に逆変換を適用した後、全ての処理済みサブフレームが重み付き方式で結合されて、フレームｙが形成される。一実施形態では、各処理済みサブフレーム
【数９９】
0005419897.tif 000100
につき、重みｗｉが計算される。代替実施形態では、ｅｉ及びａｉに基づく重みが、以下の方法のうちの１つで計算される。
(1)  ｗｉ＝１
(2)  ｗｉ＝ｆ（ｅｉ，ａｉ）  ここで、ｆ（  ）は関数を表す。
(3)  ＭＳＥオプション１：
【数１００】
0005419897.tif 000101
ここで、ｅｍｉｎは定数である。
(4)  Ｌ−ｐノルム（ｐ≧０）オプション１：
【数１０１】
0005419897.tif 000102
ここで、ｎｍｉｎは定数である。
(5)  調整重みオプション１：
【数１０２】
0005419897.tif 000103
ここで、ｆｔ（  ）は、セット｛１，２，．．．，Ｍ２｝（
【数１０３】
0005419897.tif 000104
の可能な値のセット）から［０，１］へのマッピングを表す。シミュレーテッドアニーリングなどの最適化アルゴリズムを使用してｆｔ（  ）が調整されて、訓練ビデオのセットに対する最良の性能（ＰＳＮＲなどのメトリクスを使用して、又は主観的スコアを使用して測定される）が得られる。
(6)  他の実施形態では、ｂｉ及びｃｉに基づく重み付けのための重みを、以下の方法のうちの１つで計算することができる。
(7)  ｗｉ＝ｆ（ｂｉ，ｃｉ）  ここで、ｆ（  ）は関数を表す。
(8)  ＭＳＥオプション２：
【数１０４】
0005419897.tif 000105
ここで、ｅｍｉｎは定数である。
(9)  Ｌ−ｐノルム（ｐ≧０）オプション２：
【数１０５】
0005419897.tif 000106
ここで、ｎｍｉｎは定数である。
(10)  調整重みオプション２：
【数１０６】
0005419897.tif 000107
ここで、ｆｔ（  ）は、セット｛１，２，．．．，２Ｍ２｝（
【数１０７】
0005419897.tif 000108
の可能な値のセット）から［０，１］へのマッピングを表す。シミュレーテッドアニーリングなどの最適化アルゴリズムを使用してｆｔ（  ）が調整されて、訓練ビデオのセットに対する最良の性能（ＰＳＮＲなどのメトリクスを使用して、又は主観的スコアを使用して測定される）が得られる。
【００６６】
マッピングｆｔ（  ）及び計算された重みのうち少なくとも一方は、ベクトルＯＰ内で信号伝達することができる。
【００６７】
[0059]重み付き方式で、処理済みサブフレーム
【数１０８】
0005419897.tif 000109
（全てのピクセルに対応する）が共に結合されてｙが形成される。このプロセスの一実施形態を、ｊ番目のピクセルの値であるｙｊについて述べる。
１．ｙｊ＝０及びｎｊ＝０に設定する。ここで、ｎｊは、ｊ番目のピクセルに対する正規化係数である。
２．各処理済みサブフレーム
【数１０９】
0005419897.tif 000110
につき、
ａ．ピクセルｊがｐｉの一部である場合、
i)ｋ＝ｐｉ中のピクセルｊのインデックス
ii)
【数１１０】
0005419897.tif 000111
ここで、
【数１１１】
0005419897.tif 000112
は、処理済みサブフレーム
【数１１２】
0005419897.tif 000113
中のピクセルｊの値である。
iii)ｎｊ＝ｎｊ＋ｗｉ
３．
【数１１３】
0005419897.tif 000114
【００６８】
[0060]図１０は、全ての処理済みサブフレームを結合してフレームｙを形成するプロセスの一実施形態の流れ図である。このプロセスは、ハードウェア（回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム上若しくは専用マシン上で実行されるものなど）、又はこれらの組合せを含むことのできる、処理ロジックによって実施される。
【００６９】
[0061]図１０を参照すると、プロセスは、フレームｙ中の各ピクセルｍ＝１：Ｎにつき、その値ｙｍ及びその正規化因子ｎｍを０に設定することによって開始する（処理ブロック１００１）。次に、処理ロジックは、ピクセルインデックスｊ及びサブフレームインデックスｉを１に初期化する（処理ブロック１００２）。
【００７０】
[0062]初期化の後、処理ロジックは、ピクセルｊ∈ｐｉであるかどうか判定する（処理ブロック１００３）。そうである場合は、プロセスは処理ブロック１００４に移行する。そうでない場合は、プロセスは処理ブロック１００５に移行する。
【００７１】
[0063]処理ブロック１００４で、一実施形態では、処理ロジックは、
【数１１４】
0005419897.tif 000115
中のピクセルｊの値である
【数１１５】
0005419897.tif 000116
を使用して、且つ前述のように重みｗｉを使用して、ｙｊ及びｎｊを更新する。一実施形態では、重みは、以下に従って計算される。
【数１１６】
0005419897.tif 000117
[0064]処理ブロック１００４で、ｋは、ｐｉ中のピクセルｊのインデックスに等しい。一実施形態では、処理ロジックは、以下の式に基づいてｙｊ及びｎｊを更新する。
【数１１７】
0005419897.tif 000118
ｎｊ＝ｎｊ＋ｗｉ
処理ロジックがｙｊ及びｎｊを更新した後、プロセスは処理ブロック１００５に移行する。
【００７２】
[0065]処理ブロック１００５で、処理ロジックは、インデックスｉ＝Ｎ、すなわちフレーム中のピクセルの総数であるかどうかチェックする。そうである場合は、プロセスは処理ブロック１００７に移行する。そうでない場合は、プロセスは処理ブロック１００６に移行する。処理ブロック１００６で、インデックスが１つインクリメントされ、プロセスは処理ブロック１００３に移行する。
【００７３】
[0066]処理ブロック１００７で、処理ロジックは、以下の式に従ってｙｊを更新する。
【数１１８】
0005419897.tif 000119
[0067]ｙｊを更新した後、処理ロジックは、インデックスｉを１に等しく設定し（処理ブロック１００８）、インデックスｊがＮに等しいかどうかチェックする（処理ブロック１００９）。そうである場合は、プロセスは終了する。そうでない場合は、プロセスは処理ブロック１０１０に移行し、インデックスｊが１つインクリメントされる。インデックスｊを１つインクリメントした後、プロセスは処理ブロック１００３に移行する。
【００７４】
[0068]フレームｙは、現在の入力フレームｘに対応する出力である。処理すべきフレームがまだある場合、処理ロジックは、現在の入力フレームｘを更新し、ｙを
【数１１９】
0005419897.tif 000120
にコピーし、図２に示すようにプロセスを繰り返す（処理ブロック２１２）。
【００７５】
[0069]一実施形態では、フレームｙは、ピクセル領域又は変換領域においてさらに画像／ビデオ処理を経る。一実施形態では、アンシャープマスキングをフレームｙに対して実施して、高周波数ディテールを向上させる。別の実施形態では、サイズＰ×Ｐピクセルの複数のブロックがフレームｙから形成され、ここでＰは整数であり、各Ｐ×Ｐブロックｆは、２次元ＤＣＴや２次元アダマールなどのブロック変換を経て、別のＰ×Ｐブロックｈが生成される。Ｐ×Ｐブロックｈの要素であるｈ（ｉ，ｊ）（０≦ｉ，ｊ≦Ｐ−１）が処理されて、ｈ（ｉ，ｊ）＝ｈ（ｉ，ｊ）＊α（ｉ，ｊ）であるような向上Ｐ×Ｐブロック
【数１２０】
0005419897.tif 000121
が形成される。代替実施形態では、以下の方法のうちの１つで向上因子α（ｉ，ｊ）を計算することができる。
【００７６】
ａ．α（ｉ，ｊ）＝α０＊（ｉ＋ｊ）β＋α１
ｂ．α（ｉ，ｊ）＝α０＊ｉβ＊ｊδ＋α１
ここで、パラメータ（α０、α１、β、及びδ）は訓練セットに対して調整されて、再構築画像／ビデオ品質における局所最適が達成される。一実施形態では、これらのパラメータはベクトルＯＰ内で信号伝達することができる。上記操作は、図２の処理ブロック２１０の後に行われることに留意されたい。向上Ｐ×Ｐブロックは、逆変換され結合されて、フレームｙの向上バージョンが形成される。
【００７７】
代替画像処理実施形態
[0070]代替の一実施形態では、図２に述べたプロセスを修正して、より複雑度の低いアルゴリズムを得ることができ、以下、このアルゴリズムを低複雑度（ｌｏｗｅｒ−ｃｏｍｐｌｅｘｉｔｙ）技法と呼ぶ。図１２に、低複雑度技法をフローチャートによって示す。この実施形態では、フレームｙは、現在の入力フレームｘに対応する低複雑度技法の出力であり、処理すべきフレームがまだある場合は、現在の入力フレームｘを更新し、ｙを
【数１２１】
0005419897.tif 000122
にコピーし、図１２に示すようにプロセスを繰り返す。
【００７８】
[0071]図１２を参照すると、プロセスは、処理ロジックが、
【数１２２】
0005419897.tif 000123
であるように、現在の入力フレームｘ及び過去の出力フレーム
【数１２３】
0005419897.tif 000124
を使用してフレーム
【数１２４】
0005419897.tif 000125
を形成することによって開始し、ここで、ｗｚ、ｗｙは実数であり、ｍは整数である（処理ブロック１２０１）。本明細書において、表記（ｊ）は、当該フレーム中のピクセルｊ（ラスタ走査順に番号が付けられた）の値を示す。例えば、
【数１２５】
0005419897.tif 000126
は、フレーム
【数１２６】
0005419897.tif 000127
の５番目のピクセルの値を表す。一実施形態では、ｗｚ＝０．５であり、ｗｙ＝０．５である。一実施形態では、値ｗｚ及びｗｙはベクトルＯＰ内で信号伝達される。
【００７９】
[0072]代替実施形態では、ｍの選択は、以下の方法のうちの１つで行うことができる。
i)  ｍ＝０
ii)  全ての可能な値から、
【数１２７】
0005419897.tif 000128
のｐ−ノルム（ｐ≧０）である
【数１２８】
0005419897.tif 000129
が最小限になるようなｍを選択する。
iii)  上記「ｉｉ」に基づいてｍを選択するが、探索セットを｛ｊ：ｊ＝ｊｈ＋Ｗ×ｊｖ｝に制限する。ここで、Ｗはフレームｘの幅であり、ｊｈ、ｊｖ∈｛−Ｊ，−（Ｊ−１），．．．，−１，０，１，．．．，Ｊ−１，Ｊ｝である。Ｊは、０以上の任意の整数である。
【００８０】
一実施形態では、ｍの選択は、ベクトルＯＰ内で信号伝達することができる。
【００８１】
[0073]別の実施形態では、
【数１２９】
0005419897.tif 000130
の代わりに、
【数１３０】
0005419897.tif 000131
の処理済みバージョンを使用して輝度変化や場面フェードなどの問題が補償されて、フレーム
【数１３１】
0005419897.tif 000132
が形成される。この場合、処理は、強度補償及び非線形予測フィルタなどの技法を含むが、これらに限定されない。
【００８２】
[0074]処理ロジックは、ｐｉの要素に対応する位置におけるフレームｘのピクセル値を用いて、サブフレームと呼ばれるＭ２×１ベクトルｚｉを形成する。ピクセルｉは、サブフレームｚｉに対するピボットと呼ばれる（処理ブロック１２０２）。ｐｉの要素に対応する位置におけるフレーム
【数１３２】
0005419897.tif 000133
のピクセル値を用いて、
【数１３３】
0005419897.tif 000134
で示されるＭ２×１ベクトル（やはりサブフレームである）が形成される（処理ブロック１２０２）。
【００８３】
[0075]処理ロジックは、空間変換Ｈｉを選択し、この空間変換をサブフレームｚｉ及び
【数１３４】
0005419897.tif 000135
に適用して、ベクトルｅｉ及び
【数１３５】
0005419897.tif 000136
をそれぞれ得る（処理ブロック１２０３）。
【００８４】
[0076]処理ロジックは、前述と同じプロセスを使用して、
【数１３６】
0005419897.tif 000137
から適応しきい値
【数１３７】
0005419897.tif 000138
を計算し、ｅｉの選択された要素に適応しきい値
【数１３８】
0005419897.tif 000139
を適用してａｉを得る（処理ブロック１２０３）。一実施形態では、ｅｉの全ての要素が選択される。別の実施形態では、第１の要素（通常はＤＣ要素）を除いた全ての要素が選択される。しきい値処理操作は、前述のように、ハードしきい値処理及びソフトしきい値処理など、様々な方法で行うことができる。
【００８５】
[0077]ｅｉの選択された要素に適応しきい値
【数１３９】
0005419897.tif 000140
を適用した後、処理ロジックは、ａｉ、ｅｉ、
【数１４０】
0005419897.tif 000141
を使用して、且つ、しきい値
【数１４１】
0005419897.tif 000142
を使用して、ベクトルｄｉを形成する（処理ブロック１２０４）。ａｉｊ、ｅｉｊ、
【数１４２】
0005419897.tif 000143
、及びｄｉｊが、それぞれベクトルａｉ、ｅｉ、
【数１４３】
0005419897.tif 000144
及びｄｉ中のｊ番目の要素を表すものとし、ここで、ｊ∈｛１，２，．．．，Ｍ２｝である。代替実施形態では、値ｄｉｊは、以下の方法のうちの１つで計算される。
【数１４４】
0005419897.tif 000145
一実施形態では、ｄｉｊを計算するのに使用されるオプションの選択が、ベクトルＯＰ内で信号伝達される。
【００８６】
[0078]その後、処理ロジックは、ベクトルｄｉに逆空間変換を適用してサブフレーム
【数１４５】
0005419897.tif 000146
を生成し（処理ブロック１２０５）、処理ブロックの残り１２０６、１２０７、１２０８、及び１２０９は、図２中のそれぞれの相当ブロック２０９、２１０、２１１、及び２１２として作用して、プロセスは完了する。
【００８７】
[0079]前述の各実施形態では、オプショナルパラメータベクトルＯＰ又はその一部を、コーデック、カメラ、超解像度プロセッサなどを含めた（ただしこれらに限定されない）任意のモジュールによって信号伝達することができる。パラメータベクトルを構築するための単純な方法の１つは、次のとおりである。各選択が、ベクトル中の２つの要素を使用して信号伝達される。ｎ番目の選択の場合、ＯＰ（２＊ｎ）＝０で、選択は信号伝達されない、または、ＯＰ（２＊ｎ）＝１で、選択は信号伝達される。このとき、ＯＰ（２＊ｎ）＝選択を表す値、である。ＯＰ（２＊ｎ）は、ＯＰ（２＊ｎ−１）＝１のときにのみ、設定される必要があり、使用される。
【００８８】
[0080]本明細書に述べた技法を使用して、ＲＧＢ、ＹＵＶ、ＹＣｂＣｒ、ＹＣｏＣｇ、及びＣＭＹＫを含めた（ただしこれらに限定されない）任意の色表現のビデオシーケンスを処理することができる。これらの技法は、色表現における、色チャネルの任意のサブセット（空集合又は全てのチャネル集合を含む）に適用することができる。一実施形態では、本明細書に述べた技法を使用して、ＹＵＶ色表現における「Ｙ」チャネルのみが処理される。Ｕ及びＶチャネルは、２次元ローパスフィルタ（例えばルガル（Ｌｅ  Ｇａｌｌ）５／３ウェーブレットのＬＬ帯域フィルタ）を使用してフィルタリングされる。
【００８９】
[0081]本明細書に述べた技法を使用して、ビデオシーケンス中のフレームの事前選択済みセットのみを処理することができる。一実施形態では、１つおきのフレームが処理される。別の実施形態では、ビデオシーケンスの１つ又は複数の区分に属する全てのフレームが処理される。処理のために選択されたフレームのセットは、ＯＰ内で信号伝達することができる。
【００９０】
[0082]本明細書に述べた技法を圧縮／非圧縮ビデオシーケンスに適用することに加えて、これらの技法はまた、非線形雑音除去フィルタなどの事後処理を経た圧縮ビデオシーケンスに適用することもできる。さらに、これらの技法は、低解像度の圧縮／非圧縮ビデオシーケンスを超解像することによって得られるビデオシーケンスに適用することもできる。これらの技法はまた、フレームレート変換モジュールによってすでに処理されたか又はこれから処理されることになるビデオシーケンスに適用することもできる。
【００９１】
コンピュータシステムの例
[0083]図１４は、本明細書に述べた操作の１つ又は複数を実施することのできる例示的なコンピュータシステムのブロック図である。図１４を参照すると、コンピュータシステム１４００は、例示的なクライアント又はサーバコンピュータシステムを含むことができる。コンピュータシステム１４００は、情報を通信するための通信機構又はバス１４１１と、情報を処理するための、バス１４１１に結合されたプロセッサ１４１２とを備える。プロセッサ１４１２は、マイクロプロセッサに限定されないが、例えばペンティアム（登録商標）（Ｐｅｎｔｉｕｍ（登録商標））、パワーＰＣ（登録商標）（ＰｏｗｅｒＰＣ（登録商標））、アルファ（登録商標）（Ａｌｐｈａ（登録商標））などのマイクロプロセッサを含む。
【００９２】
[0084]システム１４００はさらに、情報、及びプロセッサ１４１２によって実行される命令を記憶するための、バス１４１１に結合されたランダムアクセスメモリ（ＲＡＭ）又は他の動的記憶デバイス１４０４（メインメモリと呼ばれる）を備える。メインメモリ１４０４は、プロセッサ１４１２による命令の実行中に一時変数又は他の中間情報を記憶するのに使用することもできる。
【００９３】
[0085]コンピュータシステム１４００は、また、プロセッサ１４１２のための静的情報及び命令を記憶するための、バス１４１１に結合された読取専用メモリ（ＲＯＭ）及び他の静的記憶デバイスの少なくとも一方を含む静的記憶デバイス１４０６と、磁気ディスク又は光学ディスク及びそれに対応するディスクドライブなどのデータ記憶デバイス１４０７とを備える。データ記憶デバイス１４０７は、情報及び命令を記憶するためにバス１４１１に結合される。
【００９４】
[0086]コンピュータシステム１４００はさらに、情報をコンピュータユーザに対して表示するための、バス１４１１に結合された陰極線管（ＣＲＴ）や液晶表示装置（ＬＣＤ）などの表示デバイス１４２１に結合させることができる。情報及びコマンド選択をプロセッサ１４１２に通信するために、文字数字キー及び他のキーを備える文字数字入力デバイス１４２２をバス１４１１に結合させることもできる。追加のユーザ入力デバイスは、方向情報及びコマンド選択をプロセッサ１４１２に通信するため、及び表示装置１４２１上のカーソル移動を制御するための、バス１４１１に結合されたマウス、トラックボール、トラックパッド、スタイラス、又はカーソル方向キーなどのカーソルコントロール１４２３である。
【００９５】
[0087]バス１４１１に結合させることのできる別のデバイスは、ハードコピーデバイス１４２４であり、これは、紙、フィルム、又は類似のタイプの媒体上に情報を記すのに使用することができる。バス１４１１に結合させることのできる別のデバイスは、電話機又はハンドヘルドパームデバイスへの通信のための、有線／ワイヤレス通信機能１４２５である。
【００９６】
[0088]本発明では、システム１４００のいずれか又は全てのコンポーネント、及び関連するハードウェアを使用することができることに留意されたい。しかし、コンピュータシステムの他の構成がこれらのデバイスのいくつか又は全てを含むこともできることを理解することができる。
【００９７】
[0089]以上の記述を読んだ後には、本発明の多くの改変及び修正が当業者にはおそらく明らかになるであろうが、例示として図示及び記述したどんな特定の実施形態も、決して限定と見なされるべきものとはしないことを理解されたい。したがって、様々な実施形態の詳細への言及は、特許請求の範囲を限定するものとはせず、特許請求の範囲自体が、本発明に必須であると考えられる特徴のみを列挙する。
【図１Ａ】
0005419897.tif 000147
【図１Ｂ】
0005419897.tif 000148
【図２】
0005419897.tif 000149
【図３−１】
0005419897.tif 000150
【図３−２】
0005419897.tif 000151
【図５】
0005419897.tif 000152
【図６】
0005419897.tif 000153
【図７】
0005419897.tif 000154
【図８】
0005419897.tif 000155
【図９】
0005419897.tif 000156
【図１０】
0005419897.tif 000157
【図１１】
0005419897.tif 000158
【図１２】
0005419897.tif 000159
【図１３（Ａ）】
0005419897.tif 000160
【図１３（Ｂ）】
0005419897.tif 000161
【図１３（Ｃ）】
0005419897.tif 000162
【図１３（Ｄ）】
0005419897.tif 000163
【図１３（Ｅ）】
0005419897.tif 000164
【図１４】
0005419897.tif 000165
【図４】
0005419897.tif 000166