(57)【特許請求の範囲】
【請求項１】
あるシーンについての第１の輝度情報を含む第１のカラー画像にアクセスすること；
前記シーンについての第２の輝度情報を含む第２のカラー画像にアクセスすることであって、前記第１のカラー画像の一部と前記第２のカラー画像の一部との間に解像度差が生じている第２のカラー画像にアクセスすること；
前記第１のカラー画像の前記一部の中にある、前記第１のカラー画像の前記第１の輝度情報を修正するべき箇所を同定すること；
前記第１のカラー画像の前記一部の前記第１の輝度情報に第１のウェーブレット変換を適用すること；
前記第２のカラー画像の前記一部の前記第２の輝度情報に第２のウェーブレット変換を適用すること；
前記第１のウェーブレット変換を適用することによって生成された１つまたは複数の係数を、前記第２のウェーブレット変換を適用することによって生成された１つまたは複数の係数に基づいて修正すること；及び
前記第１のウェーブレット変換の修正結果に逆ウェーブレット変換を適用すること；
これにより、前記解像度差を低減すること
を含む方法。
【請求項２】
前記第１のウェーブレット変換を適用することによって生成された１つまたは複数の係数を、前記第２のウェーブレット変換を適用することによって生成された１つまたは複数の係数に基づいて修正することが、
前記第２のウェーブレット変換を適用することによって生成された結果の特定の箇所にある係数を、第１のウェーブレット変換を適応することによって生成された結果における前記特定の箇所にコピーすることを含む請求項１記載の方法。
【請求項３】
前記第１のカラー画像及び前記第２のカラー画像がフィルム・フレームの色分解である、請求項１または２記載の方法。
【請求項４】
前記第１のカラー画像が赤色分解であり、解像度差が赤色フリンジングをもたらす、請求項３記載の方法。
【請求項５】
前記第１及び第２のカラー画像が、カラー・コンポジット画像から抽出される、請求項１乃至４のいずれか１項記載の方法。
【請求項６】
前記第１の輝度情報が修正されない非修正箇所を決定することをさらに含む、請求項１乃至５のいずれか１項記載の方法。
【請求項７】
前記第１の輝度情報が修正される箇所を含む前記第１のカラー画像の領域に、フェザリング手法を適用することをさらに含み、該フェザリング手法は該箇所の前記第１の輝度情報が前記第２のカラー画像の前記第２の輝度情報を使用して修正された後に適用される、請求項１乃至６いずれか１項記載の方法。
【請求項８】
前記修正することが：
一方向においてのみ、ウェーブレット変換を行うことを含み、
修正された第１のカラー画像を生成することをさらに含む、請求項１乃至７のいずれか１項記載の方法。
【請求項９】
第２のカラー画像にアクセスすることが、１以上の基準に基づいて、複数のカラー画像の中から第２のカラー画像を選択することを含む、請求項１乃至８のいずれか１項記載の方法。
【請求項１０】
前記箇所の同定が対話式に実施される、請求項１乃至９のいずれか１項記載の方法。
【請求項１１】
前記箇所の同定が、１以上のエッジを選択して修正することを含む、請求項１乃至１０のいずれか１項記載の方法。
【請求項１２】
１以上のエッジを選択して修正することが、複数のエッジを選択して修正することを含む方法であり、かつ該方法がさらに；
２つの選択されたエッジを、エッジの第１の輝度情報に基づいて連結すること；及び連結され、選択されたエッジのエッジ範囲を決定すること
を含む、請求項１１記載の方法。
【請求項１３】
命令を格納するコンピュータ可読媒体を含む装置であって、マシンによって実行されたときに、結果として少なくとも；
あるシーンについての第１の輝度情報を含む、第１のカラー画像にアクセスすること；
前記シーンについての第２の輝度情報を含む第２のカラー画像にアクセスすることであって、前記第１のカラー画像の一部と前記第２のカラー画像の一部との間に解像度差が生じている第２のカラー画像にアクセスすること；
前記第１のカラー画像の前記一部の中にある、前記第１のカラー画像の前記第１の輝度情報を修正するべき箇所を同定すること；
前記第１のカラー画像の前記一部の前記第１の輝度情報に第１のウェーブレット変換を適用すること；
前記第２のカラー画像の前記一部の前記第２の輝度情報に第２のウェーブレット変換を適用すること；
前記第１のウェーブレット変換を適用することによって生成された１つまたは複数の係数を、前記第２のウェーブレット変換を適用することによって生成された１つまたは複数の係数に基づいて修正すること；及び
前記第１のウェーブレット変換の修正結果に逆ウェーブレット変換を適用すること；
これにより、前記解像度差を低減すること、
を行う装置。
【請求項１４】
前記第１のカラー画像が赤色分解であり、前記解像度差が赤色フリンジングをもたらす、請求項１３記載の装置。
【請求項１５】
解像度を向上された画像が格納された装置であって、前記解像度を向上された画像が：
第１のカラー画像；及び
前記第１のカラー画像と第２のカラー画像との解像度差を低減するように修正された第２の輝度情報を有する部分を一部に含む前記第２のカラー画像を含み、
前記第２の輝度情報は、前記第１のカラー画像からの第１の成分情報を使用して修正されたものであり、ここで
前記第１の成分情報が、ウェーブレット変換を前記第１のカラー画像の特定の部分に適用することによって生成された１つまたは複数の係数を含み、前記特定の部分が、前記第２のカラー画像の前記一部に対応し、
前記修正された第２の輝度情報が、前記第２のカラー画像の前記一部へのウェーブレット変換を適用することによって生成された１つまたは複数の係数を含む第２の成分情報を、前記第１の成分情報を使用して修正したものを、逆ウェーブレット変換を適用することによって生成されたものである装置。
【請求項１６】
解像度を向上された画像が、カラー・コンポジット画像の中の第１の色についての第１の輝度情報、及び第２の色の第２の輝度情報を含む、カラー・コンポジット画像を含み、
前記第１のカラー画像が、カラー・コンポジット画像の中の第１の色についての第１の輝度情報を含み、
前記第２のカラー画像が、カラー・コンポジット画像の中の第２の色についての第２の輝度情報を含む、請求項１５記載の装置。
【請求項１７】
解像度を向上された前記画像が一組の色分解を含み、解像度を向上された画像が前記一組内の色分解のそれぞれの表示を合成することによって表示されるようになされ、前記一組は第１の色分解及び第２の色分解を含み、前記第１のカラー画像が前記第１の色分解を含み、かつ該第２のカラー画像が前記第２の色分解を含む、請求項１５記載の装置。
【請求項１８】
前記一部の箇所を、前記第１のカラー画像から得られた位置決定情報に基づいて決定する、請求項１５記載の装置。
【請求項１９】
前記一部の箇所を、前記第２のカラー画像の前記一部と、前記第１のカラー画像の対応部分との比較に基づいて決定する、請求項１５記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
開示された特定のシステムは、主に画像処理に関し、特に、分離色に解像度差があることによって現れる歪みの低減に関する。
【背景技術】
【０００２】
映画のカラー・フィルムは比較的最近開発されたものである。１９５０年代に映画用カラー・フィルムが出現するまで、カラー映画を制作するプロセスには、カラー情報を２本以上のリールの白黒フィルムに取り込むことが含まれていた。最初のＴｅｃｈｎｉｃｏｌｏｒの３色フィルム分離プロセスでは、特別に設計された映画カメラに３本のリールの白黒フィルムが装填された。レンズを通って入ってきた光が光の３原色に分離され、それぞれが別々のリールの白黒フィルムに記録された。その３本のリールが現像された後、オリジナルのシーンの黄色（青の反対色）、シアン色（赤の逆色）、およびマゼンタ色（緑の逆色）の部分を表現する３つの写真ネガが作成された。
【０００３】
最初のＴｅｃｈｎｉｃｏｌｏｒのプロセスによる色分解の作成のほかに、カラー・フィルムの長期保存のためにも色分解が作成され、利用されてきた。これは、映画用白黒フィルムの保存寿命が、一般に、カラー・フィルムより格段に長いためである。このプロセスでは、映画用カラー・フィルムは、１本のリールの白黒フィルムを露光させて赤色、緑色、青色の記録を順次行うために用いられた。つまり、分離色が順次形成されるように、各フレームが最終リールに３回プリントされた。
【０００４】
映画スタジオでは、フィルム現像ラボで行われる写真プロセスを用いて、３つの分離色を１本のリールのカラー・フィルムに再合成することができる。３つの分離色の各色が別々のリールに分かれている場合は、光学式フィルム・プリンタを用いて、各ソース・リールのサイズと位置の調整を一度に行う。具体的に言うと、その処理には３つの段階がある。第１に、マゼンタ色のソース・リールを、しかるべきカラー・フィルタを通して最終リールに投影する。その後、その最終リールを巻き戻し、次のソース・リールを装填してサイズを調整し、カラー・フィルタを変更する。このプロセスを、３つの分離色のすべてが光学式フィルム・プリンタによって１本の最終リールにプリントされるまで繰り返す。結果として得られる最終リールを中間ポジ（「ＩＰ」）と呼ぶ。この時点で、色は、赤色、緑色、青色（それぞれシアン色、マゼンタ色、黄色の反対色）で表現されている。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
Ｔｅｃｈｎｉｃｏｌｏｒの３色フィルム分離プロセスは、他のプロセスと同様に、たとえば、解像度差を含む、フィルムの様々な歪みの影響を受ける。解像度差が発生するのは、たとえば、Ｔｅｃｈｎｉｃｏｌｏｒカメラの光路およびレンズ・コーティングの性質によって、一般的に、３つのフィルム分離色の解像度あるいは鮮明度に大きな差が生ずるためである。シアン色のフィルタは、通常、黄色のフィルタの背後に配置される。いわゆるバイパック配置である。黄色のフィルタを通る光は、シアン色のフィルタに到達する前にフィルタリングされ、悪いことに、拡散される。結果として、黄（青の反対色）の分離色は、シアン（赤の反対色）の分離色より解像度が高いのが一般的である。マゼンタ（緑の反対色）の分離色は、バイパック配置では作成されないので、一般に黄（青の反対色）の分離色と同等の解像度である。この解像度差によって、絵または画像内のエッジの周囲に赤色フリンジング（ｆｒｉｎｇｉｎｇ）やぼけが生ずる可能性がある。
【課題を解決するための手段】
【０００６】
（要約）
以下に記載の実施態様は、赤の分離色の選択部分の解像度を上げることによって、赤の分離色の解像度が低い問題に対処する。解像度を上げる部分の選択には、より高い解像度の分離色（青または緑）からの情報を用いる。たとえば、そのような情報には、より高い解像度の分離色における特定のエッジが、赤の分離色におけるエッジと一致することが確定したという情報を含めることができる。この場合は、赤の分離色におけるその特定のエッジを選択部分にすることができる。その部分を選択した後、選択した部分の解像度を上げるために、より高い解像度の分離色にウェーブレット変換を適用することによって生成された情報を用いて、赤の分離色にウェーブレット変換を適用することによって生成された一致情報を修正する。たとえば、より高い解像度の分離色にウェーブレット変換を適用することによって生成された各種の係数（またはこれらの係数の関数）を、赤の分離色にウェーブレット変換を適用することによって生成された一式の係数にコピーできる。これは、それらの係数が選択部分に影響する場合である。
【０００７】
この実施態様は、カラー・フィルムの色分解に関して、解像度差を低減する効率的な自動処理を実現する。さらに、この処理は、最小限の人間の介入で、画像内の、解像度差の低減または補正が必要な箇所を決定する。
【０００８】
多くの実施態様は、「ｗｈｅｒｅ（どこを）」動作と「ｈｏｗ（どのように）」動作とを含むことで特徴付けることができる。「ｗｈｅｒｅ」動作は、画像を修正する箇所を決定するが、これはたとえば、画像の１つまたは複数の特性を修正する部分を決定することによって決定できる。「ｈｏｗ」動作は、「ｗｈｅｒｅ」動作で特定された画像の一部をどのように修正するかを決定する。「ｗｈｅｒｅ」動作と「ｈｏｗ」動作のいずれかまたは両方で、たとえば、周波数ベースの情報、時間ベースの情報、またはその両方を用いることができ、これらの情報は、たとえば、フレーム内情報であってもフレーム間情報であってもよい。
【０００９】
一態様によれば、解像度差を低減することは、あるシーンについての第１の情報を含む第１の画像を選択することと、そのシーンについての第２の情報を含む第２の画像を選択することとを含む。第１の画像の一部と、第２の画像の一部との間には、解像度差がある。解像度差を低減するために第１の画像の特性を修正する箇所を決定する場合、その箇所は、第１の画像の一部の中にあり、その決定は、第２の画像の一部から少なくとも部分的に得られる情報に基づく。解像度差は、第１の画像の一部の中の決定された箇所における特性を修正することによって低減される。
【００１０】
第１の画像と第２の画像はデジタル画像であってもよい。さらに、箇所は画素を含むことができ、その特性は、画素の輝度値またはその輝度値の関数を含むことができる。
第１の画像と第２の画像は、フィルム・フレームの分離色を含むか、コンポジット・カラー画像から抽出できる。このカラー・コンポジット画像は、フィルム・フレームの分離色から生成できる。第１の画像は、赤の分離色を含む場合があり、解像度差により赤色フリンジングが発生する可能性がある。第１の画像内で、特性を修正しない非修正箇所を決定できる。
【００１１】
箇所を決定することは、第１の画像にあるエッジの１つまたは複数の特徴を、第２の画像にあるエッジの１つまたは複数の特徴と比較することを含むことができる。この比較の結果に基づいて、そのエッジを、修正する箇所として選択することができる。
【００１２】
箇所を決定することは、修正する１つまたは複数のエッジを選択することも含むことができる。修正する１つまたは複数のエッジを選択することは、その１つまたは複数のエッジの１つについて、複数のエッジ画素を含むエッジの単一のエッジ画素を選択することを含むことができる。修正する１つまたは複数のエッジを選択することは、（ｉ）第１の画像のエッジの１つまたは複数の特徴を、第２の画像のエッジの１つまたは複数の特徴と比較することと、（ｉｉ）その比較の結果に基づいて、そのエッジを、修正するエッジとして選択することとを含むことができる。この１つまたは複数の特徴は、エッジの位置、エッジの方向、エッジの範囲、輝度が変化している方向、および輝度の横断範囲からなるグループから選択される特徴を含むことができる。修正するエッジ範囲は、選択するエッジごとに決定できる。
【００１３】
修正のために複数のエッジを選択できる。選択されたエッジのうちの２つを、その２つの選択されたエッジの特性に基づいて接続でき、その選択され、接続されたエッジについてエッジ範囲を決定できる。選択された２つのエッジを接続することは、選択された２つのエッジの間の空間的接近度か、選択された２つのエッジのそれぞれの特定の画素同士の輝度差と、選択された２つのエッジの間に空間的に位置する特定の画素同士の輝度差のうちの１つまたは複数に基づくことができる。選択され、接続されたエッジについてエッジ範囲を決定することは、選択されたエッジのそれぞれについて、接続前であれば決定されるであろうエッジ範囲に基づくことができる。
【００１４】
選択されたエッジのサイズに基づいて、選択されたエッジを選択解除できる。第１の画像の一部の中の箇所を決定することは、第２の画像の一部から少なくとも部分的に得られる情報に基づくことができる。この情報は、第１の方向の専用にすることができる。箇所の特性を修正することは、修正された第１の画像を生成することを含むことができる。その修正された第１の画像の中の、特性を修正する箇所を決定できる。この決定は、第２の画像から少なくとも部分的に得られる情報に基づくことができる。第２の画像から得られる情報は、第１の方向と直交する第２の方向に用いることができる。特性は、修正された第１の画像の中の箇所で修正できる。
【００１５】
第１の画像は、第２の画像から得られた情報で修正された画像を含むことができる。第２の画像を選択することは、一組の画像の中から、１つまたは複数の基準に基づいて第２の画像を選択することを含むことができる。この１つまたは複数の基準は、輝度情報と解像度情報を含むことができる。
箇所の決定は、自動的に行うことも、対話式で行うことも可能である。修正箇所を含む第１の画像の領域にフェザリング手法を適用できる。フェザリング手法は、その箇所を修正した後に適用できる。
【００１６】
第１の画像の中の箇所の特性を修正することは、第１の画像の一部に第１のウェーブレット変換を適用して結果を生成することと、第２の画像の一部に第２のウェーブレット変換を適用することとを含むことができる。第１のウェーブレット変換を適用することによって生成された１つまたは複数の係数を、第２のウェーブレット変換を適用することによって生成された１つまたは複数の係数に基づいて修正して、修正結果を生成することができる。
【００１７】
第１の画像の中で、特性を修正しない非修正個所を決定できる。第１のウェーブレット変換の修正結果に逆ウェーブレット変換を適用してデジタル画像を生成できる。そのデジタル画像の中の非修正箇所で特性が修正されている場合は、その非修正箇所の特性を元の値に戻すことができる。
【００１８】
修正結果に逆ウェーブレット変換を適用したり、第１の画像の一部と第２の画像の一部の間で解像度差が低減されたかどうかを確認したりできる。修正結果に逆ウェーブレット変換を適用して別の結果を生成したり、その別の結果の、決定された修正箇所を含む一部にフェザリング手法を適用したりできる。フェザリング手法を適用することは、その別の結果の一部の中で輝度値を線形補間することを含むことができる。
【００１９】
別の態様によれば、エッジを選択することは、第１の画像にアクセスすることと、第２の画像にアクセスすることとを含む。第２の画像は、第１の画像の中の情報と相補的な情報を含む。第１の画像の中のエッジの特徴を、第２の画像の中の対応するエッジの特徴と比較する。その比較の結果に基づいて、第１の画像の中のエッジを、修正するエッジとして選択する。
【００２０】
選択されたエッジを、第２の画像の中の対応するエッジについての解像度情報を用いて修正できる。選択されたエッジを修正することは、選択されたエッジの一部に第１のウェーブレット変換を適用することによって生成された情報を修正することを含むことができる。この修正は、対応するエッジの一部に第２のウェーブレット変換を適用することによって生成された情報に基づくことができる。第１のウェーブレット変換は、第２のウェーブレット変換と同じであってもよい。
【００２１】
第１のウェーブレット変換を適用することによって生成された情報を修正することは、第２のウェーブレット変換を適用することによって生成された１つまたは複数の係数を用いて、第１のウェーブレット変換を適用することによって生成された１つまたは複数の係数を置き換えることを含むことができる。
【００２２】
第２のウェーブレット変換を適用することによって生成された１つまたは複数の係数を用いることは、第２のウェーブレット変換を適用することによって生成された係数を変倍して、変倍された係数を生成することを含むことができる。変倍された係数を用いて、第１のウェーブレット変換を適用することによって生成された係数を置き換えることができる。
【００２３】
別の態様によれば、画像の特性を修正することは、あるシーンについての第１の情報を含む第１の画像にアクセスすることと、そのシーンについての第２の情報を含む第２の画像にアクセスすることとを含む。第１の画像の一部と第２の画像の一部とでは、解像度に差がある。その解像度差を低減するために、第１の画像の特性を修正する箇所を決定する。この決定は、第１の画像の一部と第２の画像の一部との、時間領域での比較に基づく。箇所の特性の修正は、第１の画像の一部にウェーブレット変換を適用することによって生成された情報を修正することによって行う。この情報の修正は、第２の画像の一部にウェーブレット変換を適用することによって生成された情報に基づいて行う。
【００２４】
別の態様によれば、解像度差を低減することは、あるシーンについての第１の情報を含む第１の画像を選択することと、そのシーンについての第２の情報を含む第２の画像を選択することとを含む。第１の画像の一部と第２の画像の一部とでは、解像度に差がある。第１の画像の特性を修正する箇所を決定するが、その箇所は、第１の画像の一部の中にある。解像度差は、第２の画像からの情報を用いて、第１の画像の中の箇所の特性を修正することによって低減される。
【００２５】
第１の画像と第２の画像はデジタル画像であってもよい。箇所は画素を含むことができ、その特性は、画素の輝度値またはその輝度値の関数を含むことができる。その箇所の特性を修正する際に用いる情報は、第２の画像からの解像度情報を含むことができる。
【００２６】
第１の画像の中の箇所の特性を修正することは、第２の画像の一部に第２の変換を適用することによって生成された情報を用いて、第１の画像の一部に第１の変換を適用することによって生成された情報を修正することを含むことができる。各変換は、ウェーブレット変換を含むことができる。
【００２７】
第１の変換を適用することによって生成された情報を修正することは、第２のウェーブレット変換を適用することによって生成された結果における特定の箇所にある係数を、第１のウェーブレット変換を適用することによって生成された結果における特定の箇所にコピーするか変倍してコピーすることを含むことができる。たとえば、第１の変換を適用することによって生成された情報を修正することは、第２のウェーブレット変換を適用することによって生成された非ベースバンドの各サブバンドにある係数を、第１のウェーブレット変換を適用することによって生成された結果において対応する箇所にコピーするか変倍してコピーすることを含むことができる。
【００２８】
あるいは、第１の変換を適用することによって生成された情報を修正することは、第１のウェーブレット変換を適用することによって生成された各非ベースバンド・サブバンドにある係数を、第２のウェーブレット変換を適用することによって生成された結果において対応する箇所にある係数に基づいて修正することを含むことができる。各非ベースバンド・サブバンドにある係数を修正することは、第１のウェーブレット変換を適用することによって生成された各非ベースバンド・サブバンドに、第２のウェーブレット変換を適用することによって生成された結果において対応する箇所にある係数をコピーすることを含むことができる。このコピーする１つまたは複数の係数は、コピーする前に変倍することができる。
【００２９】
特性を修正する箇所に、特定の箇所を関連付けることができる。コピー、変倍、または修正した各係数を、修正する箇所に関連付けることができる。
第１の画像と第２の画像は、フィルム・フレームの分離色であるか、コンポジット・カラー画像から抽出できる。このカラー・コンポジット画像は、フィルム・フレームの分離色から生成できる。第１の画像は、赤の分離色である場合があり、解像度差によって赤色フリンジングが発生する可能性がある。
【００３０】
特性を修正しない非修正箇所を決定できる。第２の画像の情報を用いて第１の画像の中の箇所の特性を修正することは、第１の画像にウェーブレット変換を適用することによって生成された１つまたは複数の係数を、第２の画像にウェーブレット変換を適用することによって生成された１つまたは複数の係数に基づいて修正することを含むことができる。修正により、修正結果を生成できる。この修正結果に逆ウェーブレット変換を適用して、結果の画像を生成することができ、結果の画像において非修正箇所の特性が修正されていないかどうかを判別することができる。修正されている場合は、その非修正箇所の特性を元の値に戻すことができる。
【００３１】
特性を修正する箇所を含む第１の画像の領域にフェザリング手法を適用できる。フェザリング手法は、その箇所の特性を修正した後に適用できる。フェザリング手法を適用することは、その領域内で輝度値を線形補間することを含むことができる。
【００３２】
箇所の特性を修正することは、第１の方向にのみ変換を実行して、修正された第１の画像を生成することを含むことができる。その修正された第１の画像に対し、第１の方向と直交する第２の方向にのみ変換を実行して、修正された第１の画像の修正されたバージョンを生成することができる。第１の画像の一部の中の箇所を決定することは、第２の画像の一部から少なくとも部分的に得られる情報に基づくことができる。この情報は、第１の方向の専用にすることができる。
【００３３】
第１の画像は、第２の画像から得られた情報で修正された画像を含むことができる。第２の画像を選択することは、輝度値情報および解像度情報を含むことができる１つまたは複数の基準に基づいて、複数の画像から第２の画像を選択することを含むことができる。
箇所の決定は、自動的に、または対話式で行うことができ、その決定は、第２の画像の中の情報に基づくことができる。その箇所の特性は、自動的に修正できる。
【００３４】
箇所を決定することは、修正する１つまたは複数のエッジを選択することを含むことができる。たとえば、１つまたは複数のエッジのうちの１つについて、複数のエッジ画素を含むエッジの単一エッジ画素を選択できる。
【００３５】
修正する１つまたは複数のエッジを選択することは、第１の画像の中にあるエッジの１つまたは複数の特徴を、第２の画像の中にあるエッジの１つまたは複数の特徴と比較することを含むことができる。この比較の結果に基づいて、そのエッジを、修正するエッジとして選択することができる。この１つまたは複数の特徴は、エッジの位置、エッジの方向、エッジの範囲、輝度が変化している方向、および輝度の横断範囲からなるグループから選択される特徴を含むことができる。
【００３６】
修正するエッジ範囲は、選択するエッジごとに決定できる。選択されたエッジのサイズに基づいて、選択されたエッジを選択解除できる。修正のために複数のエッジを選択できる。選択されたエッジのうちの２つを、その選択された２つのエッジの特性に基づいて接続できる。その選択され、接続されたエッジについて、エッジ範囲を決定できる。
【００３７】
選択された２つのエッジは、選択された２つのエッジの間の空間的接近度か、選択された２つのエッジのそれぞれの特定の画素同士の輝度差と、選択された２つのエッジの間に空間的に位置する特定の画素同士の輝度差のうちの１つまたは複数に基づいて接続できる。選択され、接続されたエッジのエッジ範囲は、選択されたエッジのそれぞれについて、接続前であれば決定されるであろうエッジ範囲に基づいて決定できる。
【００３８】
別の態様によれば、エッジを修正することは、第１および第２の画像にアクセスすることを含み、第２の画像は、第１の画像の中の情報に対して相補的な情報を含む。第１の画像の中でエッジを選択し、第２の画像の中の情報に基づいて、そのエッジを修正する。
【００３９】
選択されたエッジを修正することは、第１の画像の中のそのエッジと対応している可能性がある、第２の画像の中のエッジについての解像度情報を用いることを含むことができる。選択されたエッジを修正することは、第１の画像の中のエッジの一部に第１のウェーブレット変換を適用することによって生成された情報を、第２の画像の中の対応するエッジの一部に第２のウェーブレット変換を適用することによって生成された情報に基づいて修正することを含むことができる。
【００４０】
第１のウェーブレット変換を適用することによって生成された情報を修正することは、第２のウェーブレット変換を適用することによって生成された結果から係数または変倍された係数をコピーすることを含むことができる。この係数または変倍された係数は、第１のウェーブレット変換を適用することによって生成された結果にコピーできる。
【００４１】
別の態様によれば、解像度差を低減することは、あるシーンについての第１の情報を含む第１の画像にアクセスすることと、そのシーンについての第２の情報を含む第２の画像にアクセスすることとを含み、第１の画像の一部と、第２の画像の一部とでは解像度差がある。第１の画像の一部と第２の画像の一部との、時間領域での比較に基づいて解像度差を低減するために、第１の画像の中の、特性を修正する箇所を、第１の画像の中で決定する。この解像度差は、第２の画像の一部にウェーブレット変換を適用することによって生成された情報に基づいて、第１の画像の一部にウェーブレット変換を適用することによって生成された情報を修正することによって、その箇所の特性を修正することによって低減される。
【００４２】
装置は、マシンで実行されたときに上述の各種操作が実行されるようにする命令を格納するコンピュータ可読媒体を含むことができる。この装置は、コンピュータ可読媒体に結合され、格納された命令を実行する処理装置を含むことができる。
添付図面および以下の記述において、１つまたは複数の実施態様を示す。他の実施態様は、説明、図面、および特許請求項から自明であろう。
本特許または出願ファイルは、カラーで実行された図面を少なくとも１つ含む。本特許または特許出願公開の、カラー図面を含むコピーは、要求し、必要料金を支払うことにより、米国特許商標庁より提供される。
【発明を実施するための最良の形態】
【００４３】
（詳細な説明）
図１Ａは、様々な物体の周囲で赤色フリンジングが発生しているシーンの一部を示す。図１Ｂは、図１Ａの一部のカラー画像であり、一対の白いズボン１１０に沿ったエッジとブーツ１２０に沿ったエッジの周囲に赤色フリンジングがあることを示している。たとえば、領域１３０は、ブーツ１２０の右側の赤色フリンジングを示す。また、領域１４０は、白いズボン１１０の上の赤色フリンジングを示す。赤色フリンジングは、カラー画像の分離色の間の解像度差の結果である。上述のように、赤色フリンジングは、撮影のプロセスによって発生している可能性がある。
【００４４】
図２は、図１Ｂと同じカラー画像であるが、以下で説明する、赤色フリンジングを低減する手法を用いて色分解を処理した結果である。図２に示すように、白いズボン１１０の周囲の赤色フリンジングは、特に白いズボン１１０の輪郭のエッジの上の領域１４０において、大幅に低減もしくは除去されている。ブーツ１２０に沿った領域１３０の赤色フリンジングも大幅に低減もしくは除去されている。さらに、図１Ｂの画像を処理して赤色フリンジングを低減しても、解像度や、他の態様における画質の、目に見える劣化はない。
【００４５】
図３は、解像度差を低減するシステム３００のブロック図である。概要としては、システム３００は、主に次の２つの操作を実行する。（１）解像度を修正すべき箇所を識別する。（２）それらの箇所の解像度を修正する。以下の説明では、主に、個別の画像（フレーム）を参照するが、リール内の各画像についてこの処理が繰り返されることが、説明から理解されよう。
【００４６】
（デジタイズ装置）
システム３００は、３つの分離色画像Ｃ（シアン）、Ｍ（マゼンタ）、およびＹ（黄）を受け取り、３つのデジタル色成分画像（「デジタル画像」）ＲＤ（赤）、ＧＤ（緑）、およびＢＤ（青）を出力するデジタイズ装置３１０を含む。添え字Ｄは、画像がデジタイズされていることを示す。したがって、デジタイズ装置３１０は、写真ネガ（Ｃ、Ｍ、Ｙ）を写真ポジに反転するステップと、その結果のポジを３つのデジタル画像（ＲＤ、ＧＤ、ＢＤ）にデジタイズするステップとを実行する。
【００４７】
各デジタル画像は、幅と高さを有する画素の配列を含む。その配列内では、各画素の位置を次のように表すことができる。
（ｘ，ｙ）、ただし、０≦ｘ≦幅、０≦ｙ≦高さ
【００４８】
各画素の箇所は、次のように表すことができる、関連付けられたグレー・レベル値を有する。
Ｉ（ｘ，ｙ）、ただし、０≦Ｉ（ｘ，ｙ）≦Ｉ＿ｍａｘ
【００４９】
Ｉ（ｘ，ｙ）は、画素位置（ｘ，ｙ）における特定の色（たとえば、赤、緑、または青）の輝度を表す。Ｉ＿ｍａｘは、その画素の可能な最大輝度値を表す。たとえば、１６ビットのデータの場合は、Ｉ＿ｍａｘ＝６５，５３５である。
【００５０】
（前処理装置）
システム３００はさらに、デジタイズ装置３１０からデジタル画像ＲＤ、ＧＤ、およびＢＤを受け取って、修正されたデジタル画像Ｒ、Ｇ、およびＢを生成する前処理装置３２０を含む。前処理装置３２０は、システム３００では省略可能な装置であり、３つのデジタル画像ＲＤ、ＧＤ、およびＢＤのうちの１つまたは複数に対して前処理操作を実行する。たとえば、画像ＲＤ、ＧＤ、およびＢＤのうちの１つまたは複数を、平滑化したり、フレームを構成する他のデジタル画像と位置が合うように登録アルゴリズムを用いて変更したり、粒子除去アルゴリズムを用いて処理したりできる。一実施態様では、前処理装置３２０は、３つのデジタル画像ＲＤ、ＧＤ、およびＢＤのすべてに対して動作し、（ｉ）平滑化による粒子除去、（ｉｉ）登録、および（ｉｉｉ）さらなる平滑化の操作を実行する。前処理装置３２０がシステム３００に含まれない場合、画像Ｒ、Ｇ、およびＢは、それぞれ画像ＲＤ、ＧＤ、およびＢＤと同じである。
【００５１】
（分類装置）
システム３００はさらに、前処理装置３２０からデジタル画像Ｒ、Ｇ、およびＢを受け取り、それらの画像のうちの１つについての分類マップを出力する分類装置３３０を含む。たとえば、分類マップＣＲは、赤のデジタル画像の中の、解像度を上げる１つまたは複数の箇所（画素）を識別する。ＣＲは、各画素が、輝度値ではなく「修正する」（Ｍ）、「場合によっては修正する」（ＰＭ）、または「修正しない」（ＮＭ）のラベルを含む以外は、赤のデジタル画像と同じ配列で表すことができる。「修正する」は、赤のデジタル画像の中の、対応する画素位置の画素輝度値を修正すべきであることを示し、「場合によっては修正する」は、たとえば追加テストの結果によっては、その画素輝度値を修正する可能性があることを示し、「修正しない」は、その画素輝度値を修正すべきでないことを示す。
【００５２】
後で詳述する一実施態様では、ＰＭのラベルは暫定的なラベルに過ぎず、分類装置３３０の出力は、画素に付けられたラベルがＭまたはＮＭであって、ＰＭのラベルがない分類マップＣＲである。暫定的なＰＭラベルを用いると、特定の画素が、画素を修正すべきであることを示すテストの少なくともいくつかを通っている可能性があるという事実を取り込んで用いる実装が可能になる。
【００５３】
所与の画素の箇所を修正するかどうかは、様々な要因に基づいて決定できる。赤色フリンジングはエッジに関連する現象なので、分類装置３３０は、エッジ情報を用いて、どの画素を修正するかを決定する。エッジ情報は、エッジに関して、一次元または複数次元で得ることができる。たとえば、分類装置３３０は、二次元エッジに関係するエッジ情報を用いることができる。逆に、分類装置３３０は、２回の反復を実行できる。１回目の反復では、たとえば水平エッジにのみ関係するエッジ情報を用い、２回目の反復では、たとえば垂直エッジにのみ関係するエッジ情報を用いることができる。
【００５４】
赤のデジタル画像の中の所与の画素を修正するかどうかは、赤のデジタル画像Ｒにある情報だけでなく、他のデジタル画像ＧおよびＢの１つまたは複数にある情報にも基づいて決定できる。分類装置３３０は、赤のデジタル画像の修正に用いる情報を提供するために他のどのデジタル画像を用いるかを決定する。その情報提供に用いられるデジタル画像を基準デジタル画像と呼ぶ。基準デジタル画像を選択するためには様々な基準を用いることができる。たとえば、以下の例で示すように輝度値情報や解像度情報を用いることができる。
【００５５】
一実施態様では、緑と青の両方のデジタル画像に、赤のデジタル画像にあるエッジと一致するエッジがある場合に、エッジ・トランジション（edge transition）の（１つまたは複数の画素の端から端までの）最後の部分で平均輝度の小さいほうのデジタル画像（緑または青）が、そのエッジの基準デジタル画像として選択される。別の実施態様では、緑と青の両方のデジタル画像に、赤のデジタル画像にあるエッジと一致するエッジがある場合に、解像度が高いほうのデジタル画像（緑または青）が、基準デジタル画像として選択される。解像度（あるいは鮮明度）については、様々な定義のしかたがある。たとえば、ある一組の画素の解像度は、それらの画素に存在する輝度値の範囲（すなわち、最大輝度値から最小輝度値を差し引いた値）を、その組にある画素の数で割った値として定義できる。さらなる実施態様では、ある特定のエッジに対して用いる、基準デジタル画像を選択する選択基準を、別のエッジに対して用いる選択基準と異なるようにできる。複数の基準デジタル画像を用いることができる場合は、分類装置３３０で生成される分類マップＣＲが、各エッジ画素のＭ情報またはＮＭ情報だけでなく、各エッジ画素に対してどの基準デジタル画像が用いられるかについての情報も提供できる。
【００５６】
図４は、赤のデジタル画像の中にある画素を修正するかどうかを決定するために、分類装置３３０の一実施態様で行われる処理４００のフロー・チャートである。処理４００は、Ｒと、ＧおよびＢのうちの１つまたは複数とについての一組のエッジ（エッジ・マップ）を取得すること（４１０）を含む。このエッジ・マップは、たとえば、エッジ検出フィルタ（たとえば、Ｃａｎｎｙフィルタなど）を用いて取得できる。エッジを構成している画素を、エッジ画素、またはエッジ・トランジション画素と呼ぶ。エッジ情報は、結合したり、分割したりできる。たとえば、エッジ情報を、直交する方向の、エッジを取り込む情報の組に分割できる。一実施態様では、水平方向のエッジ情報と垂直方向のエッジ情報を別々に取得する。図５および６は、それぞれ、単純な赤のデジタル画像と単純な基準デジタル画像のエッジ・マップを示す。
【００５７】
図５は、簡単のために一次元の水平エッジのみを有する赤のデジタル画像のサンプル・エッジ・マップ５００を示す。エッジ・マップ５００は、４つのエッジを示している。４つのエッジは、（ｉ）（１，３）から（３，３）の画素をカバーする一次元の水平エッジ、（ｉｉ）（５，１）から（９，１）の画素をカバーする一次元の水平エッジ、（ｉｉｉ）（３，８）から（４，８）の画素をカバーする一次元の水平エッジ、および（ｉｖ）（７，６）から（８，６）の画素をカバーする一次元の水平エッジである。
【００５８】
図６は、単純な基準デジタル画像のサンプル・エッジ・マップ６００を示す。エッジ・マップ６００は、２つのエッジを示している。２つのエッジは、（ｉ）（１，４）から（３，４）の画素をカバーする一次元の水平エッジ、および（ｉｉ）（５，３）から（９，３）の画素をカバーする一次元の水平エッジである。
【００５９】
処理４００は、赤のデジタル画像のエッジ・マップの記述的基準を決定すること（４２０）と、基準デジタル画像のエッジ・マップの記述的基準を決定すること（４３０）とを含む。記述的基準は、エッジ内の各エッジ画素について決定したり、エッジ内にある複数のエッジ画素について（すなわち、最大でエッジ内にあるすべてのエッジ画素について）共通に決定したりできる。以下では、エッジという用語を、エッジ内で１つのエッジ画素を指すために用いる場合と、エッジ内で複数のエッジ画素（すなわち、最大でエッジ内にあるすべてのエッジ画素）を指すために用いる場合とがある。記述的基準としては、たとえば、赤のデジタル画像と基準デジタル画像において、（ｉ）エッジが水平および／または垂直エッジかどうか、（ｉｉ）エッジ・トランジションが、所与の方向では、高輝度から低輝度に変化するか、低輝度から高輝度に変化するか、（ｉｉｉ）エッジの位置、（ｉｖ）エッジの範囲、（ｖ）エッジ内を横断する輝度の範囲、（ｖｉ）エッジの画素輝度および画素位置の他の様々な機能が含まれる。
【００６０】
「エッジ範囲」は、エッジ・トランジションを定義する画素の組を意味する。エッジ範囲は、様々な因子（たとえば、輝度値など）を用いて、所与のエッジから決定できる。特定のエッジのエッジ範囲は、そのエッジの近傍に別のエッジがあるかどうかが影響する場合もある。エッジ範囲は、１つまたは複数の方向で決定できる。たとえば、エッジ・マップが一次元エッジを含むか、二次元エッジを含むかに応じて、一次元または二次元についてエッジ範囲を決定できる。エッジ範囲はまた、単一のエッジ画素についても定義できる。
【００６１】
図７は、エッジ・マップ５００における４つのエッジのサンプル・エッジ範囲７００を示す。実際のエッジ自体と区別するためにエッジ範囲をクロスハッチで示しているが、エッジ自体もエッジ範囲の一部と見なされる。図に示すように、（１，３）から始まるエッジのエッジ範囲は、上方に２画素分、下方に２画素分広がっている。（５，１）から始まるエッジのエッジ範囲は、上方に１画素分、下方に３画素分広がっている。（３，８）から始まるエッジのエッジ範囲は、上方に１画素分、下方に１画素分広がっている。（５，１）から始まるエッジのエッジ範囲は、上方に１画素分、下方に２画素分広がっている。
【００６２】
図８は、エッジ・マップ６００における２つのエッジのサンプル・エッジ範囲８００を示す。図７と同様に、実際のエッジ自体と区別するためにエッジ範囲をクロスハッチで示しているが、エッジ自体もエッジ範囲の一部と見なされる。図に示すように、２つのエッジのエッジ範囲は、上方にも下方にも１画素分広がっている。
【００６３】
処理４００は、赤のデジタル画像のエッジ・マップにある各エッジについて、各エッジが基準デジタル画像のエッジ・マップにあるエッジと一致するかどうかを判別すること（４４０）を含む。「一致する」という用語は、エッジの空間的位置が互いに対応することを示すためだけでなく、赤のデジタル画像の当該エッジと基準デジタル画像の当該エッジとの間に解像度差が存在することと、赤のデジタル画像の当該エッジが修正候補と見なされることとを示すためにも用いる。他の実施態様では、別の基準を用いて（たとえば、エッジが空間的に対応するかどうかだけを考慮して）「一致」を判別することができる。エッジの評価に用いられる因子は、たとえば、空間的関係、解像度差の存在、またはその両方に関連する情報を与えることができる。エッジが一致するかどうかの判別は、たとえば、エッジの比較情報だけでなく、各エッジの個別情報を用いて行うなど、様々な方法で行うことができる。一実施態様では、エッジの記述的基準を比較するために、たとえば、エッジの方向が同等かどうか、エッジ範囲の輝度値のトランジションが同じ方向かどうか（たとえば、低輝度から高輝度、または高輝度から低輝度）、エッジ範囲の輝度値の輝度範囲が同等かどうか、エッジが特定の距離基準を満たすかどうか（たとえば、エッジまたはエッジの指定部分（先頭、末尾、中間など）が互いに特定の距離内になるかどうか）などを考慮する。
【００６４】
実施態様では、他にも様々な因子の１つまたは複数を用いて、エッジが一致するかどうかを判別できる。そのような因子として、たとえば、（ｉ）赤のデジタル画像における当該エッジの、輝度値が最大の箇所と、基準デジタル画像における当該エッジの、輝度値が最大または最小の箇所との間の距離、（ｉｉ）赤のデジタル画像における当該エッジの、輝度値が最小の箇所と、基準デジタル画像における当該エッジの、輝度値が最小または最大の箇所との間の距離、（ｉｉｉ）（赤のデジタル画像における現在の当該エッジの特定の至近距離内に、赤のデジタル画像における別のエッジ（近傍エッジと呼ぶ）がある場合には）この赤の近傍エッジのエッジ範囲（またはエッジ範囲の一部）に対して測定された、赤のデジタル画像における平均輝度と基準デジタル画像における平均輝度との差、（ｉｖ）赤のエッジまたは基準エッジのエッジ範囲（またはエッジ範囲の一部）に対して測定された、赤のエッジにおける平均輝度と基準エッジにおける平均輝度との差、（ｖ）基準エッジによって横断された輝度範囲と赤のエッジによって横断された輝度範囲との比、（ｖｉ）様々な箇所での、赤のエッジと基準エッジの輝度値との差（または画素範囲での平均輝度値の差）などがある。さらに、そのような因子として、空間領域情報に加えて、ウェーブレット領域における周波数情報または解像度情報もある。実施態様では、どの因子を用いるかを、赤のエッジと基準エッジの特定の特性に基づいて決定できる。たとえば、赤のエッジおよび／または基準エッジが、特定のしきい値を超える最大輝度値を有するかどうかに応じて、異なる因子を用いることができる。別の例として、非基準デジタル画像（たとえば、赤のデジタル画像）における当該エッジ画素の近傍にある１つまたは複数のエッジ画素と一致するエッジ画素が基準デジタル画像内にあるかどうかに応じて、異なる因子を用いることができる。
【００６５】
２つのエッジが一致するかどうかを判別する際には、様々な方法で、１つまたは複数の因子を解析したり結合したりできる。たとえば、その判別は、（ｉ）たとえば、特定のしきい値が満足されたかどうか、などのバイナリ結果、（ｉｉ）たとえば、検討対象の因子の大部分が好ましい結果をもたらしたかどうか、などの多因子解析（ただし、それらの因子が重要視されている可能性がある場合）、（ｉｉｉ）たとえば、２つのエッジが一致する可能性の確率的評価などの確率的判別（ただし、その評価が様々な因子に基づく場合）などに基づくことができる。確率的判別を伴う一実施態様では、画素にＰＭ画素としてラベル付けすることによって、その画素が、一致する画素である確率が高いものの、Ｍ画素が一致する確率よりは低いことを示すことができる。上記の例は、必ずしも互いに排他的ではない。
【００６６】
一致を判別する場合と同様に、画素にＰＭ画素としてラベル付けすべきかどうかの決定を、複数の因子、または単一の因子に応じて行うことができる。ＰＭ画素を最終的にＭ画素にするか、ＮＭ画素にするかの決定は、後続の操作に応じて行うことができる。たとえば、後述のように、ＰＭ画素を最終的にどのようにラベル付けするかの決定を、連続性、除去、再ラベル付けなどの操作によって行うことができる。
【００６７】
図５および６を用いて操作４４０を説明する。上述のとおり、エッジ・マップ５００では、１２個のエッジ画素が４つのエッジを定義している。この例では、エッジ・マップ５００の各エッジ画素（およびこれに関連付けられたエッジ範囲（この例では垂直方向に広がるエッジ範囲））を調べて、これらのエッジ画素（および関連付けられた範囲）がエッジ・マップ６００にあるエッジ画素（および関連付けられた範囲）と一致するかどうかを判別する。他の実施態様では、エッジの複数のエッジ画素（最大でエッジ全体）をまとめて調べて、それらのエッジがエッジ・マップ６００にあるエッジと一致するかどうかを判別することができる。
【００６８】
図５では、エッジ画素は、（１，３）から（３，３）までの箇所、（５，１）から（９，１）までの箇所、（３，８）から（４，８）までの箇所、および（７，６）から（８，６）までの箇所に存在する。２つの画素の距離が許容できること、ならびに位置（１，３）、（２，３）、（３，３）、（５，１）、（６，１）、（７，１）、および（８，１）にあるエッジ画素について、エッジ・マップ６００の位置（１，４）、（２，４）、（３，４）、（５，３）、（６，３）、（７，３）、および（８，３）にあるエッジ画素とそれぞれ比較したときに他の任意の一致条件が満たされることを仮定すれば、これらのエッジ画素はＭ画素としてラベル付けされる。エッジ・マップ５００の位置（９，１）のエッジ画素は、説明のために、エッジ・マップ６００の位置（９，３）のエッジ画素と一致している可能性があるとする。位置（３，８）および（４，８）のエッジ画素は、エッジ・マップ６００のどのエッジ画素とも一致していないと仮定する。位置（７，６）および（８，６）のエッジ画素は、説明のために、エッジ・マップ６００にあるエッジ画素と一致している可能性があると仮定する。
【００６９】
処理４００は、赤のデジタル画像のエッジ・マップの各エッジ画素にラベルを付けること（４５０）を含む。これらの画素には、たとえば一致している基準エッジがある場合はＭ画素、一致している可能性がある基準エッジがある場合はＰＭ画素、その他の場合はＮＭ画素としてラベル付けすることができる。
【００７０】
図９は、エッジ・マップ５００に操作４５０を適用して得られたエッジ・マップ９００を示す。図９では、位置（１，３）、（２，３）、（３，３）、（５，１）、（６，１）、（７，１）、および（８，１）にある８つの画素がＭ画素としてラベル付けされている。これは、これらのエッジ画素（およびこれらに関連付けられたエッジ範囲）が、基準デジタル画像のエッジ・マップ６００において一致する画素を有するからである。位置（９，１）の画素はＰＭ画素としてラベル付けされている。位置（３，８）および（４，８）にある２つの画素はＮＭ画素としてラベル付けされ、位置（７，６）および（８，６）にある２つの画素はＰＭ画素としてラベル付けされている。
【００７１】
処理４００は、エッジ・マップ内のＭ画素とＰＭ画素の間に連続性を与えること（４６０）を含む。たとえば、解像度が低いほうの画像のエッジ・マップ内で各Ｍ画素およびＰＭ画素の周囲に、水平方向および／または垂直方向に特定の範囲の近傍を定義できる。この近傍内で、ある画素がＭ画素またはＰＭ画素と識別された場合は、その画素と、その近傍が定義されたＭ画素またはＰＭ画素の間に、その方向（たとえば、水平、垂直、または斜め方向）に沿って存在する特定の画素群にも、同様にＭ画素またはＰＭ画素としてラベル付けすることができる。これは、Ｍ画素またはＰＭ画素の間に連続性を持たせるためである。そのような一実施態様では、操作４６０において、ＰＭ画素をすべてＭ画素として処理する。すなわち、操作４６０で再ラベル付けするすべての画素を、ＰＭ画素ではなく、Ｍ画素として再ラベル付けする。
【００７２】
図１０は、水平方向と垂直方向の範囲が両方とも５である近傍を用い、エッジ・マップ９００に操作４６０を適用して得られたエッジ・マップ１０００を示す。水平方向と垂直方向の範囲が両方とも５であることにより、画素（３，３）の近傍を太い外郭線で示した。連続性操作４６０により、図のように画素（４，２）がＭ画素に変わるが、これは、画素（４，２）が、Ｍ画素（５，１）と、その近傍が定義されたＭ画素（３，３）の間にあるためである。エッジ・マップ１０００ではさらに、水平方向と垂直方向の範囲が両方とも５である、画素（７，６）の近傍も太い外郭線で示した。しかし、画素（７，６）の近傍にあるどの画素も、連続性操作４６０では変化がない。画素（３，８）および（４，８）は、明示的にはＮＭ画素のラベルが付いていないが、これは、ラベルの付いていない画素がすべてＮＭ画素であると理解されるためである。
【００７３】
エッジ画素間の連続性は、他にも様々な方法で与えることができる。一例として、２つのエッジ画素の間の輝度差、ならびにその２つのエッジ画素の間に空間的に位置する特定の画素群の間の輝度差がいずれも特定のしきい値を下回る場合にはその２つのエッジ画素を接続するという方法がある。
【００７４】
処理４００は、エッジ・マップ内のスプリアスのＭ画素またはＰＭ画素を除去すること（４７０）を含む。一実施態様では、Ｍ画素またはＰＭ画素として誤分類されている可能性がある画素の含有が低減されるように、Ｍ画素またはＰＭ画素の組の余分なものを除去して、より小さな組にする。そのような誤分類が起こりうるのは、たとえば、雑音のためである。この除去操作の実行には、様々な基準を用いることができる。
【００７５】
図１１は、Ｍ画素またはＰＭ画素を除去するために分類装置３３０で用いられる処理１１００のフロー・チャートである。処理１１００は、接続されたＭ画素（および任意でＰＭ画素）の組を識別すること（１１１０）を含む。接続された組は、すべてのＭ画素またはＰＭ画素が、それぞれ、その組にある他の、少なくとも１つのＭ画素またはＰＭ画素の近傍にある可能性がある、Ｍ画素またはＰＭ画素の組として定義される。ＭまたはＰＭ画素は、水平方向、垂直方向、または斜め方向で互いに隣り合っていれば、近傍にある。エッジ・マップ１０００では、１つの接続された組に８つのＭ画素と１つの近傍ＰＭ画素があり、別の接続された組に残りの２つのＰＭ画素がある。
【００７６】
処理１１００は、所与の接続された組について、Ｍ画素の数を確定すること（１１２０）と、ＰＭ画素の数を確定すること（１１２５）とを含む。処理１１００は、接続された組の中のＭ画素および／またはＰＭ画素の数を１つまたは複数のしきい値と比較すること（１１３０）と、それらのしきい値のうちの１つまたは複数が満たされない場合に、その接続された組の中のＭ画素またはＰＭ画素をＮＭ画素として再ラベル付けすること（１１４０）とを含む。一実施態様では、Ｍ画素の数とＰＭ画素の数の和をサイズしきい値と比較する。この和がサイズしきい値未満であれば、それらのＭ画素およびＰＭ画素をＮＭ画素として再ラベル付けする。逆に、和がサイズしきい値以上であれば、その接続された組にあるＰＭ画素をＭ画素に再ラベル付けする。操作１１３０および１１４０はさらに（あるいは代わりに）、接続された組でのＰＭ画素に対するＭ画素の比を比しきい値と比較することを含む場合もある。このＰＭ画素に対するＭ画素の比が比しきい値未満であれば、その接続された組にあるＭ画素またはＰＭ画素をＮＭ画素に再ラベル付けする。逆に、比が比しきい値以上であれば、その接続された組にあるＰＭ画素をＭ画素に再ラベル付けする。
【００７７】
引き続き図１０の例で、サイズしきい値を３とすると、Ｍ画素の接続された組と１つのＰＭ画素がＮＭ画素として再ラベル付けされず、ＰＭ画素の接続された組がＮＭ画素として再ラベル付けされる。比しきい値を適用し、比しきい値が１つのＰＭ画素に対して８つ以下のＭ画素であるとすると、Ｍ画素の接続された組がＭ画素のままで残り、位置（９，１）にある近傍ＰＭ画素がＭ画素として再ラベル付けされ、ＰＭ画素の接続された組がＮＭ画素として再ラベル付けされる。
【００７８】
図４に戻ると、処理４００はさらに、エッジ・マップ内のすべてのＭ画素についてエッジ範囲を与えること（４８０）を含む。赤のデジタル画像のエッジ・マップにおいてエッジ画素であるＭ画素については、そのエッジ範囲は、たとえば、赤のデジタル画像のオリジナルのエッジ範囲であると解釈できる。オリジナルのエッジ範囲は、たとえば、一次元（たとえば、水平または垂直）または二次元で決定できる。操作４６０でＭ画素としてラベル付けされた画素のように、エッジ画素でないＭ画素については、エッジ範囲は、たとえば、１つまたは複数の近傍Ｍ画素のエッジ範囲の関数であると解釈できる。
【００７９】
一実施態様では、Ｍ画素の接続された組のエッジ範囲の類似性は、接続された組の中ですべてのＭ画素について同等のエッジ範囲を指定することによって実現される。エッジ範囲は、たとえば、オリジナルのエッジ範囲を有する、接続された組の中のＭ画素のオリジナルのエッジ範囲の関数に基づいて決定できる。たとえば、接続された組の中のすべてのＭ画素のエッジ範囲として、オリジナルのエッジ範囲の中央値、平均値、最小値、または最大値を用いることができる。接続された組の中のＭ画素を収集することによって確定する、これらの中央値、平均値、または他の種類の統計値を、接続された組の中の各Ｍ画素のエッジ範囲を決定する際の出発点として用いることもできる。
【００８０】
図１２は、エッジ・マップ１０００のＭ画素に操作４８０を適用して得られるエッジ範囲１２００を示す。エッジ画素でもあるＭ画素のオリジナルのエッジ範囲は、図７に示されている。図７のエッジ範囲は、上方の１画素の範囲の中央値と、下方の３画素の範囲の中央値を有する。オリジナルのエッジ範囲の、これら２つの中央値は、図１２で与えられているエッジ範囲に用いられ、操作４６０でラベル付けされたＭ画素にも同じ上方および下方の範囲が与えられる。
【００８１】
処理４００は、エッジ・マップ内のすべてのエッジ範囲画素をＭ画素としてラベル付けし、他のすべての画素をＮＭ画素としてラベル付けすること（４９０）を含む。図１３は、図１２のエッジ範囲画素をＭ画素としてラベル付けすることによって生成された分類マップ１３００を示すが、ただしラベルがない画素位置はＮＭ画素であることが理解される。
【００８２】
（修正装置）
図３に戻り、システム３００はさらに、修正装置３４０を含む。修正装置３４０は、（ｉ）分類マップＣＲおよび３つのデジタル画像Ｒ、Ｇ、およびＢを受け取り、（ｉｉ）分類マップによって識別された箇所の解像度を上げ、（ｉｉｉ）（Ｍ１Ｒとしてラベル付けされた）赤のデジタル画像の修正されたデジタル色成分画像を出力する。修整装置３４０は、基準デジタル画像からの解像度情報を用いて、赤のデジタル画像の解像度内容を修正する。赤のデジタル画像と基準デジタル画像はエッジが一致しているので、（一般に赤のデジタル画像より解像度が高いデジタル画像である）基準デジタル画像からの解像度情報を用いて、赤のデジタル画像の修正を誘導することができる。修正装置３４０は、基準デジタル画像にウェーブレット変換を適用して解像度情報を生成し、この解像度情報を用いて、赤のデジタル画像にウェーブレット変換を適用することによって生成された情報を修正する。ウェーブレット変換が有用であるのは、変換によって、画像全体の、解像度が異なる複数の表現（サブバンド）が生成されるためと、特定の空間的位置にある解像度情報が、各サブバンドにおいて対応する位置にある特定のウェーブレット係数と相関されるためである。
【００８３】
図１４は、修正装置３４０が赤のデジタル画像を修正するために行う処理１４００のフロー・チャートである。処理１４００は、赤のデジタル画像と基準デジタル画像に対して別々のウェーブレット変換を行うこと（１４１０）を含む。この変換は、たとえば、一度に一次元でも、一度に二次元でも行うことができ、いずれの場合も、特定の実装でよりよい結果が得られる。２つのパスを行う一実施態様では、変換は各パスで一次元であり、斜め方向を有するエッジに対応する情報を取り込む。最初のパスでは、行ごとに変換を行い、水平方向の解像度情報を取り込む。次のパスでは、列に対して変換を行い、垂直方向の解像度情報を取り込む。
【００８４】
図１５は、１つの行を対象とした簡単な例の結果を示す表１５００である。行「ｘ」は、分類マップの行であって、行ｘが１６画素を有し、そのうちの７つがＭ画素であることを示している（デジタル画像の行ｘの輝度値は示していない）。７つのＭ画素は位置１〜６および９にあり、残りの画素はＮＭ画素である（ＮＭ画素にはラベルが付いていない）。一般に、デジタル画像の、１レベルの、一次元の、行ごとのウェーブレット変換では、デジタル画像の行ｘと相関されたか、関連付けられた、全部で１６個の係数（図示せず）を有する２つのサブバンドが生成される。１つのサブバンドが低解像度情報を表し、もう１つのサブバンドが高解像度情報を表す。デジタル画像の、４レベルの一次元ウェーブレット変換では、５つのサブバンドが生成される。ここで、サブバンド０（ベースバンド）について１つの係数、サブバンド１について１つの係数、サブバンド２について２つの係数、サブバンド３について４つの係数、およびサブバンド４について８つの係数がある。これら１６個の係数のそれぞれと相関された、行ｘ内の位置を、表１５００に表示した番号で示した。
【００８５】
一般に、修正装置３４０がデジタル画像全体に対して行うウェーブレット変換では、デジタル画像の行ごとに、最も高いサブバンドに対応する「ｚ」個の係数（「ｚ」は行内の画素数の半分の数）、２番目に高いサブバンドに対応する「ｚ／２」個の係数、３番目に高いサブバンドに対応する「ｚ／４」個の係数（以降も同様）が生成される。このウェーブレット係数はデジタル画像の空間領域（この例では特定の行または行の一部）と相関されるか、関連付けられると言われているが、一般に、ウェーブレット係数で識別される解像度成分は、空間的にその領域に制限されない。
【００８６】
処理１４００は、ウェーブレット変換を計算した後、赤のデジタル画像にウェーブレット変換を適用することによって生成されたデジタル画像の、どのウェーブレット係数の箇所を修正するかを決定する。この決定は、行ごとに個別に、かつ、各行においてサブバンドごとに個別に行う。
【００８７】
処理１４００は、赤のデジタル画像の中の特定の行について、最も高いサブバンドの中のどのウェーブレット係数を修正するかを決定すること（１４２０）を含む。一実施態様では、分類マップＣＲの特定の行の位置「２＊ｊ」または「２＊ｊ＋１」がＭ画素である場合に、ウェーブレット変換の最も高いサブバンドの中の位置「ｊ」にある係数を修正する（ただし、「ｊ」は０以上であって、最も高いウェーブレット・サブバンドの開始位置から測定される）。
【００８８】
表１５００を用いて操作１４２０を説明する。最も高いサブバンドはサブバンド４であって、分類マップの行ｘの位置１がＭ画素なので、位置０が修正される。同様に、位置１、２、３、および４が修正されるが、位置５、６、および７は修正されない。
【００８９】
処理１４００は、赤のデジタル画像の中の同じ特定の行について、残りのサブバンドの中のどのウェーブレット係数を修正するかを決定すること（１４３０）を含む。一実施態様では、残りのサブバンドを、高いほうから低いほうに処理する。前の（より高い）サブバンドの中の位置「２＊ｊ」または「２＊ｊ＋１」が修正されている場合は、ウェーブレット変換の、次に高いサブバンドの中の位置「ｊ」にある係数を修正する。
【００９０】
表１５００を用いて操作１４３０を説明する。前の説明に続き、次に高いサブバンドがサブバンド３であって、サブバンド４の中の位置０（２＊ｊ）（または位置１（２＊ｊ＋１））が修正されているので、位置０（ｊ＝０）が修正される。同様に、位置１および２が修正されるが、位置３は修正されない。
【００９１】
次に、サブバンド２を処理する。サブバンド３の中の位置０（２＊ｊ）（または位置１（２＊ｊ＋１））が修正されているので、位置０（ｊ＝０）が修正される。同様に、位置１も修正される。
次に、サブバンド１を処理する。サブバンド２の中の位置０（ｊ＝０）（または位置１（２＊ｊ＋１））が修正されているので、位置０（ｊ＝０）が修正される。
最後に、サブバンド０を処理する。サブバンド１の中の位置０（ｊ＝０）が修正されているので、位置０（ｊ＝０）が修正される。一実施態様では、サブバンド０の係数は修正されない。
【００９２】
処理１４００は、上記で決定した位置にある係数を修正すること（１４４０）を含む。一実施態様では、係数を置き換えによって修正する。特に、基準デジタル画像にウェーブレット変換を適用することによって生成された結果の中で決定された位置の係数群を、赤のデジタル画像にウェーブレット変換を適用することによって生成された結果の中で決定された位置にある係数群にコピー（または変倍してコピー）する。したがって、決定された係数の位置において、赤のデジタル画像の解像度情報が、基準デジタル画像の解像度情報（または解像度情報の関数）に置き換わる。係数を変倍するとは、係数に特定の数を乗ずることである。
【００９３】
修正装置３４０は、赤（解像度が低いほう）のデジタル画像を修正するだけであり、基準（解像度が高いほうの）デジタル画像を修正しないことに注意されたい。
処理１４００は、赤のデジタル画像にウェーブレット変換を適用した結果を修正したものに逆ウェーブレット変換を行うこと（１４５０）を含む。この逆変換により、（システム３００でＭ１Ｒとラベル付けされた）修正された赤のデジタル画像が生成される。
【００９４】
（後処理装置）
図３に戻ると、システム３００はさらに後処理装置３５０を含む。後処理装置３５０は、Ｍ１Ｒ、ＣＲ、および３つのデジタル画像Ｒ、Ｇ、およびＢを受け取り、修正されたＭ１Ｒ（Ｍ２Ｒと称する）を生成する。後処理装置３５０は３つの操作を行うが、他の実施態様では、それら３つの操作のうちの１つまたは複数を省略し、別の操作を加えることができる。
【００９５】
第１に、後処理装置３５０は、ＣＲのＮＭ画素に対応するＭ１Ｒの画素が、赤のデジタル画像におけるそれらの輝度値から修正されていないことを確認する。それらのＭ１Ｒ画素で修正されているものがある場合は、それらの画素の輝度値を、赤のデジタル画像で与えられたオリジナルの値に戻す。
【００９６】
ＮＭ画素は、修正装置３４０でウェーブレット係数を変更したことによって修正されている可能性がある。表１５００に関して既に述べたように、サブバンド４、３、２、１、および０において係数０が修正されている。表１５００からわかるように、これら５つの係数はすべて、デジタル画像の行ｘにあるＮＭ画素０に影響する。したがって、ＮＭ画素０は修正されると予想できる。さらに、これらの係数は、デジタル画像の特定の画素群と関連付けられるか、相関されるが、一般に、これらの係数は、周囲の画素にも効果を生成する（この効果を拡散効果と呼ぶ）。したがって、たとえば、サブバンド４の中の係数３は、デジタル画像の行ｘにおいて、ＮＭ画素７だけでなく、ＮＭ画素８にも影響すると予想できる。
【００９７】
第２に、後処理装置３５０は、Ｍ１ＲまたはＭ１Ｒの一部の解像度を計算して、その解像度が修正の結果として低下していないことを確認する。解像度が低下している場合は、様々なアクションを開始または実行できる。たとえば、修正によって特定の画素位置で解像度が低下した場合は、これらの画素値をオリジナルの輝度値に戻すことができる。あるいは、分類装置３３０および／または修正装置３４０のいずれかのパラメータを変更して、その装置の操作を再度実行することができる。たとえば、ＣＲを決定するパラメータを変更したり、基準デジタル画像を変更したり、修正用のウェーブレット係数を選択および／または修正する方法を変更したりできる。
【００９８】
第３に、後処理装置３５０は、Ｍ画素とＮＭ画素の間、または２つのＭ画素の間の境界において、異なる基準デジタル画像（それぞれ、ＲｅｆｌおよびＲｅｆ２）を用いる「フェザリング」（または同様の平滑化）を行うことにより、存在しうる１つまたは複数の非連続性の視覚的影響を低減しようとする。フェザリングは、たとえば（いくつかの実施態様について後述するように）、一種類の画素を含む箇所（たとえば、トランジション境界の一方の側の画素）に適用したり、複数種類の画素を含む箇所（たとえば、異なる種類の画素の間にあるトランジション境界の全体に広がる近傍の中にある画素）に適用したりできる。一実施態様では、フェザリングを、水平方向で近接する２つの画素領域の間の垂直方向の境界に沿って、ならびに垂直方向で近接する２つの画素領域の間の水平方向の境界に沿って実行する。
【００９９】
一般に、フェザリング範囲の大きさは、境界における画素の輝度値が一方の値から他方の値に融合する率に影響を及ぼす。ＮＭ／Ｍ（あるいはＲｅｆｌ／Ｒｅｆ２）画素トランジションに対応する行または列ごとの範囲の大きさを決定するために、様々な手法を用いることができる。一実施態様では、フェザリング範囲の大きさを、修正された赤の画像Ｍ１Ｒの輝度値だけでなく、Ｒ、Ｇ、およびＢの輝度値にも基づいて決定する。たとえば、
【０１００】
修正装置によって赤の画像が処理された後のＮＭ／ＭトランジションにおけるＮＭ画素の赤の輝度値をＭ１Ｒ（ｉ，ｊ）とし、修正装置によって赤の画像が処理された後のＮＭ／ＭトランジションにおけるＭ画素の赤の輝度値をＭ１Ｒ（ｉ，ｊ＋ｌ）とすると、値ｄｉｆｆを次式で定義できる。
ｄｉｆｆ＝ａｂｓ（Ｍ１Ｒ（ｉ，ｊ）−Ｍ１Ｒ（ｉ，ｊ＋ｌ））
【０１０１】
これは、ＮＭ画素の赤の値と、Ｍ画素の赤の値との、赤の輝度差の絶対値である。さらに、特定の測定基準を位置（ｉ，ｊ）および（ｉ，ｊ＋ｌ）の（Ｒ，Ｇ，Ｂ）画素輝度値ならびに位置（ｉ，ｊ＋１）のＭ１Ｒ画素輝度値に適用したときに、その測定基準が満たされるかどうかに基づいて、値ｄｉｆｆ２を１または０と定義できる。たとえば、その特定の測定基準として、ａｂｓ（Ｍ１Ｒ（ｉ，ｊ＋ｌ）−Ｒ（ｉ，ｊ＋ｌ））、ａｂｓ（Ｇ（ｉ，ｊ）−Ｇ（ｉ，ｊ＋ｌ））、およびａｂｓ（Ｂ（ｉ，ｊ）−Ｂ（ｉ，ｊ＋ｌ））を用いることができる。
【０１０２】
したがって、次式のように範囲を定義できる。
Ｅ１＝（ｃｏｎｓｔａｎｔ＊ｄｉｆｆ）（ｄｉｆｆ２＝１の場合）、または０  （ｄｉｆｆ２＝０の場合）
ただし、ｃｏｎｓｔａｎｔ（定数）は、０以上であるが、一般に１未満である。
【０１０３】
図１６は、１つの列ｉの一部を対象とした簡単な例を示す。図１６では、画素（ｉ，ｊ）がＮＭ画素であり、画素（ｉ，ｊ＋ｌ）がＭ画素である。Ｍ１Ｒ（ｉ，ｊ）＝１３０、Ｍ１Ｒ（ｉ，ｊ＋ｌ）＝９０、およびｄｉｆｆ＝４０である。さらに、ｄｉｆｆ２を１とする。「ｃｏｎｓｔａｎｔ」の値を０．１とすると、Ｅ１＝４となる。これは、Ｍ１Ｒ（ｉ，ｊ＋ｌ）からＭ１Ｒ（ｉ，ｊ＋４）までを含む。
【０１０４】
この範囲は、同じ指定を受けた近傍画素の輝度の類似性に基づいて、さらに改良できる。一実施態様では、引き続き上記の例で、位置（ｉ，ｊ＋ｌ）のＭ画素と範囲Ｅ１が与えられている場合に、画素（ｉ，ｋ）（ｊ＋１＜ｋ≦ｊ＋Ｅ１、ｋは整数）に対して以下の操作を行う。
１．画素（ｉ，ｋ）が直前の画素（ｉ，ｋ−ｌ）と同じ種類の指定（Ｍ画素またはＮＭ画素）かどうかを調べる。
２ａ．操作１が満足されない場合は、操作４に進む。
２ｂ．画素（ｉ，ｋ）の（Ｒ，Ｇ，Ｂ）輝度値を、画素（ｉ，ｋ−１）の（Ｒ，Ｇ，Ｂ）輝度値と比較する。
３．操作２ｂの比較が特定の測定基準（上述のｄｉｆｆ２を与えた測定基準と異なる）を満たす場合は、ｋを１増やして操作１に戻る。
４．操作１が満足されなかった場合、または操作２ｂの比較が特定の測定基準を満たさなかった場合に、操作３を満足した画素（ｉ，ｋ）の組を範囲として定義する。
【０１０５】
図１６に示した列に上記のアルゴリズムを適用できる。このアルゴリズムの第１のパスでは、ｋ＝ｊ＋２である。操作１では、画素（ｉ，ｊ＋２）と画素（ｉ，ｊ＋１）とを比較し、両方がＭ画素である。操作２ｂでは、画素（ｉ，ｊ＋２）の（Ｒ，Ｇ，Ｂ）輝度値と、画素（ｉ，ｊ＋ｌ）の（Ｒ，Ｇ，Ｂ）輝度値とを比較する。たとえば、この比較として、各色成分の差の絶対値を求めることができ、この例では比較によって、（３，３，２）という結果（すなわち、１２８−１２５、１２７−１３０、１１８−１１６）が得られる。操作３では、（３，３，２）という結果から、測定基準が満たされているかどうかが判別される。この測定基準として、たとえば、各成分の最大許容差を用いることができ、たとえば、最大許容差の値を６とすることができる。そのような実施態様では、各色成分の差（３、３、および２）が最大許容差６より小さいので、測定基準が満たされる。
【０１０６】
このアルゴリズムの第２のパスでは、ｋ＝ｊ＋３である。操作１では、画素（ｉ，ｊ＋３）と画素（ｉ，ｊ＋２）とを比較し、両方がＭ画素である。操作２ｂで、比較が輝度値の絶対値の差であるとすると、比較結果は、Ｒ成分が７（１２５−１１８）、Ｇ成分とＢ成分がともに１である。操作３で、測定基準が最大差５であるとすると、７という結果は測定基準を満たさない。操作４では、画素（ｉ，ｊ＋１）および（ｉ，ｊ＋２）が範囲として定義される。これは、前に決定した範囲４より小さい。
【０１０７】
上記の例で最大許容差が７であったとすると、画素（ｉ，ｊ＋３）は測定基準を満たし、アルゴリズムの第３のパスが行われる。ただし、第３のパスでは、画素（ｉ，ｊ＋４）が、ＮＭ画素であるために操作１を満足せず、範囲は、画素（ｉ，ｊ＋ｌ）から画素（ｉ，ｊ＋３）までを含んで画素（ｉ，ｊ＋３）で終わる。
【０１０８】
フェザリング範囲は、Ｍ画素位置群とＮＭ画素位置群の両方の端から端まで、Ｍ画素位置群だけの端から端まで、またはＮＭ画素位置群だけの端から端まで広げることができる（あるいは、Ｒｅｆ１／Ｒｅｆ２境界トランジションがある場合には、同じように、Ｒｅｆｌ画素位置群とＲｅｆ２画素位置群の両方の端から端まで、Ｒｅｆｌ画素位置群だけの端から端まで、またはＲｅｆ２画素位置群だけの端から端まで広げることができる）。フェザリング範囲をＭ画素位置だけでなくＮＭ画素位置の端から端まで広げると、たとえば、上述の操作と同様の処理を、ＮＭ／Ｍトランジション境界の近くのＮＭ画素に適用できる。
【０１０９】
フェザリング範囲が得られると、この範囲にある画素の輝度値を修正できる。一実施態様では、フェザリング範囲内で、各フェザリング範囲の末尾の画素に関連付けられた輝度値の間を線形補間することにより、新しい輝度値を得る。ただし、様々な方法を用いて、フェザリング範囲内で新しい輝度値を得ることができる。
【０１１０】
図１７は、ＮＭ／Ｍ境界変換の近くで上述のフェザリング手法の作用を受ける複数の画素を識別する二次元の例１７００を示す。表示を簡単にするために、ＮＭ／Ｍ画素はラベル付けしていない。その代わりに、ＮＭ／Ｍ画素間のトランジションを太い実線で示した。水平方向と垂直方向の両方でフェザリング手法の作用を受ける画素を「Ｓ」とラベル付けした。
【０１１１】
既に簡単に説明したように、一次元ウェーブレット変換は、エッジを一方向にのみ記述した分類マップを用いる修正装置３４０によって、一方向にのみ適用できる。システム３００で、未修正の赤のデジタル画像Ｒを用いると、斜め方向の新しい分類マップを得られる。修正装置３４０が、その新しい分類マップと「古い」Ｍ２Ｒを受け取り、新しい分類マップを用いて、斜め方向の一次元ウェーブレット変換を古いＭ２Ｒに適用する。そのＭ２Ｒを修正して、新しいＭ１Ｒを得る。新しいＭ１Ｒを後処理装置３５０に送る。後処理装置３５０で、最終的なＭ２Ｒが生成される。他の実施態様では、複数のパス（斜め、その他）の結果を様々な方法でまとめることができる。
【０１１２】
別の実施態様では、上記と同様に、一次元ウェーブレット変換は、エッジを一方向にのみ記述した分類マップを用いる修正装置３４０によって、一方向にのみ適用される。ただし、この別の実施態様では、Ｍ２Ｒを分類装置３３０にフィードバックし、分類装置３３０で、赤のデジタル画像Ｒの代わりにＭ２Ｒを用いて、斜め方向のエッジに関連するＭ画素を示す新しい分類マップを得る。
【０１１３】
（合成装置）
図３に戻ると、システム３００はさらに、合成装置３６０を含む。合成装置３６０は、Ｍ２Ｒと、解像度が高いほうの２つのデジタル画像を受け取り、これら３つのデジタル画像を結合してコンポジット（合成）・カラー画像（フレーム）を生成する。既に述べたように、光学式プリンタを用いて、３つのデジタル画像を結合し、コンポジット・カラー画像を生成することができる。また、一般に光学式プリンタを用いた場合は、３色すべてで解像度が低下するが、レーザ・フィルム・プリンタを用いると低下を回避できる。
【０１１４】
（その他の実施態様）
デジタイズ装置３１０に戻ると、一実施態様では、Ｉ（ｘ，ｙ）は、画素位置（ｘ，ｙ）での実際の輝度値の対数を表す。別の実施態様では、（ｉ）他の様々な変換（たとえば、負から正への変換の代わりに、またはそれに加えての、正から負への変換など）のうちの１つまたは複数を行うこと、（ｉｉ）変換をまったく行わないこと、（ｉｉｉ）デジタイズしなくてよいように、デジタイズされたデータを受け取ること、および／または（ｉｖ）デジタイズ可能であり、別のデジタイズされた成分データを抽出できる、合成されたデータを受け取ることができる。たとえば、（ｉｖ）には、フィルムの色分解からのコンポジット・デュープや、コンポジット・カラー画像が含まれる。高い解像度の分離色と低い解像度の分離色があらかじめ決定（または指定）されているか、デジタイズ装置３１０によって決定されている場合は、デジタイズ装置３１０は、２つの分離色をデジタイズするだけでよい。さらに、システム３００の他のブロックはどれも、使用していない分離色のデジタル表現を受け取る必要がない。
【０１１５】
分類装置３３０に戻ると、実施態様は、たとえば、緑または青のデジタル画像を単純に選択したり、特定の基準（たとえば、解像度が最も高いデジタル画像など）を満たすデジタル画像を選択したりすることによって、基準デジタル画像を決定できる。解像度は、様々な方法で求めることができる。たとえば、変換の周波数情報を用いて、デジタル画像または分離色の高周波コンテンツを識別したり、空間領域の手法を用いて、高周波数または高解像度を示す、エッジの勾配やエッジの他の特徴を調べたりできる。解像度を求める手法を適用して、どの分離色やデジタル画像が最も解像度が低いかを決定することもできるが、映画撮影の用途では、一般に、最も解像度が低いのは赤の分離色であると見なしてよいことに留意されたいことに留意されたい。
【０１１６】
さらに、所与の画像（フレーム）に対して基準デジタル画像を固定する必要はない。たとえば、当該のエッジまたは画素に応じて基準デジタル画像を変えてもよい。さらに、解像度が低いほうの画像にある特定のエッジに、他の複数のデジタル画像において一致するエッジが含まれることが確定している場合は、どのデジタル画像（またはどのデジタル画像の組み合わせ）がより好ましい基準であるかを決定するために、分類装置３３０での複数のパスにおいて、基準デジタル画像を２つの候補に対して反復することができる。一実施態様では、一組の接続されたエッジ画素について、常に同じ基準デジタル画像を使用する。この基準デジタル画像は、エッジ画素群ごとに選択された基準デジタル画像、すなわち、そのエッジ画素群の大多数によって選択された基準デジタル画像に基づいて決定できる。
【０１１７】
１つの画像の中で複数の基準デジタル画像を使用できるこれらの例において、分類装置３２０はさらに、解像度が低いほうの画像の選択された部分を修正するために用いる情報を、複数の基準デジタル画像のうちのどの１つまたは複数が提供すべきであるかを指定できる。基準デジタル画像の指定と、所与の基準デジタル画像が適用される選択部分の識別とは、既述のように分類マップで提供することも、別のもので提供することも可能である。
【０１１８】
他の実施態様では、フレームの異なる複数の部分または特徴に対して低解像度デジタル画像を決定する。そのような実施態様の１つでは、システム３００を通して複数のパスを実行し、各パスでは、３つのデジタル画像のうちで最も解像度が低い特定のデジタル画像の特徴を処理する。
【０１１９】
これまで述べてきた基準を含め、様々な基準を用いて、デジタル画像（分離色）の解像度を求めることができる。このような基準にはさらに、たとえば、ウェーブレット変換や他の変換から得られる情報も含めることができる。２つのデジタル画像の解像度が同等の場合、この２つから、特定のエッジに対する基準デジタル画像を決定するには、たとえば、そのエッジ範囲の末尾の平均輝度値が低いほうのデジタル画像を選択する。解像度が最も高いデジタル画像でなくても、基準デジタル画像として選択することができる。たとえば、デジタル画像が他の何らかの特性を有していて、そのために、ある特定の用途でそのデジタル画像が基準デジタル画像として好適である場合がある。
【０１２０】
既に述べたように、分類装置３３０は、エッジに加えて（あるいはエッジの代わりに）別の特徴を用いて、どの画素を修正するかを決定できる。そのような特徴として、たとえば、輝度値の特徴（たとえば、特定のしきい値を超える輝度値）、物体の形状、ウェーブレット係数値、以前に他の何らかの画像処理アルゴリズムによって位置がずれていると識別された領域、および近傍フレーム内の対応する領域に修正済みの画素があったことを示す、近傍フレームからの情報（すなわち、時間ベースの特徴）などがある。時間ベースの特徴は、時間的に当該フレームに先行するか、その後に続くか、その両方かの、１つまたは複数のフレームからの情報を用いることができる。そのような実施態様では、１つのフレームにおける、エッジおよび他の特徴を含むほとんどの部分が、フレーム間で一定のまま残るという事実を利用できる。
【０１２１】
分類装置３３０の代替実施態様は、既述のＣａｎｎｙフィルタに加えて（またはその代わりに）様々なエッジ検出方法のうちの１つまたは複数を用いて処理４００を実行できる。たとえば、処理４００は、高輝度画素と低輝度画素の間の境界でトランジション画素を識別することによって一組のエッジを取得できる。たとえば、ある画素の輝度値がしきい値より高ければその画素を高輝度と指定し、そうでなければ低輝度と指定することによって、高輝度画素と低輝度画素を差別化できる。そのようなしきい値の比較を、Ｒ、Ｇ、およびＢの画像について行うことができる。
【０１２２】
分類装置３３０または他の装置で実行される様々な機能を、すべての実施態様で実行する必要はない。たとえば、エッジ・マップ内のＭ画像またはＰＭ画像の間で連続性を実現することは必要ではなく、スプリアスのＭ画素またはＰＭ画素をエッジ・マップから除去することは必要ではない。さらに、分類装置３３０で実行される様々な機能の中間段階では、画素をＭラベルまたはＮＭラベルのみに制限することができる（すなわち、どの画素にもＰＭラベルを割り当てる必要がない）。
【０１２３】
分類装置３３０で実行される様々な機能はさらに、実施態様によっては複数回実行することもできる。たとえば、連続性および／または除去のステップは、分類装置３３０が実行する処理の間の、異なる様々な段階で複数回適用できる。一代替実施態様では、連続性および／または除去のステップを適用できるのは、エッジの最初の組（またはエッジ・マップ）が生成された後であって、非基準デジタル画像のエッジと基準デジタル画像のエッジとが一致するかどうか（すなわち、それらを修正しなければならないかどうか）を決定するためにそれらのエッジに様々な基準のテストを適用する前である。
【０１２４】
処理４００の操作４２０および４３０で、輝度値の変化の勾配を記述的基準として用いることができる。勾配情報は、他の状況や他の目的にも用いることができる。たとえば、（勾配情報を比較して）エッジ範囲を決定する場合やエッジが一致するかどうかを判別する場合などに用いることができる。
【０１２５】
修正のステップにおいて特定のＭ画素の処理方法を他のＭ画素の場合と異なるものにするかどうかを決定する場合にも、様々な基準を用いることができる。特定のエッジまたはエッジ画素の処理方法を異なるものにすると決定した場合は、その情報も、分類マップその他に提供できる。たとえば、分類装置は、修正操作時に用いる変倍係数を、エッジ画素とこれに関連付けられた範囲の特性や、基準デジタル画像において対応するエッジ画素とこれに関連付けられた範囲の特性に基づいて異なるように決定できる。
【０１２６】
修正装置３４０に戻ると、時間領域解析、周波数領域解析、および／またはウェーブレット領域解析を用いて、画像の解像度コンテンツを修正できる。上記の実施態様は、ウェーブレット変換を用い、時間領域でＮＭ画素が修正されないようにすることによって解像度の修正の範囲を限定できる。他の変換、特に、周波数情報または解像度情報が空間情報または時間情報と相関される変換（たとえば、短期フーリエ変換）も用いることができる。さらに、所与の実施態様において、別の種類の変換を用いることもできる。さらに、既に分類の文脈において述べた時間ベースの方法（たとえば、フレームごとの解析など）も、画像（フレーム）を修正するために用いることができる。そのようなフレームごとの解析には、たとえば、既に説明した手法の多くが含まれる。
【０１２７】
ウェーブレット（または他の）変換を用いると、様々な方法（たとえば、既述のようなコピーする方法や、変倍などの機能を実行する方法など）で係数を結合できる。さらに、サブバンドの他の因子に基づいて係数を修正することもできる。加えて、係数の拡散効果が与えられる場合に、一実施態様では、特定のＭ画素とは関連付けられていない（または相関されない）が、拡散効果によってその特定のＭ画素に影響を及ぼすことが見込まれる係数を意図的に変更する。実施態様では、デジタル画像の全体に対して変換を実行する代わりに、デジタル画像の一部に対して変換を実行できる。
【０１２８】
修正装置３４０の一実施態様で用いられるウェーブレット変換は、サブサンプリングを用いるデジタル・ウェーブレット変換である。ウェーブレット変換の他の実施態様、または他の変換も用いることができる。
【０１２９】
後処理装置３５０に戻ると、得られた解像度を検証または改善するために、他の様々な操作を実行できる。たとえば、後処理装置３５０は、ＮＭ画素の修正を可能にすること、および／またはＭ画素が有利なように修正されているかどうかを確認することができる。これとは対称的に、実施態様では、後処理の実行がまったく不要であることも明確にされなければならない。
【０１３０】
実施態様では、赤のデジタル画像のあらゆるエッジを処理することは必要ではない。たとえば、一実施態様では、赤のデジタル画像において、解像度が指定のしきい値を下回るエッジ、または解像度が、基準デジタル画像において対応するエッジより、指定のしきい値だけ低いエッジだけを修正しようとする。
【０１３１】
本明細書で説明した実施態様および手法は、解像度差がある複数の分離色から発生する歪みを低減する必要がある様々な用途に適用できる。例として、スペクトル分離と非スペクトル分離がある。スペクトル分離は、たとえば、（１）たとえば、様々な色周波数を取り込むカラー・フィルム用途、（２）たとえば、無線周波数および／または光周波数を取り込む天文学用途、（３）たとえば、様々な磁気周波数（ＭＲＩ）、Ｘ線周波数、および音（超音波）周波数を取り込む医療用途などで用いられる。これらの例が示すように、スペクトル分離は、たとえば電磁波や音波などを含む、様々な周波数ソースから取り込むことができる。非スペクトル分離は、たとえば、圧力、温度、エネルギー、電力などの変動から得ることができる。
【０１３２】
本明細書で説明した実施態様および手法はさらに、コンポジット・カラー画像、すなわち、複数の色成分を有する画像にも適用できる。たとえば、ビデオ画像は、１つの「コンポジット」画像にまとめられた赤、緑、および青の成分を有することができる。これらの成分を分離して分離色を形成することができ、本明細書で説明した実施態様および手法の１つまたは複数をそれらの分離色に適用することができる。
【０１３３】
実施態様および機能を、処理、デバイス、またはデバイスの組み合わせに実装できる。たとえば、そのようなデバイスとして、コンピュータや、たとえばプロセッサ、プログラマブル・ロジック・デバイス、特定用途集積回路、コントローラ・チップなどを用いて命令を処理できる他の処理デバイスが挙げられる。命令は、たとえば、ソフトウェアまたはファームウェアの形式であることができる。命令は、コンピュータ可読媒体（たとえば、ディスク、ランダムアクセス・メモリ、読み出し専用メモリなど）に格納できる。
【０１３４】
図１８を参照すると、開示された様々な機能を実装するシステム１８００は、コンピュータ可読媒体１８２０に結合された処理デバイス１８１０を含む。コンピュータ可読媒体１８２０は、処理デバイス１８１０で処理される命令１８３０を格納する。その処理は、開示された様々な機能を実施する。
【０１３５】
たとえば、分離色（デジタル画像）にアクセスすることによってそれらを選択できる。分離色（デジタル画像）の選択は、たとえば、その分離色（デジタル画像）のファイルまたは表現（たとえば、ディスプレイなど）を選択することによって行うことができる。他の表現も、たとえば様々なユーザ・インターフェースにより、提供できる。
【０１３６】
上述のデジタル画像群は、同じ物体を全体的にカバーする情報を含む。たとえば、赤、青、および緑の各デジタル画像は、フレーム全体をカバーする情報（赤の情報、青の情報、または緑の情報）を含む。そのような情報（赤、青、および緑）は、同じ物体に関連しているので、「相補」情報と呼ぶことができる。他の実施態様では、様々な物体（たとえば、撮影中のシーンの領域、身体の一部、空の一部など）をカバーするデジタル画像を用いることができる。
【０１３７】
他の実施態様では、各デジタル画像の一部だけが所望の物体をカバーするデジタル画像群を用いることができる。たとえば、赤の分離色を前景情報の取り込みにのみ用い、基準の分離色を前景情報と背景情報の両方の取り込みに用いることができる。
【０１３８】
実施態様はさらに、複数のデジタル画像に、いろいろな角度や距離で所望の物体を取り込むことができる。そのような状況は、カメラをいろいろな距離や角度で用いて異なる色成分を撮影したり、いろいろな望遠レンズを用いて、空の同じ全体部分を写真撮影したりする場合にありうる。
【０１３９】
様々な実施態様では、たとえば、１つまたは複数の操作、機能、または特徴を自動的に実行する。「自動的」とは、実質的に人間の介入なしで、すなわち、実質的に非対話型で実行されることを意味する。自動的な処理の例として、人間の操作者によって起動された後、それ自体で動作する処理がある。自動的な実施態様は、たとえば、電子技術、光技術、機械技術、その他の技術を用いることができる。
【０１４０】
機能ブロック、操作、および他の開示された特徴は、様々な順序および組み合わせで、組み合わせて実行することができ、また、明示的に開示されていない他の特徴によって強化したりできる。画像または他の物体の一部への参照は、その画像または他の物体の全体を含むことができる。
【０１４１】
以上、多くの実施態様について説明してきた。しかしながら、本発明の特許請求項の趣旨および範囲から逸脱することなく様々な修正を行うことが可能であることを理解されよう。したがって、他の実施態様も、添付の特許請求項の範囲に含まれる。
【図面の簡単な説明】
【０１４２】
【図１Ａ】分離色の解像度差によって赤色フリンジングが現れている画像である。
【図１Ｂ】赤色フリンジングを示す、図１Ａの一部のカラー画像である。
【図２】解像度差を低減する処理が施された図１Ｂのカラー画像である。
【図３】解像度差を低減するシステムのブロック図である。
【図４】画素を修正するかどうかを決定する処理のフロー・チャートである。
【図５】単純な低解像度デジタル画像のエッジ・マップである。
【図６】単純な基準デジタル画像のエッジ・マップである。
【図７】図５のエッジのエッジ範囲を示す図である。
【図８】図６のエッジのエッジ範囲を示す図である。
【図９】図６のエッジ・マップに一致するエッジがある、図５のエッジ・マップのエッジを示す図である。
【０１４３】
【図１０】連続性操作を適用した後の、図９のエッジ・マップを示す図である。
【図１１】「修正」画素を取り除く処理のフロー・チャートである。
【図１２】図１０のエッジ・マップのエッジ範囲を示す図である。
【図１３】「修正」画素を示す分類マップである。
【図１４】低解像度デジタル画像の選択された部分を修正する処理のフロー・チャートである。
【図１５】デジタル画像の行におけるウェーブレット係数と画素の相関を示す表である。
【図１６】フェザリング操作で用いられる特定の情報を提供する、画像の列の一部のマップである。
【図１７】平滑化できる画素を示す分類マップである。
【図１８】開示された機能を実装するシステムのブロック図である。
【図１Ａ】
0004709649.tif 000002
【図１Ｂ】
0004709649.tif 000003
【図２】
0004709649.tif 000004
【図３】
0004709649.tif 000005
【図４】
0004709649.tif 000006
【図５】
0004709649.tif 000007
【図６】
0004709649.tif 000008
【図７】
0004709649.tif 000009
【図８】
0004709649.tif 000010
【図９】
0004709649.tif 000011
【図１０】
0004709649.tif 000012
【図１１】
0004709649.tif 000013
【図１２】
0004709649.tif 000014
【図１３】
0004709649.tif 000015
【図１４】
0004709649.tif 000016
【図１５】
0004709649.tif 000017
【図１６】
0004709649.tif 000018
【図１７】
0004709649.tif 000019
【図１８】
0004709649.tif 000020