(57)【要約】【課題】  ブロッチを識別し、当該ブロッチが低減され又は除去されるように処理することができる方法を提供する。【解決手段】  ブロッチは、幾つかの分解物の内の１つにしか存在しないこともあり、当該ブロッチは、例えば複数の分解物を使用して識別することができる。一実施態様は、（ｉ）ある画像の第１の成分画像を参照画像の第１の成分画像と比較し、（ｉｉ）上記の画像の第２の成分画像を上記の参照画像の第２の成分画像と比較し、（ｉｉｉ）上記の各比較に基づいて、上記の画像の上記の第１の成分画像がブロッチを含んでいるかどうか判定する。それに加えて又はその代わりに、例えば複数の画像分解物を使用してブロッチを修正すると共に、修正が有益であるかどうかを評価することもできる。【選択図】  図２
2008515347.tif 000002
【特許請求の範囲】
【請求項１】
ブロッチを含む画像の処理方法であって、
第１の成分画像と第２の成分画像とを含むターゲット画像の１つ以上の成分画像にアクセスするステップと、
第１の成分画像と第２の成分画像とを含む参照画像の１つ以上の複数の成分画像にアクセスするステップと、
前記ターゲット画像と前記参照画像との間の動きを特徴付ける運動ベクトルを判定するステップと、
前記運動ベクトルの指示する動きに基づいて、前記ターゲット画像の前記第１の成分画像を前記参照画像の前記第１の成分画像と比較して、第１の成分比較結果を求めるステップと、
前記運動ベクトルの指示する動きに基づいて、前記ターゲット画像の前記第２の成分画像を前記参照画像の前記第２の成分画像と比較して、第２の成分比較結果を求めるステップと、
前記第１の成分比較結果と前記第２の成分比較結果とに基づいて、前記ターゲット画像の前記第１の成分画像がブロッチを含んでいることを判定するステップと
を含む方法。
【請求項２】
前記ターゲット画像の前記第１の成分画像が、カラー画像を含む、請求項１記載の方法。
【請求項３】
前記ターゲット画像の前記第２の成分画像が、カラー画像を含む、請求項２記載の方法。
【請求項４】
前記ターゲット画像がカラー画像を含む、請求項１記載の方法。
【請求項５】
前記ターゲット画像の前記第１の成分画像を前記参照画像の前記第１の成分画像と比較する前記ステップは、（ｉ）前記ターゲット画像の前記第１の成分画像内の所与の位置を有する所与のピクセルの強度と、（ｉｉ）前記運動ベクトルの指示する動きに基づいて判定される前記参照画像の前記第１の成分画像内の対応ピクセルの強度、との間の第１の成分差を判定するステップを含み、
前記ターゲット画像の前記第２の成分画像を前記参照画像の前記第２の成分画像と比較する前記ステップは、（ｉ）前記ターゲット画像の前記第２の成分画像内の所与の位置を有するピクセルの強度と、（ｉｉ）前記運動ベクトルの指示する動きに基づいて判定される前記参照画像の前記第２の成分画像内の対応ピクセルの強度、との間の第２の成分差を判定するステップを含み、
前記ターゲット画像の前記第１の成分画像がブロッチを含んでいることを判定する前記ステップは、前記第１の成分差と前記第２の成分差とに基づいて、前記所与のピクセルを前記ブロッチの一部として識別するステップを含む、
請求項１記載の方法。
【請求項６】
（ｉ）前記ターゲット画像の第３の成分画像内の所与の位置を有するピクセルの強度と、（ｉｉ）前記運動ベクトルの指示する動きに基づいて判定される前記参照画像に関する第３の成分画像内の対応ピクセルの強度、との間の第３の成分差を判定するステップを更に含み、
前記所与のピクセルを前記ブロッチの一部として識別する前記ステップは、
（ｉ）前記第１の成分差から前記第２の成分差を引いた値が第１の成分／第２の成分の閾値を超えた場合、
（ｉｉ）前記第１の成分差から前記第３の成分差を引いた値が第１の成分／第３の成分の閾値を超えた場合、
（ｉｉｉ）前記第２の成分差が第２の成分の閾値未満である場合、及び
（ｉｖ）前記第３の成分差が第３の成分の閾値未満である場合に、
前記所与のピクセルを前記ブロッチの一部として識別するステップを含む、
請求項５記載の方法。
【請求項７】
判定される前記運動ベクトルは、前記ターゲット画像の前記第１の成分画像の少なくとも一部分と、前記ターゲット画像の前記第２の成分画像の少なくとも一部分とに基づく、請求項１記載の方法。
【請求項８】
前記運動ベクトルを判定する前記ステップが、
前記ターゲット画像の前記第１の成分画像に第１の候補運動ベクトルを適用することに付随する、前記ターゲット画像の前記第１の成分画像内の歪みを特徴付ける第１の成分の歪みに関する第１の値を判定するステップと、
前記ターゲット画像の前記第２の成分画像に前記第１の候補運動ベクトルを適用することに付随する、前記ターゲット画像の前記第２の成分画像内の歪みを特徴付ける第２の成分の歪みに関する第１の値を判定するステップと、
前記ターゲット画像に関する複数の成分画像に前記第１の候補運動ベクトルを適用することに付随する、前記ターゲット画像に関する前記複数の成分画像に由来する歪みを特徴付ける歪み関数に関する第１の値を判定するステップと、
前記ターゲット画像の前記第１の成分画像に第２の候補運動ベクトルを適用することに付随する、前記ターゲット画像の前記第２の成分画像内の歪みを特徴付ける第１の成分の歪みに関する第２の値を判定するステップと、
前記ターゲット画像の前記第２の成分画像に前記第２の候補運動ベクトルを適用することに付随する、前記ターゲット画像の前記第２の成分画像内の歪みを特徴付ける第２の成分の歪みに関する第２の値を判定するステップと、
前記ターゲット画像に関する複数の成分画像に前記第２の候補運動ベクトルを適用することに付随する、前記ターゲット画像に関する前記複数の成分画像に由来する歪みを特徴付ける前記歪み関数に関する第２の値を判定するステップと、
（１）第１の成分の歪みと、（２）第２の成分の歪みと、（３）前記歪み関数、とに関する前記第１及び第２の値の相対値に基づいて、前記第２の候補運動ベクトルを評価するステップと
を含む、請求項１記載の方法。
【請求項９】
前記第２の候補運動ベクトルを評価する前記ステップが、
（１）第１の成分の歪みと、（２）第２の成分の歪みと、（３）前記歪み関数と、の内の少なくとも１つに関する前記第１の値がそれぞれ前記第２の値未満であるとの判定を行うステップと、
前記判定に基づいて前記第２の候補運動ベクトルを支持するステップと
を含む、請求項８記載の方法。
【請求項１０】
前記判定を行う前記ステップが、（１）第１の成分の歪みと、（２）第２の成分の歪みと、（３）前記歪み関数と、の内の少なくとも２つに関する前記第１の値がそれぞれ前記第２の値未満であるとの判定を行うステップを更に含む、請求項９記載の方法。
【請求項１１】
前記ターゲット画像の第３の成分画像に前記第１の候補運動ベクトルを適用することに付随する、前記ターゲット画像に関する前記第３の成分画像内の歪みを特徴付ける第３の成分の歪みに関する第１の値を判定するステップと、
前記ターゲット画像に関する前記第３の成分画像に前記第２の候補運動ベクトルを適用することに付随する、前記ターゲット画像に関する前記第３の成分画像内の歪みを特徴付ける第３の成分の歪みに関する第２の値を判定するステップと、
（１）第１の成分の歪みと、（２）第２の成分の歪みと、（３）第３の成分の歪みと、の内の少なくとも２つに関する前記第１の値がそれぞれ前記第２の値未満であるとの成分歪み判定を行うステップと、
前記歪み関数の前記第１の値が前記歪み関数の前記第２の値未満であるとの歪み関数判定を行うステップと、
前記成分歪み判定と前記歪み関数判定とに基づいて、前記第２の候補運動ベクトルを支持するステップと、
を更に含む、請求項８記載の方法。
【請求項１２】
前記ターゲット画像の前記第１の成分画像内の前記ブロッチの範囲を判定するステップを更に含む、請求項１記載の方法。
【請求項１３】
判定された前記ブロッチの範囲に基づいて前記運動ベクトルを精緻化するステップを更に含む、請求項１２記載の方法。
【請求項１４】
前記ターゲット画像の前記第２の成分画像を使用して前記運動ベクトルを検査するステップを更に含む、請求項１記載の方法。
【請求項１５】
前記ターゲット画像の前記第２の成分画像を使用して前記運動ベクトルを検査する前記ステップが、
前記ターゲット画像の前記第１の成分画像内の前記ブロッチの範囲を判定するステップと、
前記ターゲット画像の前記第二の成分画像のデジタル表現の対応範囲内であって、前記判定されたブロッチ範囲に対応するピクセルを含む対応範囲内のピクセルに、前記運動ベクトルを適用するステップと、
前記対応範囲内の前記ピクセルに前記運動ベクトルを適用するために、ブロッチ歪み値を判定するステップと、
前記ターゲット画像の前記第１の成分画像内の領域の内、判定された前記ブロッチの範囲よりも広い領域を判定するステップと、
前記ターゲット画像の前記第２の成分画像の前記デジタル表現において、判定された前記領域に対応するピクセルを含む対応領域内には所在するが前記対応範囲内には所在しないピクセルに、前記運動ベクトルを適用するステップと、
前記対応領域内には所在するが前記対応範囲内には所在しないピクセルに前記運動ベクトルを適用するために、非ブロッチ歪み値を判定するステップと、
前記ブロッチ歪み値と前記非ブロッチ歪み値とに基づいて、前記運動ベクトルを評価するステップとを含む、請求項１４記載の方法。
【請求項１６】
前記運動ベクトルを評価する前記ステップが、
前記ブロッチ歪み値と前記非ブロッチ歪み値との間の差を判定するステップと、
前記差を差閾と比較するステップと、
前記差と前記差閾との比較結果に基づいて前記運動ベクトルを評価するステップと
を含む、請求項１５記載の方法。
【請求項１７】
前記ターゲット画像の前記第１の成分画像の空間補正を実施して前記ブロッチを修正するステップを更に含む、請求項１記載の方法。
【請求項１８】
前記ターゲット画像の前記第２の成分画像に前記空間補正を適用するステップと、
前記ターゲット画像の前記第２の成分画像に前記空間補正を適用するために、空間補正の歪み値を判定するステップと、
前記空間補正の歪み値を空間補正の歪み閾値と比較するステップと、
前記空間補正の歪み値と前記空間補正の歪み閾値との比較結果に基づいて前記ターゲット画像の前記第１の成分画像に対する前記空間補正を評価するステップと
を更に含む請求項１７記載の方法。
【請求項１９】
前記空間補正の歪み値を判定する前記ステップが、（１）前記空間補正が適用される前の前記ターゲット画像の前記第２の成分画像と、（２）前記空間補正が適用された後の前記ターゲット画像の前記第２の成分画像、との間の歪み値を判定するステップを含む、請求項１８記載の方法。
【請求項２０】
前記ターゲット画像の前記第１の成分画像の補正を実施して前記ブロッチを修正するステップを更に含む、請求項１記載の方法。
【請求項２１】
前記ターゲット画像の前記第２の成分画像を使用して前記補正を評価するステップを更に含む、請求項２０記載の方法。
【請求項２２】
前記ターゲット画像の前記第２の成分画像を使用して前記補正を評価する前記ステップが、
前記ターゲット画像の前記第１の成分画像の前記補正の実施に由来する歪みを特徴付ける第１の成分の歪み値を判定するステップと、
前記ターゲット画像の前記第２の成分画像の補正を実施するステップと、
前記ターゲット画像の前記第２の成分画像の前記補正の実施に由来する歪みを特徴付ける第２の成分の歪み値を判定するステップと、
前記第１の成分の歪み値を前記第２の成分の歪み値と比較してその結果を求めるステップと、
前記結果に基づいて前記ターゲット画像の前記第１の成分画像の前記補正を評価するステップと
を含む、請求項２１記載の方法。
【請求項２３】
前記第１の成分の歪み値が、（ｉ）前記ターゲット画像の前記第１の成分画像内に所在する、前記ブロッチを含む特定の領域が修正される前の分散値と、（ｉｉ）前記ブロッチが修正された後の前記特定の領域の分散値との比に基づく、請求項２２記載の方法。
【請求項２４】
前記ターゲット画像の前記第１の成分画像内の前記ブロッチの前記範囲に対応する、前記参照画像の前記第１の成分画像内の対応範囲を判定するステップと、
前記参照画像の前記第１の成分画像内の前記対応範囲に由来する情報を使用して、前記ターゲット画像の前記第１の成分画像内の前記ブロッチを修正するステップと、
前記ターゲット画像の前記第１の成分画像内の領域の内、判定された前記ブロッチの範囲よりも広い領域を判定するステップと、
前記ターゲット画像の前記第１の成分画像内の前記ブロッチの前記修正を含むことが判定された前記領域に関して、ブロッチ歪み値を判定するステップと、
前記ターゲット画像の前記第１の成分画像内の前記範囲に対応する、前記ターゲット画像の前記第２の成分画像内の対応範囲を判定するステップと、
前記ターゲット画像の前記第１の成分画像内の前記範囲に対応する、前記参照画像の前記第２の成分画像内の対応範囲を判定するステップと、
前記参照画像の前記第２の成分画像内の前記対応範囲に由来する情報を使用して、前記ターゲット画像の前記第２の成分画像内の前記対応範囲を修正するステップと、
判定された前記領域に対応する、前記ターゲット画像の前記第２の成分画像内の対応領域を判定するステップと、
前記ターゲット画像の前記第２の成分画像内の前記対応範囲の前記修正を含む前記対応領域に関して、対応領域の歪み値を判定するステップと、
前記ブロッチ歪み値と前記対応領域の歪み値とに基づいて、前記ターゲット画像の前記第１の成分画像内の前記ブロッチの前記修正を評価するステップと
を更に含む請求項１２記載の方法。
【請求項２５】
ソフトウェアキャリアであって、少なくとも
第１の成分画像と第２の成分画像とを含むターゲット画像の１つ以上の成分画像にアクセスするステップと、
第１の成分画像と第２の成分画像とを含む参照画像の１つ以上の成分画像にアクセスするステップと、
前記ターゲット画像と前記参照画像との間の動きを特徴付ける運動ベクトルを判定するステップと、
前記運動ベクトルの指示する動きに基づいて、前記ターゲット画像の前記第１の成分画像を前記参照画像の前記第１の成分画像と比較して、第１の成分比較結果を求めるステップと、
前記運動ベクトルの指示する動きに基づいて、前記ターゲット画像の前記第２の成分画像を前記参照画像の前記第２の成分画像と比較して、第２の成分比較結果を求めるステップと、
前記第１の成分比較結果と前記第２の成分比較結果とに基づいて、前記ターゲット画像の前記第１の成分画像がブロッチを含んでいることを判定するステップ、
とを実施する命令を含む、前記ソフトウェアキャリア。
【請求項２６】
第１の成分画像を含むターゲット画像の１つ以上の成分画像にアクセスするステップと、
前記ターゲット画像の前記第１の成分画像がブロッチを含んでいることを判定するステップと、
前記ブロッチの距離関数を判定するステップと、
前記第１の成分画像の領域の内、前記ブロッチと連結されている領域、即ち前記ブロッチと接している領域の距離関数を判定するステップと、
前記ブロッチの前記距離関数を前記領域の前記距離関数と比較してその結果を求めるステップと、
前記結果に基づいて前記領域を前記ブロッチ内に含めるべきかどうか判定するステップ、とを含む、方法。
【請求項２７】
前記距離関数が、歪み関数を含み、
前記ブロッチの前記距離関数を判定する前記ステップは、前記ブロッチの前記歪み関数の値を判定するステップを含み、
前記領域の前記距離関数を判定する前記ステップが、前記領域の前記歪み関数の値を判定するステップを含む、
請求項２６記載の方法。
【請求項２８】
前記距離関数が、強度値を含み、
前記ブロッチの前記距離関数を判定するステップは、前記ブロッチの平均強度値を判定するステップを含み、
前記領域の前記距離関数を判定する前記ステップが、前記領域の平均強度値を判定するステップを含む、
請求項２６記載の方法。
【請求項２９】
前記距離関数が、強度値の傾斜方向を含み、
前記ブロッチの前記距離関数を判定するステップは、前記ブロッチに関する強度値の傾斜方向を判定するステップを含み、
前記領域の前記距離関数を判定する前記ステップが、前記領域に関する強度値の傾斜方向を判定するステップを含む、
請求項２６記載の方法。
【請求項３０】
ピクセルを含む第１の成分画像を含むターゲット画像の１つ以上の複数のデジタル成分画像にアクセスするステップと、
前記ターゲット画像の前記第１の成分画像がブロッチを含んでいることを判定するステップと、
前記ブロッチと連結されている、即ち前記ブロッチの辺又は角の１つ以上と接しているが、前記ブロッチ内には所在しない、非ブロッチピクセルを識別するステップと、
前記非ブロッチピクセルに関して、（１）前記非ブロッチピクセルと連結され、（２）前記ブロッチ内に含まれているピクセルに相当する、ブロッチ隣接要素のカウントを判定するステップと、
前記非ブロッチピクセルに関して、（１）前記非ブロッチピクセルと連結されているが、（２）前記ブロッチ内に含まれていないピクセルに相当する、非ブロッチ隣接要素のカウントを判定するステップと、
ブロッチ隣接要素のカウントを非ブロッチ隣接要素のカウントと比較するステップと、
ブロッチ隣接要素のカウントと非ブロッチ隣接要素のカウントとの比較結果に基づいて前記非ブロッチピクセルを前記ブロッチ内に含めるべきかどうか判定するステップ
とを含む、方法。
【請求項３１】
ブロッチ隣接要素のカウントを非ブロッチ隣接要素のカウントと比較する前記ステップは、ブロッチ隣接要素のカウントが非ブロッチ隣接要素のカウントよりも大きいかどうか判定するステップを含み、
比較結果に基づいて前記非ブロッチピクセルを前記ブロッチ内に含めるべきかどうか判定する前記ステップが、ブロッチ隣接要素のカウントが非ブロッチ隣接要素のカウントよりも大きい場合に前記非ブロッチピクセルを前記ブロッチ内に含めるべきであると判定するステップを含む、
請求項３０記載の方法。
【請求項３２】
不規則な形状の修正ブロッチを含む画像がそれ自体に記憶されたソフトウェアキャリアであって、前記修正ブロッチは、隣接領域の色と類似するが異なる色を有し、前記色の差によって、前記修正ブロッチと前記隣接領域との間の境界線が定義されるようになる、前記ソフトウェアキャリア。
【請求項３３】
前記画像は、様々な時点の特定のシーンを表す一連の画像の一部であり、
前記修正ブロッチの色は、前記一連の画像内の別の画像の対応部分の色と一致する、
請求項３２記載のソフトウェアキャリア。
【請求項３４】
前記画像は、ブロッチ修正処理に由来するアーチファクトを更に含み、前記アーチファクトは、前記修正ブロッチに隣接し、前記修正ブロッチの色と実質的に異なる色を有する、請求項３２記載のソフトウェアキャリア。
【請求項３５】
前記アーチファクトは、前記ブロッチ修正処理の修正を受けないブロッチの一部分を含む、請求項３４記載のソフトウェアキャリア。
【請求項３６】
前記修正ブロッチは、前記ブロッチの別の部分の修正を含む、請求項３５記載のソフトウェアキャリア。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願）
本願は、参照により本明細書に組み込まれる２００４年９月２９日に出願された米国仮出願第６０／６１３９３９号「Correction of Blotches in Separations」の優先権を主張する。
【０００２】
(技術分野)
本開示は、画像処理に関する。
【背景技術】
【０００３】
(背景)
カラー映画フィルムは、比較的最近開発されたものである。１９５０年代にカラーフィルムストックが登場するまで、カラー映画の作成プロセスには、２つ以上の白黒フィルムリール上の色情報を捕捉することが含まれていた。当初のテクニカラー３色フィルムの分解プロセスでは、特別に設計された映画カメラに３つの白黒フィルムリールが装填されていた。レンズを通過した光は光の三原色に分割され、それぞれ別個の白黒フィルムリール上に記録されていた。これらの３つのリールを現像した後に、それぞれ元リールのイエロー（青の反対色）、シアン（赤の反対色）、及びマゼンタ（緑の反対色）部分を表す３つの写真ネガが作成されていた。
【０００４】
一般に、白黒フィルムストックの方がカラーフィルムよりも保管寿命が遥かに長いことから、当初のテクニカラープロセスを用いた色分解の創出だけでなく、カラーフィルムの保管用に使用される色分解も考案されている。このプロセスでは、カラーフィルムストックを使用して赤、緑、青が順次記録された１つの白黒フィルムリールを露光させ、それによって各フレームを得られたリール上に３回に分けて印刷し、分解物が順次形成されることとなる。
【０００５】
フィルムスタジオは、フィルムラボで実施される写真プロセスを使用して、３色分解を再び単一のカラーフィルムリールに組み合わせることができる。その結果得られるインターポジ（interpositive:「IP」）と呼ばれる最終的なリールは、赤、緑、青（シアン、マゼンタ、イエローの反対色）として表現される色を含んでいる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
(要旨)
先述のフィルムプロセス並びに他のプロセスは、例えば差分解像度（differential resolution）、解像度損失、静的位置ずれ、動的位置ずれ、及びブロッチ（blotch）を含む、よく知られた様々なフィルム歪みの内の１つ又は複数の影響を受ける可能性がある。フィルムに関する歪みについて言及したが、これらの歪みは他の応用分野及び環境でも発生する可能性がある。例えば、フィルム、写真、天文学、及び医学の応用分野では、分解物（separations）内部のブロッチ補正が必要となることも、１つ又は複数の歪みが存在することもある。
【０００７】
更に、上記及び他の歪みを生じさせる条件が多数存在する可能性もある。一例を挙げると、ブロッチは、例えばフィルムを覆う塵粒等の汚れ、フィルムを覆うゼラチンの消失、又は他の要因によって、分解物上又はＩＰ上に発生する可能性がある。これらのブロッチは、表示フィルム上の暗領域又は明領域として顕在化する可能性もある。
【課題を解決するための手段】
【０００８】
ブロッチを伴うフィルムの復元は、デジタル画像処理を使用して行うことができる。各デジタル画像は、画像幅に画像高さを乗じることによって寸法が定量化できる一次元のピクセル配列を含む。配列内の各ピクセル位置（ｘ，ｙ）（０≦ｘ＜幅、且つ０≦ｙ＜高さ）は、対応ピクセル位置（ｘ，ｙ）に特定の色（例えば、赤、緑、青）がどの程度存在するかを表す、関連するグレーレベル値Ｉ（ｘ，ｙ）（０≦Ｉ（ｘ，ｙ）≦６５５３５（１６ビットデータの場合））を有している。デジタル画像処理の一態様は、ブロッチを含む色成分画像のデジタル表現を、それらのブロッチが低減されるように修正するプロセスを含むことができる。上記及び他のプロセスは、当該フレームに関する他の色成分画像のデジタル表現に由来する情報と共に、フレームシーケンス内の他のフレームに関する色成分画像のデジタル表現に由来する情報も使用することができる。
また、より一般的にいえば、諸種の一般的な態様は、フィルム又は他の分野に関する分解物に対応する可能性がある分解物内又は画像内のブロッチの復元方法を対象とする。
【０００９】
後述の幾つかの実施態様では、次の５つの特徴、即ち（１）カラーフィルム分解に関する自動ブロッチ補正プロセス、（２）デジタル領域での複数のデジタル画像処理技法の使用を可能にするプロセス、（３）人間の介入が最小限に抑えられる方法、（４）画像内のどの部分にブロッチが発生しているか判定することができる技法、及び（５）画像内のブロッチが減少するように画像のピクセルを修正する方法、の内の１つ又は複数を達成することができる。更に、本明細書に記載される歪みの内の１つ又は複数を補償し、補正し、或いは低減することができる。本明細書に記載の諸実施態様は、例えば色成分画像及び非色成分画像を含めた様々なタイプの成分画像に適用することができ、また、成分画像は、他の技法によって生成される分解物又は成分画像に対応するものであってもよい。
【００１０】
一般的な態様によれば、ブロッチを含む画像の処理は、第１の成分画像と第２の成分画像とを含むターゲット画像に関する１つ又は複数の成分画像にアクセスするステップを含む。前記画像の処理はまた、第１の成分画像と第２の成分画像とを含む参照画像に関する１つ又は複数の成分画像にアクセスするステップを含む。前記ターゲット画像と前記参照画像との間の動きを特徴付けることで運動ベクトルを判定する。前記ターゲット画像の前記第１の成分画像は、前記運動ベクトルの指示する動きに基づいて、前記参照画像の前記第１の成分画像と比較され、それによって第１の成分比較結果が求められる。前記ターゲット画像の前記第２の成分画像は、前記運動ベクトルの指示する動きに基づいて、前記参照画像の前記第２の成分画像と比較され、それによって第２の成分比較結果が求められる。前記画像の処理は更に、前記第１の成分比較結果と前記第２の成分比較結果とに基づいて、前記ターゲット画像の前記第１の成分画像がブロッチを含んでいることを判定するステップを含む。
【００１１】
上記の一般的な態様の諸実施態様は、次の特徴の内の１つ又は複数を含むことができる。例えば、前記ターゲット画像の前記第１及び／又は第２の成分画像は、カラー画像を含むことができる。前記ターゲット画像は、カラー画像を含むことができる。判定される前記運動ベクトルは、前記ターゲット画像の前記第１の成分画像の少なくとも一部分と、前記ターゲット画像の前記第２の成分画像の少なくとも一部分とに基づくものであってよい。
【００１２】
前記ターゲット画像の前記第１の成分画像を前記参照画像の前記第１の成分画像と比較する前記ステップは、（ｉ）前記ターゲット画像の前記第１の成分画像内の所与の位置を有する所与のピクセルの強度と、（ｉｉ）前記運動ベクトルの指示する動きに基づいて判定される前記参照画像の前記第１の成分画像内の対応ピクセルの強度、との間の第１の成分差を判定するステップを含むことができる。前記ターゲット画像の前記第２の成分画像を前記参照画像の前記第２の成分画像と比較する前記ステップは、（ｉ）前記ターゲット画像の前記第２の成分画像内の所与の位置を有するピクセルの強度と、（ｉｉ）前記運動ベクトルの指示する動きに基づいて判定される前記参照画像の前記第２の成分画像内の対応ピクセルの強度、との間の第２の成分差を判定するステップを含むことができる。前記ターゲット画像の前記第１の成分画像がブロッチを含んでいることを判定する前記ステップは、前記第１の成分差と前記第２の成分差とに基づいて、前記所与のピクセルを前記ブロッチの一部として識別するステップを含むことができる。
【００１３】
（ｉ）前記ターゲット画像に関する第３の成分画像内の所与の位置を有するピクセルの強度と、（ｉｉ）前記運動ベクトルの指示する動きに基づいて判定される前記参照画像に関する前記第３の成分画像内の対応ピクセルの強度、との間の第３の成分差を判定することができる。前記所与のピクセルを前記ブロッチの一部として識別する前記ステップは、（ｉ）前記第１の成分差から前記第２の成分差を引いた値が第１の成分／第２の成分の閾値（first/second-component threshold）を超えた場合、（ｉｉ）前記第１の成分差から前記第３の成分差を引いた値が第１の成分／第３の成分の閾値（first/third−component threshold）を超えた場合、（ｉｉｉ）前記第２の成分差が第２の成分の閾値未満である場合、及び（ｉｖ）前記第３の成分差が第３の成分の閾値未満である場合に、前記所与のピクセルを前記ブロッチの一部として識別するステップを含むことができる。
【００１４】
前記運動ベクトルを判定する前記ステップは、前記ターゲット画像の前記第１の成分画像に第１の候補運動ベクトルを適用することに付随する、前記ターゲット画像の前記第１の成分画像内の歪みを特徴付ける第１の成分の歪みに関する第１の値を判定するステップを含むことができる。前記運動ベクトルを判定する前記ステップは、前記ターゲット画像の前記第２の成分画像に前記第１の候補運動ベクトルを適用することに付随する、前記ターゲット画像の前記第２の成分画像内の歪みを特徴付ける第２の成分の歪みに関する第１の値を判定するステップを含むことができる。前記運動ベクトルを判定する前記ステップは、前記ターゲット画像に関する複数の成分画像に前記第１の候補運動ベクトルを適用することに付随する、前記ターゲット画像に関する前記複数の成分画像に由来する歪みを特徴付ける歪み関数に関する第１の値を判定するステップを含むことができる。
【００１５】
前記運動ベクトルを判定する前記ステップは、前記ターゲット画像の前記第１の成分画像に第２の候補運動ベクトルを適用することに付随する、前記ターゲット画像の前記第２の成分画像内の歪みを特徴付ける第１の成分の歪みに関する第２の値を判定するステップを含むことができる。前記運動ベクトルを判定する前記ステップは、前記ターゲット画像の前記第２の成分画像に前記第２の候補運動ベクトルを適用することに付随する、前記ターゲット画像の前記第２の成分画像内の歪みを特徴付ける第２の成分の歪みに関する第２の値を判定するステップを含むことができる。前記運動ベクトルを判定する前記ステップは、前記ターゲット画像の複数の成分画像に前記第２の候補運動ベクトルを適用することに付随する、前記ターゲット画像の前記複数の成分画像に由来する歪みを特徴付ける前記歪み関数に関する第２の値を判定するステップを含むことができる。
【００１６】
前記運動ベクトルを判定する前記ステップは、（１）第１の成分の歪みと、（２）第２の成分の歪みと、（３）前記歪み関数、とに関する前記第１及び第２の値の相対値に基づいて、前記第２の候補運動ベクトルを評価するステップを含むことができる。前記第２の候補運動ベクトルを評価する前記ステップは、（１）第１の成分の歪みと、（２）第２の成分の歪みと、（３）前記歪み関数、との内の少なくとも１つに関する前記第１の値がそれぞれ前記第２の値未満であるとの判定を行うステップを含むことができる。前記第２の候補運動ベクトルを評価する前記ステップは、前記判定に基づいて前記第２の候補運動ベクトルを支持する（favor）ステップを含むことができる。前記判定を行う前記ステップは、（１）第１の成分の歪みと、（２）第２の成分の歪みと、（３）前記歪み関数、との内の少なくとも２つに関する前記第１の値がそれぞれ前記第２の値未満であるとの判定を行うステップを含むことができる。
【００１７】
前記運動ベクトルを判定する前記ステップは、前記ターゲット画像の第３の成分画像に前記第１の候補運動ベクトルを適用することに付随する、前記ターゲット画像に関する前記第３の成分画像内の歪みを特徴付ける第３の成分の歪みに関する第１の値を判定するステップを含むことができる。前記運動ベクトルを判定するステップは、前記ターゲット画像に関する前記第３の成分画像に前記第２の候補運動ベクトルを適用することに付随する、前記ターゲット画像の前記第３の成分画像内の歪みを特徴付ける第３の成分の歪みに関する第２の値を判定するステップを含むことができる。
【００１８】
前記運動ベクトルを判定する前記ステップは、（１）第１の成分の歪みと、（２）第２の成分の歪みと、（３）第３の成分の歪みと、の内の少なくとも２つに関する前記第１の値がそれぞれ前記第２の値未満であるとの成分歪み判定（component-distortion determination）を行うステップを含むことができる。前記運動ベクトルを判定する前記ステップは、前記歪み関数の前記第１の値が前記歪み関数の前記第２の値未満であるとの歪み関数判定（distortion-function determination）を行うステップを含むことができる。前記運動ベクトルを判定する前記ステップは、前記成分歪み判定と前記歪み関数判定とに基づいて、前記第２の候補運動ベクトルを支持するステップを含むことができる。
前記ターゲット画像の前記第１の成分画像内の前記ブロッチの範囲を判定することができる。前記運動ベクトルは、判定された前記ブロッチの範囲に基づいて精緻化（refine）することができる。
【００１９】
前記ターゲット画像の前記第１の成分画像内の前記ブロッチの前記範囲に対応する、前記参照画像の前記第１の成分画像内の対応範囲を判定することができる。前記参照画像の前記第１の成分画像内の前記対応範囲に由来する情報を使用して、前記ターゲット画像の前記第１の成分画像内の前記ブロッチを修正することができる。前記ターゲット画像の前記第１の成分画像内の領域の内、判定された前記ブロッチの範囲よりも広い領域を判定することができる。前記ターゲット画像の前記第１の成分画像内の前記ブロッチの前記修正を含むことが判定された前記領域に関して、ブロッチ歪み値（blotch distortion value）を判定することができる。前記ターゲット画像の前記第１の成分画像内の前記範囲に対応する、前記ターゲット画像の前記第２の成分画像内の対応範囲を判定することができる。前記ターゲット画像の前記第１の成分画像内の前記範囲に対応する、前記参照画像の前記第２の成分画像内の対応範囲を判定することができる。前記参照画像の前記第２の成分画像内の前記対応範囲に由来する情報を使用して、前記ターゲット画像の前記第２の成分画像内の前記対応範囲を修正することができる。判定された前記領域に対応する、前記ターゲット画像の前記第２の成分画像内の対応領域を判定することができる。前記ターゲット画像の前記第２の成分画像内の前記対応範囲の前記修正を含む前記対応領域に関して、対応領域の歪み値を判定することができる。前記ブロッチ歪み値と前記対応領域の歪み値とに基づいて、前記ターゲット画像の前記第１の成分画像内の前記ブロッチの前記修正を評価することができる。
【００２０】
前記運動ベクトルは、前記ターゲット画像の前記第２の成分画像を使用して検査することができる。前記ターゲット画像の前記第２の成分画像を使用して前記運動ベクトルを検査する前記ステップは、前記ターゲット画像の前記第１の成分画像内の前記ブロッチの範囲を判定するステップを含むことができる。前記ターゲット画像の前記第２の成分画像を使用して前記運動ベクトルを検査するステップは、前記ターゲット画像の前記第２の成分画像のデジタル表現において、判定された前記ブロッチの範囲に対応するピクセルを含む対応範囲内のピクセルに、前記運動ベクトルを適用するステップを含むことができる。前記ターゲット画像の前記第２の成分画像を使用して前記運動ベクトルを検査する前記ステップは、前記対応範囲内の前記ピクセルに前記運動ベクトルを適用するために、ブロッチ歪み値を判定するステップを含むことができる。
【００２１】
前記ターゲット画像の前記第２の成分画像を使用して前記運動ベクトルを検査する前記ステップは、前記ターゲット画像の前記第１の成分画像内の領域の内、判定された前記ブロッチの範囲よりも広い領域を判定するステップを含むことができる。前記ターゲット画像の前記第２の成分画像を使用して前記運動ベクトルを検査する前記ステップは、前記ターゲット画像の前記第２の成分画像の前記デジタル表現において、判定された前記領域に対応するピクセルを含む対応領域内には所在するが前記対応範囲内には所在しないピクセルに、前記運動ベクトルを適用するステップを含むことができる。前記ターゲット画像の前記第２の成分画像を使用して前記運動ベクトルを検査する前記ステップは、前記対応領域内には所在するが前記対応範囲内には所在しないピクセルに前記運動ベクトルを適用するために、非ブロッチ歪み値（non-blotch distortion value）を判定するステップを含むことができる。
【００２２】
前記ターゲット画像の前記第２の成分画像を使用して前記運動ベクトルを検査する前記ステップは、前記ブロッチ歪み値と前記非ブロッチ歪み値とに基づいて、前記運動ベクトルを評価するステップを含むことができる。前記運動ベクトルを評価する前記ステップは、前記ブロッチ歪み値と前記非ブロッチ歪み値との間の差を判定するステップと、前記差を差閾と比較するステップと、前記差と前記差の閾値との比較結果に基づいて前記運動ベクトルを評価するステップとを含むことができる。
【００２３】
前記ターゲット画像の前記第１の成分画像の空間補正を実施して前記ブロッチを修正することができる。前記空間補正は、前記ターゲット画像の前記第２の成分画像に適用することができる。前記ターゲット画像の前記第２の成分画像に前記空間補正を適用するために、空間補正の歪み値を判定することができる。前記空間補正の歪み値は、空間補正の歪み閾値と比較することができる。前記空間補正の歪み値と前記空間補正の歪み閾値との比較結果に基づいて、前記ターゲット画像の前記第１の成分画像に対する前記空間補正を評価することができる。前記空間補正の歪み値を判定する前記ステップは、（１）前記空間補正が適用される前の前記ターゲット画像の前記第２の成分画像と、（２）前記空間補正が適用された後の前記ターゲット画像の前記第２の成分画像、との間の歪み値を判定するステップを含むことができる。
前記ターゲット画像の前記第１の成分画像の補正を実施して前記ブロッチを修正することができる。前記ターゲット画像の前記第２の成分画像を使用して、前記補正を評価することができる。
【００２４】
前記ターゲット画像の前記第２の成分画像を使用して前記補正を評価する前記ステップは、前記ターゲット画像の前記第１の成分画像の前記補正の実施に由来する歪みを特徴付ける第１の成分の歪み値を判定するステップを含むことができる。前記ターゲット画像の前記第２の成分画像を使用して前記補正を評価する前記ステップは、前記ターゲット画像の前記第２の成分画像の補正を実施するステップを含むことができる。前記ターゲット画像の前記第２の成分画像を使用して前記補正を評価する前記ステップは、前記ターゲット画像の前記第２の成分画像の前記補正の実施に由来する歪みを特徴付ける第２の成分の歪み値を判定するステップを含むことができる。前記ターゲット画像の前記第２の成分画像を使用して前記補正を評価する前記ステップは、前記第１の成分の歪み値を前記第２の成分の歪み値と比較してその結果を求めるステップを含むことができる。前記ターゲット画像の前記第２の成分画像を使用して前記補正を評価する前記ステップは、前記結果に基づいて前記ターゲット画像の前記第１の成分画像の前記補正を評価するステップを含むことができる。前記第１の成分の歪み値は、（ｉ）修正前に、前記ターゲット画像の前記第１の成分画像内に所在する、前記ブロッチを含む特定の領域の分散値と、（ｉｉ）前記ブロッチが修正された後の前記特定の領域の分散値との比に基づくものであってよい。
【００２５】
別の一般的な態様によれば、第１の成分画像を含むターゲット画像に関する１つ又は複数の成分画像へのアクセスが行われる。前記ターゲット画像の前記第１の成分画像がブロッチを含んでいることが判定される。前記ブロッチの距離関数(metric)が判定される。前記第１の成分画像の領域の内、前記ブロッチと連結されている領域、即ち前記ブロッチと接している領域の距離関数が判定される。前記ブロッチの前記距離関数と前記領域の前記距離関数との比較が行われ、その結果が求められる。前記結果に基づいて前記領域を前記ブロッチ内に含めるべきかどうかが判定される。
【００２６】
上記の一般的な態様の諸実施態様は、次の特徴の内の１つ又は複数を含むことができる。例えば、前記距離関数は、歪み関数を含むことができる。前記ブロッチの前記距離関数を判定する前記ステップは、前記ブロッチの前記歪み関数の値を判定するステップを含むことができる。前記領域の前記距離関数を判定する前記ステップは、前記領域の前記歪み関数の値を判定するステップを含むことができる。
【００２７】
前記距離関数は、強度値を含むことができる。前記ブロッチの前記距離関数を判定する前記ステップは、前記ブロッチの平均強度値を判定するステップを含むことができる。前記領域の前記距離関数を判定する前記ステップは、前記領域の平均強度値を判定するステップを含むことができる。
【００２８】
前記距離関数は、強度値の傾斜方向を含むことができる。前記ブロッチの前記距離関数を判定する前記ステップは、前記ブロッチに関する強度値の傾斜方向を判定するステップを含むことができる。前記領域の前記距離関数を判定する前記ステップは、前記領域に関する強度値の傾斜方向を判定するステップを含むことができる。
【００２９】
別の一般的な態様によれば、ピクセルを含む第１の成分画像を含むターゲット画像no
１つ又は複数のデジタル成分画像にアクセスする。前記ターゲット画像の前記第１の成分画像がブロッチを含んでいることが判定される。前記ブロッチと連結されている、即ち前記ブロッチの辺又は角の１つ又は複数と接しているが、前記ブロッチ内には所在しない、非ブロッチピクセル（non-blotch pixel）が識別される。前記非ブロッチピクセルに関して、（１）前記非ブロッチピクセルと連結され、（２）前記ブロッチ内に含まれているピクセルに相当する、ブロッチ隣接要素（blotch neighbor）のカウントが判定される。前記非ブロッチピクセルに関して、（１）前記非ブロッチピクセルと連結されているが、（２）前記ブロッチ内に含まれていないピクセルに相当する、非ブロッチ隣接要素（non-blotch neighbor）のカウントが判定される。ブロッチ隣接要素のカウントは、非ブロッチ隣接要素のカウントと比較される。ブロッチ隣接要素のカウントと非ブロッチ隣接要素のカウントとの比較結果に基づいて、前記非ブロッチピクセルを前記ブロッチ内に含めるべきかどうかが判定される。
【００３０】
上記の一般的な態様の諸実施態様は、次の特徴の内の１つ又は複数を含むことができる。例えば、ブロッチ隣接要素のカウントを非ブロッチ隣接要素のカウントと比較する前記ステップは、ブロッチ隣接要素のカウントが非ブロッチ隣接要素のカウントよりも大きいかどうか判定するステップを含むことができる。比較結果に基づいて前記非ブロッチピクセルを前記ブロッチ内に含めるべきかどうか判定する前記ステップは、ブロッチ隣接要素のカウントが非ブロッチ隣接要素のカウントよりも大きい場合に前記非ブロッチピクセルを前記ブロッチ内に含めるべきであると判定するステップを含むことができる。
【００３１】
別の一般的な態様によれば、ソフトウェアキャリアには、不規則な形状の修正ブロッチを含む画像が記憶されている。前記修正ブロッチは、隣接領域の色と類似するが異なる色を有し、前記色の差によって、前記修正ブロッチと前記隣接領域との間の境界線が定義されるようになる。
【００３２】
上記の一般的な態様の諸実施態様は、次の特徴の内の１つ又は複数を含むことができる。例えば、前記画像は、様々な時点の特定のシーンを表す一連の画像の一部であってもよい。前記修正ブロッチの色は、前記一連の画像内の別の画像の対応部分の色と一致してもよい。
【００３３】
前記画像は、ブロッチ修正プロセスに由来するアーチファクトを含むことができ、前記アーチファクトは、前記修正ブロッチに隣接し、前記修正ブロッチの色と実質的に異なる色を有してもよい。前記アーチファクトは、前記ブロッチ修正プロセスの修正を受けないブロッチの一部分を含むことができる。前記修正ブロッチは、前記ブロッチの別の部分の修正を含むことができる。
【００３４】
本明細書の様々な態様、実施態様、及び特徴は、例えば方法及び装置の内の１つ又は複数、方法、プログラム、又は他の命令セットを実施する装置、プログラム又は他の命令セットを含む装置、並びにソフトウェアキャリアの内の１つ又は複数を使用して実施することができる。ソフトウェアキャリアは、例えば命令、ソフトウェア、画像、及び他のデータを含むことができる。
【発明を実施するための最良の形態】
【００３５】
(詳細な説明)
所与のブロッチを識別し修正するプロセスの様々な処理では、ターゲット画像（本開示の全体を通して、典型的には「画像」と呼ばれるもの）に関する複数の成分画像を使用することができる。これらの処理としては、例えばブロッチを識別する処理、運動ベクトルを判定する処理、ブロッチに基づいて運動ベクトルを精緻化する処理、及びブロッチの修正効果を評価する処理が挙げられる。
【００３６】
一実施態様は、画像の複数の色成分をそれぞれ参照画像の対応する色成分と比較して、当該画像の色成分の内の１つに含まれるブロッチを識別するのに役立てるものである。ブロッチは、それ自体の位置が参照画像内の対応する位置と異なる故に、部分的に識別される。本実施態様はブロッチを識別した後、それに対応する修正をブロッチのない色成分画像に対して実施し、当該対応する修正を検査して、当該修正よりも相対的に小さい変更が対応する修正に生じたことを検証することによって、当該修正を評価する。
【００３７】
図１Ａ及び図１Ｂは、１つ又は複数の歪み原因によって発生し得るブロッチが視覚的に顕在化した様子を示している。図２は、ブロッチ補正を実施する一実施態様を提供するシステム２００を示している。図示のように、デジタル化ユニット２１０は、それぞれ３つの色成分画像、又は３つの色成分画像から構成された単一の合成カラー画像から成るフレームシーケンスを受け取り、それぞれ、場合によっては変換された後の、３つのデジタル色成分画像から成るフレームシーケンスを出力する。動き推定ユニット２２０は、当該フレームシーケンスを入力し、特定のフレームと、１組の１つ又は複数の参照フレームとの間の動きを特徴付ける１組の運動ベクトルを計算する。
【００３８】
ブロッチ分類マップ判定ユニット（blotch classification map determination unit）２３０は、当該１組のデジタル画像及び運動ベクトルを受け取り、ブロッチ修正予測ユニット（blotch modification prediction unit）２４０に供給する分類マップが生成されるように、当該１組のデジタル画像及び運動ベクトルの処理を行う。ブロッチ修正予測ユニット２４０は、分類マップ、運動ベクトル、及び１組のデジタル画像を使用して、上記の分類マップ判定ユニットによって識別されたピクセルにブロッチ修正を行うべきかどうか判定し、修正を行うべき場合には、適用すべき修正のタイプを判定する。例えば、ブロッチ修正予測ユニット２４０は、ブロッチ修正の結果それ以前に判定されたブロッチ位置にアーチファクトが発生しないことを保証するために、運動ベクトルの再計算を含めた追加的な処理を実施する。
【００３９】
ブロッチ修正適用ユニット（blotch modification application unit）２５０は、ブロッチの一部として識別されたピクセルを、当該ブロッチが低減されるように修正し、当該ピクセルの値を元のピクセルの値、即ち当初のブロッチ無しピクセル（unblotched pixel）の値により近付くように復元する。最後に、合成位相ユニット２６０は、修正画像を合成画像の形に組み合わせる。
【００４０】
幾つかの実施態様では、ユニット２１０〜２６０の１つ又は複数を２回以上適用することができる。図３は、図２に示される諸構成要素の流れ図３００であり、以下では、システム２００の各構成要素のより詳細な論述と併せて、図３について論述する。
【００４１】
上述のように、デジタル化ユニット２１０は、時間内で複数の色分解を受け取ることができる（３０４）。デジタル化ユニット２１０は、典型的には複数の写真ネガ画像（例えばイエロー、シアン、マゼンタ）を受け取り、典型的には複数の写真ポジ画像（例えば青、赤、緑）をデジタルデータとして出力する（３０８）。デジタルデータは、典型的には１組のグレーレベルピクセルから成る。これらの３つの分解物は、１つにまとめて同時に並行してデジタル化ユニット２１０に入力されてもよく、また、各分解物の対応するフレームが連続的に互いに近接して入力されるように交互でもよい。
【００４２】
一実施態様では、複合カラーフィルムがデジタル化ユニット２１０に入力され、デジタル化される。デジタル化ユニット２１０は、カラーフィルムをデジタル化し、次いで当該カラーフィルムを１つ又は複数の成分画像に分解することができる。一般的には３つの色成分画像が導出されるが、諸実施態様は様々な数の色成分画像を使用することができる。カラーフィルム又は他の入力を複数の成分画像に分解することは、そのような処理をデジタル化ユニット２１０で実施する代わりに、分解ユニットで実施することができる。
様々な成分画像を使用することができ、例えば、カラーフィルムはＲＧＢの色成分画像に分解することも、ＹＵＶの成分画像に分解することもできる。この場合、Ｕ及びＶの色成分は輝度ではなく色を表している。
【００４３】
以下で説明する諸実施態様は、単一の色成分上だけに汚れ（即ちブロッチ）のある入力合成カラー映画を受信するのに特に適している。ブロッチ（即ち「汚れ」）は、例えば塵等の実際の汚れやフィルムを覆うゼラチンの消失等によって発生する可能性がある。例えば、ブロッチが単一の分解物上に現れている場合にも、後に全ての成分の分解物を組み合わせて合成カラー映画が形成される可能性もある。以下の諸実施態様の１つ又は複数は、合成映画自体がブロッチを含んでいるような場合に発生する可能性がある、全ての分解物上に所在するブロッチに作用するように適合することもできる。
【００４４】
したがって、一実施態様では、デジタル化ユニット２１０は、入力されたネガ画像をポジ画像に変換し、当該ポジ画像をデジタル化する。別の実施態様は、例えばネガ／ポジ変換の代わりに又はそれに加えて、ポジ／ネガ変換のような他の様々な変換の内の１つ又は複数を実施する。別の実施態様は、どのような変換も実施しない。他の実施態様は、デジタル化が必要とされないように、既にデジタル化されたデータを受け取る。
【００４５】
上述のように、あるフレームのデジタル色成分画像が動き推定ユニット２２０に入力されると（３１２、３１６）、動き推定ユニット２２０は、１つ又は複数の運動ベクトルを判定する（３２０）。更に、検討中のフレームよりも時間的に前にくるフレーム、又は時間的に後にくるフレーム、或いは時間的に前後するフレームに由来する、少なくとも１組のデジタル色成分画像を使用することができる。
【００４６】
一実施態様を説明するために、次のように定義する。
（ｉ）Ｆ＿ｉを、１組の３つの色成分画像（例えばそれぞれ赤、緑、青に相当する）から成るフレームとし、この場合、「ｉ」は１〜Ｎまで変化するものとし、
（ｉｉ）Ｆ＿ｉ＿ｎｅｗを、１組の３つの色成分画像（例えばそれぞれ赤、緑、青に相当する）から成るブロッチ補正済みフレームとし、この場合、「ｉ」は１〜Ｎまで変化するものとする。
【００４７】
次いで、ＭＶ（Ｆ＿ｉ＿）＝ｆ（Ｆ＿（ｉ−ｊ），．．．，Ｆ＿ｉ，．．．，Ｆ＿（ｉ＋ｋ））、又はＭＶ（Ｆ＿ｉ）＝ｆ（Ｆ＿（ｉ−ｊ）＿ｎｅｗ，．．．，Ｆ＿ｉ，．．．，Ｆ＿（ｉ＋ｋ））とし、この場合、ｊ及びｋは非負の整数とする。即ち、フレームｉに対応する運動ベクトルは、フレームｉよりも時間的に前にくるフレーム、又は時間的に後にくるフレーム、或いは時間的に前後するフレームの関数とすることができる。また、別法として、当該運動ベクトルは、フレームｉよりも時間的に前にくるブロッチ補正済みフレーム、又はフレームｉよりも時間的に後にくる未補正フレーム、或いはその両方のフレームの関数とすることもできる。フレームｉの運動ベクトルは、フレームｉに関する又は検討中の他のフレームの１つ（又は複数）に関する必ずしも全ての成分画像に基づくものである必要はないことに留意されたい。
【００４８】
運動ベクトルは、参照フレームに関する各フレーム内の各ピクセル毎に計算することができる（様々な実施態様では、フレームの１つの成分等の参照画像も使用することができることに留意されたい）。例えば、各フレームは、複数のブロック（例えば１６×１６ブロックのピクセル）に細分化することができ、各ブロック内の全てのピクセル毎に運動ベクトルを計算することができる。運動ベクトルは、様々な色成分画像の関数に基づいて計算することができる。例えば、フレームの輝度成分は、赤、緑、青の成分画像の関数として計算することができ、運動ベクトルは、検討中のフレームの輝度成分及び１つ（又は複数）の参照フレームの輝度成分に基づいて計算することができる。別法として、赤、緑、青の各成分画像毎に、様々な運動ベクトルを計算することもできる。
【００４９】
一例として、運動ベクトルは、初期の運動ベクトル候補に基づいて判定することができる。幾つかの実施態様では、この初期の運動ベクトル候補を、隣接ブロックの運動ベクトルの関数に基づいて取得することができる。他の実施態様では、当該初期の運動ベクトル候補を、ゼロ運動ベクトルとすることができる。複数回の歪み測定に基づく歪み値は、候補運動ベクトルについて、現フレーム及び参照フレームに由来するピクセルを使用して算出することができる。歪み測定は、色成分画像の関数に基づいて、又は様々な色成分画像上に発生した歪みの関数に基づいて行うことができる。幾つかの候補ベクトルに関連する歪み値（初期の候補運動ベクトルの周囲にあるウィンドウ全体から取得可能）をそれぞれ計算することができる。歪み測定の結果歪みが最小であると判明した候補運動ベクトルを、「適切な」運動ベクトルとして選択することができる。
【００５０】
一例として、運動ベクトルに関連する歪み測定は、各色成分に関する現フレームと参照フレームとの間の差、並びに色成分の組合せに基づく現フレームと参照フレームとの間の差に基づいて行うことができる。一実施態様では、運動ベクトルは次の２つの条件、即ち他の候補運動ベクトルを用いて得られる対応する歪み値と比較して、（１）現ピクセルと参照ピクセルとの間の輝度値の差から生じる歪みの方が小さく、また、（２）過半数の色成分（例えば２／３の色成分）から生じる歪みの方が小さい、という条件が満足された場合に、歪み測定で得られる値がより低くなると見なされる。
【００５１】
動き推定ユニット２２０内のシーン検出ユニットは、検討中のフレームよりも時間的に前にくる参照フレームを使用すべきかそれとも時間的に後にくる参照フレームを使用すべきかを自動的に判定することができる。例えば、シーン検出ユニットは、判定された運動ベクトルに基づいて、検討中のフレームが候補となる参照フレームと類似するかどうか判定することができる。このことは様々な技法を用いて判定することができる。
【００５２】
例えば、動き補償後の現フレームと、候補となる参照フレームとの間の歪みを計算することができる。歪みが特定の閾値を超えた場合は、そのフレームは参照フレームとの差が大きすぎるものと見なされ、したがって、当該プロセスの後続のユニットに運動ベクトルを提供する上でその参照フレームが使用されることはなく、また、当該プロセスにおける後続ユニットの他の任意の処理動作のためにその参照フレームが使用されることもない。歪みは、現フレームのブロック（又はフレーム）内のピクセルと、参照フレームのブロック（又はフレーム）内のピクセルとの間の差の関数として計算することができる。例えば、歪みの距離関数は、各ピクセルと、それぞれに対応する参照フレーム内の（動き補償された）ピクセルとの間の差の、絶対値の合計とすることができる。
【００５３】
参照フレームの一例としては、任意の所与のターゲットフレームに関する参照フレームを（例えばある映画の）フレームシーケンス内の先行フレーム又は後続フレームとして定義することができ、したがって、各ターゲットフレーム毎に参照フレームが異なるようにすることができる。別の例としては、所与のシーンの全てのターゲットフレームを対象とする参照フレームを、所与のシーンの最初のフレームとすることができ、したがって、特に動きが殆ど存在しないシーンの場合は、当該参照フレームを、所与のシーンの全てのターゲットフレームについて一定のままとすることができる。他の例としては、任意の所与のフレームは、例えば２つの後続フレームや２つの先行フレーム等、複数の参照フレームを有することができ、この場合、任意の所与のフレームは、それ自体の参照フレームの１つ又は複数を他の隣接フレームと共用することができる。
【００５４】
検討中のフレーム及び１つ（又は複数）の参照フレームに対応するデジタル色成分画像と共に、当該フレームに関連する運動ベクトルが、ブロッチ分類マップ判定ユニット２３０に入力される（３２４、３２８）。一般に、ブロッチ分類マップ判定ユニット２３０は、どのピクセルがブロッチに関連するものであるかを判定し、それらのピクセルが所与の色成分画像内の修正候補と見なされる。この判定は１つ又は複数の処理動作を含むことができる。以下で説明する一実施態様では、ブロッチ分類マップ判定ユニット２３０は、初期判定をピクセル単位で行った後（３３２）、当該判定を精緻化する（３３６、３４０）。
【００５５】
このシステムの一実施態様では、分類マップ判定ユニット２３０は、（ｉ）１組の動き補償差に適用される１組の基準、並びに（ｉｉ）ピクセルの強度自体に基づいて、上記のピクセルを識別する（３３２）。分類マップ判定ユニット２３０は、各色成分画像毎に、どの位置にブロッチが発生し得るかを指示する「ブロッチ」タイプピクセル、又は「非ブロッチ」タイプピクセルから成る画像を構成するマップ（ＣＭａｐ＿ｉという標識が付され、ＣＭａｐＲ、ＣＭａｐＧ、又はＣＭａｐＢという３つの個別のマップから成るもの）を出力し、このマップに関連するピクセルの強度値は、後続の処理中に修正することができる。
【００５６】
ブロッチの位置を判定するのに使用される１組の基準は、一般にブロッチに関連する様々な特性の内の１つ又は複数に基づくものであってよい。これらの特性としては、（１）ブロッチが２つの連続するフレーム内の同じピクセル位置に発生することは稀であること、（２）ブロッチがフレームを含む２つ以上のデジタル色成分画像内（例えばカラーフレームの２つ以上の分解物内）の同じピクセル位置に発生することは稀であること、（３）ブロッチは、空間的に連結されたピクセル内に発生する（即ち、隔離されたピクセル位置ではなく複数のピクセルから成る小領域に発生する）傾向があること、（４）特定のブロッチ内の各ピクセルの強度値が典型的には類似すること、及び（５）特定のブロッチ内の各ピクセルの強度値が典型的には当該特定のブロッチ外の隣接ピクセルの強度値と異なること、が挙げられる。
【００５７】
各ピクセルｐに関して、ＤＦＤ＿ｒ＿ｐ＿ｉ＿ｊ、ＤＦＤ＿ｇ＿ｐ＿ｉ＿ｊ、及びＤＦＤ＿ｂ＿ｐ＿ｉ＿ｊを、フレームｉにおける赤、緑、青の成分画像内のピクセルｐと、それぞれ参照フレームｊにおける赤、緑、青の成分画像に基づく動き補償後の対応ピクセルとの間の計算結果として得られる変位フレーム差（displaced frame difference）と定義する。例えば、ＤＦＤ＿ｒ＿ｐ＿ｉ＿ｊは、フレームｉにおけるピクセルｐのピクセル強度値と、フレームｊにおける動き補償後の対応ピクセルのピクセル強度値との間の差の絶対値と等しくすることができる。別法として、別のタイプの歪み測定を使用してＤＦＤ＿ｒ＿ｐ＿ｉ＿ｊを求めることもできる。これらのＤＦＤに基づく１組の基準を適用して、現フレームの各色成分画像毎に、初期の１組の「ブロッチ」タイプ又は「非ブロッチ」タイプピクセルを判定することができる。
【００５８】
図４は、それぞれフレームｉ、フレームｉ−１、及びフレームｉ＋１に関する赤、緑、青の成分画像を示している。フレームｉ内の位置（１３、１２）に位置するピクセルは、フレームｉの各成分画像内の正方形で示されている。参照フレームｊ及びｋ内の（動き推定によって判定された）各対応ピクセルは、関連するピクセル位置、即ちｊについては（１０、１０）のピクセル位置、ｋについては（１６、１４）のピクセル位置を有する正方形で示されている。ＤＦＤ値は、当該ピクセルの様々な成分画像間で計算され、図４では、ＤＦＤ値を計算するのに使用される２つの成分を指す各矢印と関連付けられている。
【００５９】
図４は、フレームｋ内の同じピクセルに関して計算されるＤＦＤ＿ｒ＿ｐ＿ｉ＿ｋ及びＤＦＤ＿ｒ＿ｐ＿ｊ＿ｋのＤＦＤ値を示している。但し、動きがどのように推定されるかに応じて、フレームｋ内の様々な位置を得ることができる。例えば、ＤＦＤ＿ｒ＿ｐ＿ｊ＿ｋは、フレームｊとフレームｋの間の動き推定に基づくものであってよく、ＤＦＤ＿ｒ＿ｐ＿ｉ＿ｋは、フレームｉとフレームｋの間の動き推定に基づくものであってよい。これらの２つの動き推定値と、その結果得られるフレームｋ内の「対応」ピクセルとは、異なることもある。例えば、フレームｉ内にブロッチが存在することによりフレームｉとフレームｋの間の動き推定の正確さが失われた場合は、動き推定の結果に違いがでることもある。
【００６０】
赤の成分画像内のピクセル上にブロッチが発生しているかどうかを判定する上で適用可能な１組の基準を用いて、特定のピクセルに関して、１つの色成分の変位フレーム差分（displaced frame distance）が他の２つの色成分の変位フレーム差分よりも高いかどうかの検査が行われる。更に、２つの参照フレームに関する変位フレーム差分を検査することができ、１つが現フレームの先行フレームに該当し、もう１つが現フレームの後続フレームに該当するように２つの参照フレームを選択することができる。
【００６１】
以下では、現フレームにおける赤の成分内のピクセル「ｐ」が「ブロッチ」ピクセルとして指定されているのか否かをＣＭａｐＲ＿ｐの値によって判定する１つのアルゴリズムをピクセル「ｐ」に関して実施するための擬似コードについて説明する。この擬似コードでは、ＴＨ＿１〜ＴＨ＿６は閾値であり、ＣＭａｐＲ＿ｐはピクセル「ｐ」に関するＣＭａｐＲの値であり、「＆＆」演算において「ｉｆ」ステートメントを満足させるには、６つの全ての閾値の比較を満足させる必要がある。
【００６２】
If (DFD_r_p_i_j ＞ TH_1) && (DFD_r_p_i_k ＞ TH_2)
&& (DFD_g_p_i_j ＜ TH_3) && (DFD_g_p_i_k ＜ TH_4)
&& (DFD_b_p_i_j ＜ TH_5) && (DFD_b_p_i_k ＜ TH_6)
then CMapR_p = 1,
else CMapR_p = 0.
【００６３】
前段に列挙される各閾値は定数値であっても、様々な特徴に基づく適応値であってもよい。例えば、閾値は、フィルム単位、リール単位、フレーム単位、ピクセル単位、或いは他の任意のデータサブセット単位で異なる値をとることができる。
【００６４】
一実施態様では、上記の各閾値をピクセルに関連するＤＦＤの関数に応じて変化させることができる（即ち、ＴＨ＿ｐ＝ｆ＿ｉ（ＤＦＤ＿ｒ＿ｐ＿ｉ＿ｊ，ＤＦＤ＿ｇ＿ｐ＿ｉ＿ｊ，ＤＦＤ＿ｂ＿ｐ＿ｉ＿ｊ））。例えば、少なくとも１つの参照フレームに関するＤＦＤを計算した結果、赤の成分画像内のピクセルのＤＦＤが、緑及び青の成分画像内のピクセルのＤＦＤよりも１つ（又は複数）の特定の閾値分だけ大きい場合、及び緑及び青の成分画像内のピクセルのＤＦＤ値が、特定の閾値よりも小さい場合は、当該ピクセルは、ブロッチの１つとなり得るものとして識別される。この例は、以下の擬似コードの形で表現することができる（ＴＨ＿ｎｅｗ１〜ＴＨ＿ｎｅｗ４は閾値とする）。
【００６５】
以下の擬似コードでは、最初の４つの比較においてＴＨ＿ｎｅｗ１〜ＴＨ＿ｎｅｗ４と、フレーム「ｊ」のピクセル「ｐ」に関する４つの異なるＤＦＤ差とが比較される。１番目のＤＦＤ差は、参照フレーム「ｊ」に関して得られた赤の成分画像と緑の成分画像との間の差である。２番目のＤＦＤ差は、参照フレーム「ｊ」に関して得られた赤の成分画像と青の成分画像との間の差である。３番目のＤＦＤ差は、参照フレーム「ｋ」に関して得られた赤の成分画像と緑の成分画像との間の差である。４番目のＤＦＤ差は、参照フレーム「ｋ」に関して得られた赤の成分画像と青の成分画像との間の差である。
【００６６】
If (DFD_r_p_i_j-DFD_g_p_i_j ＞ TH_new1) && (DFD_r_p_i_j-DFD_b_p_i_j
＞ TH_new2) && (DFD_r_p_i_k -DFD_g_p_i_k ＞ TH_new3)
&& (DFD_r_p_i_k -DFD_b_p_i_k ＞TH_new4)
&& (DFD_g_p_i_j ＜ TH_3) && (DFD_g_p_i_k ＜ TH_4)
&& (DFD_b_p_i_j ＜ TH_5) && (DFD_b_p_i_k ＜ TH_6)
then CMapR_p = 1,
else CMapR_p = 0.
新しい閾値もまた定数値とすることができ、また、例えばＴＨ＿ｎｅｗｉ＝ｆ＿ｉ（ＤＦＤ＿ｒ＿ｐ＿ｉ＿ｊ，ＤＦＤ＿ｇ＿ｐ＿ｉ＿ｊ，ＤＦＤ＿ｂ＿ｐ＿ｉ＿ｊ）等の適応値とすることもできる。
【００６７】
更に、検討対象のフレームの前後にある２つの参照フレームが使用される場合は、追加的な基準を適用することもできる。１つの追加的な基準では、上記の参照フレーム間のＤＦＤ値（例えば赤の成分画像に関するＤＦＤ＿ｒ＿ｐ＿ｉ＿ｋ）が計算され、当該ＤＦＤ値が１つ（又は複数）の特定の閾値よりも小さいかどうかを判定するための比較が行われる。計算されたＤＦＤ値が閾値よりも小さく、先に列挙した他の条件が真の値をとる場合には、当該ピクセルはブロッチの１つとなり得るものとして識別される。そうでない場合には、当該ピクセルはブロッチの１つと成り得るものとして識別されない。計算されたＤＦＤ値が小さいときは、２つの参照フレーム成分が類似しており、参照フレーム成分と現フレーム成分との間の非動き差(non-motion difference)がブロッチによるものであることが示唆され得る。
【００６８】
初期の１組の「ブロッチ」タイプピクセルを識別した後は（３３２）、精緻化ステップ（３３６）を実施して、誤ってブロッチとして識別された位置を取り除き、部分的に検出されたブロッチを完成させることができる。例えば、一実施態様では、上記の精緻化は、空間情報を組み込むことによって既に候補ブロッチ位置として識別されたピクセルに隣接するピクセル位置に対して実施される。この精緻化ステップで使用される１組の基準には特に、ブロッチの様々な特性並びに先に列挙した各隣接要素及びそれらの特性が組み込まれる。例えば、既にブロッチの一部として識別されているピクセルの隣接要素であるピクセルを検査して、それらがどの程度類似しているか調べることができる。類似性は、強度値やＤＦＤ値等様々な特徴に関するものであってよい。
【００６９】
図５は、空間情報を組み込むことによって、部分的に検出されたブロッチの形を完成させ又は誤ってブロッチとして識別された可能性のある位置を取り除く、１組の精緻化ステップの例示的な一実施態様を示している。プロセス５００は、例えば処理３３２で識別された各ブロッチタイプピクセルに実施することも、他のタイプの領域、例えば複数ピクセルから成る領域に実施することもできる。プロセス５００は、例えば特定のピクセルの特定の距離内に他のブロッチタイプピクセルが存在するかどうかを判定することにより、特定のブロッチタイプピクセルが、隔離されたブロッチタイプピクセルに該当するかどうか判定する（５１０）。例えば、処理５１０は、特定のピクセルが他の全てのブロッチタイプピクセルから少なくとも１ピクセル分だけ離れているかどうか判定することができる。特定のピクセルが隔離されている場合には（処理５１０の「ｙｅｓ」分岐）、当該特定のピクセルは、非ブロッチタイプピクセルとして再分類され（５２０）、プロセス５００は終了する（５９５）。
【００７０】
当該特定のブロッチタイプピクセルが隔離されていない場合には（処理５１０の「ｎｏ」分岐）、処理５００は該特定のブロッチタイプピクセルと連結されている非ブロッチタイプピクセルが選択する（５３０）。プロセス５００は、選択された非ブロッチタイプピクセルのＤＦＤが閾値よりも大きいかどうか判定する（５４０）。ＤＦＤは、例えば１つ又は複数の参照フレームに関して判定することができ、閾値は、例えば定数値とすることも適応値とすることもできる。ＤＦＤが閾値よりも小さい場合又はそれと等しい場合には（処理５４０の「ｎｏ」分岐）、選択された非ブロッチタイプピクセルは、非ブロッチタイプピクセルのままとなる（５５０）。一方、ＤＦＤが閾値よりも大きい場合には（処理５４０の「ｙｅｓ」分岐）、処理５００は処理５６０を使用して、選択された非ブロッチタイプピクセルの処理を続行する。
【００７１】
プロセス５００は、選択された非ブロッチタイプピクセルのＤＦＤがそれ自体と隣接するブロッチタイプピクセルの平均ＤＦＤと類似するかどうか判定する（５６０）。これらの隣接ピクセルは、例えば選択されたピクセルの４つの辺の何れか又は４つの角の何れかと境を接するピクセルである可能性がある。隣接ピクセルは、選択された非ブロッチピクセルと隣接する、部分的に完成した現在のブロッチに属するものとして既に識別されたピクセルである可能性もある。例えば、閾値を絶対数又は割合とした場合のＤＦＤ同士の類似性は、例えば各ＤＦＤがそれぞれの特定の閾値内にあるかどうかを判定することによって判定することができる。ＤＦＤが類似しない場合には（処理５４０の「ｎｏ」分岐）、選択された非ブロッチタイプピクセルは、非ブロッチタイプピクセルのままとなる（５５０）。一方、ＤＦＤが類似する場合には（処理５４０の「ｙｅｓ」分岐）、処理５００は処理５７０を使用して、選択された非ブロッチタイプピクセルの処理を続行する。
【００７２】
プロセス５００は、選択された非ブロッチタイプピクセルの強度値が、選択された非ブロッチタイプピクセルと隣接するブロッチタイプピクセルの平均強度値と類似するかどうか判定する（５７０）。強度値が類似しない場合には（処理５４０の「ｎｏ」分岐）、選択された非ブロッチタイプピクセルは、非ブロッチタイプピクセルのままとなる（５５０）。一方、強度値が類似する場合には（処理５４０の「ｙｅｓ」分岐）、処理５００は選択された非ブロッチタイプピクセルを現在のブロッチ内のブロッチタイプピクセルとして再分類する（５８０）。他の実施態様は、処理５４０、５６０、及び５７０の内の１つ又は複数を省略又は修正することができ、また、プロセス５００に追加的な処理を補完することもできる。
【００７３】
他の実施態様では、プロセス５００を一時に２つ以上のピクセルに適用することができる。例えば、プロセス５００を、複数のピクセルを含む領域に適用することができ、例えば、当該領域内の各ピクセルに関するＤＦＤ又は強度の平均値を使用して当該領域全体のＤＦＤ（５４０、５６０）及び強度（５７０）を計算することもできる。
【００７４】
各組の隣接候補ブロッチピクセルについて更なる分析を実施して、特定のブロッチに属するピクセル一式全てを候補ブロッチピクセルとして保持するべきかそれとも拒否すべきか判定することもできる（３４０）。１組の隣接候補ブロッチピクセルは、候補ブロッチ領域（candidate blotch region）とも呼ばれる。成績の基準（criteria of merit）としては、例えば各ブロッチ寸法と最小ブロッチ寸法及び最大ブロッチ寸法との比較、又はブロッチ内のピクセルの総数と特定の閾値との比較を挙げることができる。
【００７５】
図６は、候補ブロッチ領域に関する１組の精緻化ステップの例示的な一実施態様を示している。プロセス６００は、候補ブロッチ領域内のピクセルの数が少なすぎるかどうか判定するステップ（６１０）を含む。候補ブロッチ領域が小さすぎる（例えば寸法が１ピクセル）場合は、当該候補ブロッチ領域は、汚れ粒子又は他の原因によって発生したブロッチを原因とするものではなく、ランダム雑音を原因とするものである可能性がある。この場合、候補ブロッチ領域の寸法を最小サイズと比較する条件が整い、当該寸法が最小寸法未満となった場合は、当該領域が「ブロッチ」として取り除かれる可能性がある。候補ブロッチ領域内のピクセルの数が少なすぎる場合には（処理６１０の「ｙｅｓ」分岐）、当該候補ブロッチ領域内のピクセルは全て、非ブロッチタイプピクセルとして再分類される（６２０）。一方、候補ブロッチ領域内のピクセルの数が少なすぎるとはいえない場合には（処理６１０の「ｎｏ」分岐）、処理６００は処理６３０を使用して、候補ブロッチ領域の処理を続行する。
【００７６】
プロセス６００は、候補ブロッチ領域内のピクセルの数が多すぎるかどうか判定する（６３０）。候補ブロッチ領域内のピクセルの数が多すぎる場合には、１組のピクセルが実際にブロッチに属する可能性は低くなり得る（当該１組のピクセルはむしろ画像内の有効オブジェクトに属する可能性が高い）。したがって、候補ブロッチ領域の寸法を最大サイズと比較する条件が整い、当該寸法が最大寸法を超えることになった場合は、当該１組のピクセル位置が「ブロッチ」タイプピクセルとして取り除かれる可能性がある。もちろん候補ブロッチ領域内のピクセルの数が実際に多すぎる場合には（処理６３０の「ｙｅｓ」分岐）、当該候補ブロッチ領域内のピクセルは全て、非ブロッチタイプピクセルとして再分類される（６２０）。一方、候補ブロッチ領域内のピクセルの数が多すぎるとはいえない場合には（処理６３０の「ｎｏ」分岐）、処理６００は処理６４０を使用して、候補ブロッチ領域の処理を続行する。
【００７７】
プロセス６００は、精緻化処理３３６の前に候補ブロッチ領域に属するものとして識別されたピクセルの数が、精緻化処理３３６の後に候補ブロッチ領域に属するものとして識別されたピクセルの総数に比べて多すぎるかどうか判定する（６４０）。例えば、特定のブロッチ領域に追加されたピクセルの数が、当初ブロッチ領域に属するものとして識別されたピクセルの数よりも多くなった場合は、当該ブロッチ領域が有効ブロッチではないことが示唆され得る。したがって、ブロッチ領域サイズの増加分を閾値と比較する条件が整い、その増加分が当該閾値を超えることになった場合は、当該１組のピクセル位置が「ブロッチ」タイプピクセルとして取り除かれる可能性がある。したがって、候補ブロッチ領域に追加されたピクセルの数が多すぎる場合には（処理６４０の「ｙｅｓ」分岐）、当該候補ブロッチ領域内のピクセルは全て、非ブロッチタイプピクセルとして再分類される（６２０）。一方、候補ブロッチ領域に追加されたピクセルの数が多すぎるとはいえない場合には（処理６４０の「ｎｏ」分岐）、当該候補ブロッチは、受け入れられる（３４０）。
【００７８】
ブロッチ（１組の隣接「ブロッチ」タイプピクセルを含む）を候補ブロッチ領域として受け入れた（３４０）後は、当該ブロッチの境界線を更に精緻化することができる（３４０）。例えば、プロセス６００は、候補ブロッチ領域の端部を特徴付けるエッジ遷移の場所に基づいて候補ブロッチ領域の境界を拡大する（即ち、候補ブロッチ領域の境界に追加的なピクセルを追加する）ことによって続行される（６５０）。例えば、例えば第一の導関数である、隣接ピクセルの強度値の傾斜が方向を変える位置の１ピクセル手前まで、候補ブロッチ領域は拡大することができる。
【００７９】
プロセス６００は、候補ブロッチ領域内の隔離された「非ブロッチ」タイプピクセルと隣接するピクセルの過半数がブロッチタイプピクセルである場合に、当該隔離された「非ブロッチ」タイプピクセルを「ブロッチ」タイプピクセルとして再分類することによって、別の精緻化処理を実施する（６６０）。精緻化処理（６５０、６６０）の後に、最終的なブロッチ領域が判定され（６７０）、各色成分画像に関する候補ブロッチの位置を指示する分類マップが生成される。この分類マップは、ブロッチ分類マップ判定ユニット２３０からブロッチ修正予測ユニット２４０へと転送される（３４４、３４８）。
【００８０】
検討対象のフレーム並びに１つ（又は複数）の参照フレームに対応するデジタル色成分画像、検討対象のフレームに関連する運動ベクトル、並びにブロッチ分類マップ判定ユニット２３０によって生成された分類マップが、ブロッチ修正予測ユニット２４０に入力される（３４４、３４８）。ブロッチ修正予測ユニット２４０は、上記の情報を使用して、ブロッチに属するものとして識別された各組のピクセルに対して次の２つのタスク、即ち（１）ブロッチ内のピクセルを復元するのに使用される特定の補正技法を決定するタスクと、（２）（１）で特定された特定の補正技法を適用し、その結果得られたブロッチ修正を受け入れるべきか否かを判定するタスクとを実施する（３５２）。特定の補正技法の判定は、時間情報又は空間情報或いは時間情報と空間情報の両方に基づいて行うことができる。更に、補正技法を決定するステップは、運動ベクトルを判定又は精緻化するステップと、予測方法を決定するステップの内の１つ又は複数を含むこともできる。
【００８１】
このシステムの一実施態様では、候補ブロッチを有する色成分内の復元対象ブロッチピクセルの予測が判定され、他の２つの色成分の対応ピクセルの予測が判定される。次いで、予測された復元対象ブロッチに対して、当該予測の結果ブロッチが適切に取り除かれることになるのかそれとも望ましくないアーチファクトが発生することになるのかを判定する、様々な検査が実施される。これらのテストの目的は、誤ってブロッチとして識別された位置にあるピクセルの値が修正されるのを防ぐことにある。予測が適切でないことが上記の検査で判定された場合は、ある補正技法を使用して処理３５２の２つのタスクを更に繰り返すことができる。
【００８２】
処理３５２のこれらの２つのタスクは、一時に１つずつ各ブロッチに関して実施することができる。この場合、隣接候補「ブロッチ」ピクセルは全て、発生し得る同じブロッチの一部と見なされる。
このユニット内での様々な処理のために、「ブロッチ」は、ブロッチ領域外の（又は、特に他の実施態様では、少なくともブロッチ領域を含む）特定の水平範囲と垂直範囲とによって決定されるサイズのボックス内に収まる、１組のピクセルとして定義される。この場合のブロッチ領域は、特定のブロッチに属する１組のピクセルである。
【００８３】
図７は、ブロッチを含むブロック７００の一例を示している。「Ｂ」で示される１４個の「ブロッチ」タイプピクセルが存在し、残りのピクセルは、「Ｎ」で示される「非ブロッチ」タイプピクセルである。ブロック７００は、動き推定ユニット２２０で使用されるものとは異なることに留意されたい。ブロック７００は、ブロッチからの左側水平伸長７２０とブロッチからの右側水平伸長７３０とを含むブロック幅７１０を有する。ブロック７００は、ブロッチの上側垂直伸長７５０とブロッチの下側垂直伸長７６０とを含むブロック高さ７４０を有する。
【００８４】
図８は、処理３５２に対応し、ブロッチ修正予測ユニット２４０内で適用される１組の処理の一実施態様を示している。プロセス８００は、ブロッチを伴うブロックについて「適切な」（又は「新しい」）運動ベクトルを判定する（８１０）。新しい運動ベクトルは、例えば発生し得る１組の運動ベクトルから選ぶことができる。プロセス８００の一実施態様では、「適切な」運動ベクトルの判定は、次のように実施される。まず、ブロッチを含む対応色成分内のブロックについて、運動ベクトルが判定される。この判定は、幾つかの技法を使用して実施することができる。
【００８５】
一実施態様では、上記の運動ベクトルは、非ブロッチピクセルとして、例えば図７の「Ｎ」の符号で示されるピクセルとして識別されたブロック内のピクセルだけを使用して判定される。このようにすれば、発生し得るブロッチピクセルの影響が誤って、ブロックについて計算された運動ベクトルに及ぶことがなくなる。ブロック内の非ブロッチピクセルについて、動き予測の歪みが最小となる運動ベクトルが「適切な」運動ベクトルとして選ばれる。
【００８６】
一例として、候補運動ベクトルは、検討対象のブロッチについて動き推定ユニット２２０で判定されたベクトルを使用して判定することができ（この時点ではブロッチについて動き推定ユニット２２０で使用されるブロックは、必ずしも定義されていないことに留意されたい）、また、隣接ブロッチに由来するベクトルを使用して判定することも、他の成分画像を検討することによって判定されたベクトルを使用して判定することもできる。歪み測定に基づく歪み値（ＤＦＤ等）は候補運動ベクトルに関して、非ブロッチピクセル（又は他のピクセル）だけを使用して計算することができ、幾つかの候補ベクトルに関連する歪み値（初期の候補運動ベクトルの周囲にあるウィンドウ全体から取得可能）を計算することができる。歪み値が最も低い候補運動ベクトルを、「適切な」運動ベクトルとして選択することができる。別の例として、「適切な」運動ベクトルは、他の成分画像内の対応ブロックについて最も低い歪み値を示すベクトルを選択することによって判定することもできる。
【００８７】
プロセス８００は、追加的な検査を実施して、選択された運動ベクトルが受け入れ可能であるかどうか判定するステップ（８２０）を含む。一実施態様では、選択された運動ベクトルは、ブロッチが発生する可能性がない２つの色成分の内の一方に所在するブロックに適用される。ブロッチとして識別されたピクセルに対応するピクセル（例えば、図７の「Ｂ」で示されるピクセル位置と同じピクセル位置に所在するピクセル）と、非ブロッチとして識別されたピクセルに対応するピクセル（例えば、図７の「Ｎ」で示されるピクセル位置と同じピクセル位置に所在するピクセル）とに関する動き予測の性能間の比較が行われる。特に、参照フレームに関しては、これらの２つの部分の変位フレーム差分が計算される。これらの２つの変位フレーム差分が閾値の範囲内に収まり、その結果、「非ブロッチ」タイプピクセルを使用して当該ブロック内の「ブロッチ」タイプピクセルについて計算された運動ベクトルが適切である（即ち、当該運動ベクトルが正しい動きを捕捉している）ことが指示された場合には、当該運動ベクトルは受け入れられる。
【００８８】
これらの２つの変位フレーム差分は、例えば当該ブロックが比較的均一な非ブロッチタイプピクセルと、何らかの情報を有するブロッチタイプピクセルとを有する比較的均一なオブジェクトの一部となっている（その結果、複数の運動ベクトルが同様に低い歪みを発生し得る）場合は、閾値の範囲内に収まらない可能性もある。このような場合には、非ブロッチタイプピクセルだけを使用した動き推定は、不正確となる可能性があり、当該オブジェクトの（低いＤＦＤを示す）比較的均一な別の区域が適当な運動ベクトルを反映していると判定する可能性もある。しかし、かかる運動ベクトルを用いた結果、他の色成分内のブロッチタイプピクセルの情報が失われる場合には、当該運動ベクトルの不正確さが明らかになるほど、ブロッチタイプピクセルのＤＦＤが（非ブロッチタイプピクセルのＤＦＤと比較して）大きくなる可能性もある。
【００８９】
選択された運動ベクトルが受け入れ可能な場合は（処理８２０の「ｙｅｓ」分岐）、その選ばれた（選択された）運動ベクトルを使用して、当該ブロック内のブロッチピクセルの予測が判定される（８３０）。例えば、現フレーム内の「ブロッチ」タイプピクセルと釣り合うように計算された参照フレーム内のピクセルを使用して、現フレーム内の「ブロッチ」タイプピクセルが置き換えられる。一実施態様では、参照ピクセルが直接、置換要素として使用される。一代替実施態様では、参照ピクセルの関数を使用して置換要素を得ることができる。例えば、置換要素は、対応する参照フレーム内のピクセルの加重平均としてもよい。その後、ブロッチ修正の結果それ以前に判定されたブロッチ位置に望ましくないアーチファクトが発生することになるのかどうかを判定する処理（例えば、処理３５２の２番目のタスクを実施する処理）が実施される。
【００９０】
上述の２つの部分（即ち、ブロック内の１組の「Ｎ」ピクセルと、１組の「Ｂ」ピクセル）の変位フレーム差分が互いに類似しない（例えば、２つの変位フレーム差分の差が特定の閾値を超える）場合は、当該運動ベクトルは受け入れ可能なものとは見なされず、当該ブロックを復元する上で時間予測（temporal prediction）は使用されない（処理８２０の「ｎｏ」分岐）。更に、時間予測は以下で説明するように、時間予測（８３０）を使用して復元されたブロッチによってアーチファクトが発生した場合（８７０）も使用されない。上記の何れの場合にも、プロセス８００は、空間情報を使用して復元されるブロッチの予測を判定する（８４０）。
【００９１】
一実施態様では、発生し得るブロッチの水平軸又は垂直軸沿いのピクセルの値間の直線補間を使用して、空間予測（spatial prediction）が実施される。当該補間の方向は、幾つかの手法で判定することができる。１つの可能な方法は、発生し得るブロッチ全体に及ぶより小さい範囲の方向を選ぶことである。
【００９２】
プロセス８００は、例えば空間予測による復元が１つ又は複数の基準を満足するかどうかを判定することにより、空間予測が適切であるかどうか判定する（８５０）。一実施態様では、発生し得るブロッチの対応する位置に所在する他の２つの色成分の内の１つ又は複数に関して、空間補間を実施することができる。この検査で他の２つの色成分が両方処理されるものと仮定すると、これらの他の２つの色成分に関しては、予測ピクセルと元のピクセルとの間の歪み測定値が計算され得る。どちらの色成分の歪みも特定の閾値を上回る場合は、空間補間が適切でないものと見なされる。なぜなら、上記の他の２つの色成分は典型的には、それぞれの位置でブロッチを含んでいないことから、それほど変化しないことが予想されるからである。上記の他の２つの色成分を空間補間で得られたピクセルの値で置き換えることにより、各値が大幅に異なることとなった場合は、空間補間を用いてもブロッチを含む色成分内のブロッチの良好な置換要素が得られないことを示す可能性がある。したがって、プロセス８００で、空間予測が適切でないと思われる場合には（処理８５０の「ｎｏ」分岐）、どのような補正も実施されず、ピクセルは当初の強度値を保持する（８６０）。このような場合（８６０）は、候補ブロッチが実際にはブロッチでなかったものと仮定できることが多い。
【００９３】
一方、空間予測が適切であると思われる場合には（処理８５０の「ｙｅｓ」分岐）、ブロッチ修正の結果それ以前に判定されたブロッチ位置に望ましくないアーチファクトが発生することになるのかどうかを判定する処理（例えば、処理３５２の２番目のタスクを実施する処理）が実施される。空間予測は、例えば上記の他の２つの色成分の歪みがどちらも特定の閾値を下回る場合は、適切であると見なすことができる。時間予測（８３０）が実施された後は、例えば処理３５２の２番目のタスクに対応する処理等も実施される。
【００９４】
プロセス８００では、処理３５２の２番目のタスクの一実施態様は、（空間又は時間）予測によってアーチファクトが発生するかどうかを判定（８７０）する処理８７０から開始する。一実施態様では、ブロッチが発生し得る色成分のブロックに関する特定の測定値は、当該ブロックが予測によって復元される前に、当該ブロック内のピクセルを使用して計算され、当該ブロックが予測によって復元された後にも、当該ブロック内のピクセルを使用して、同じ測定値が計算される。この測定値は、例えばブロックの分散値（variance）としてもよい。他の２つの色成分についても、対応する複数組のピクセルを使用して同じ測定値が計算される。次いで、これらの計算された値を使用して、当該ブロックの復元予測の結果が当該ブロックにとって有益であるのか、それとも当該ブロックの復元予測の結果望ましくないアーチファクトが発生することになるのかが判定される。
【００９５】
例えば、分散値が測定値として使用される場合について検討する。色成分画像内でブロッチが実際に発生した場合は（当該成分をこの例の以下の説明では第１の色成分と呼ぶ）、当該色成分内の当該ブロッチを含むブロックの分散値は、当該ブロッチが対応する参照フレームのピクセルで置き換えられた後に、大幅に減少する可能性が高い。なぜなら、当該ブロッチは通常、当該ブロック内の他のピクセルとは大きく異なる強度値を有することとなり、したがって復元前のブロック内の分散値がより高くなるからである。対照的に、ブロッチの置き換えに使用されるピクセルは、当該置換要素が当初の非ブロッチピクセルの値を適切に表すように企図されているので、当該ブロック内の他のピクセルとの類似性は高くなる（したがって、復元後の当該ブロック内の分散値は大幅に減少することとなる）。検討対象のフレームの他の色成分画像が対応するブロッチ領域内にブロッチを含んでいないので、参照フレームの他の色成分画像内の対応ピクセルは、検討対象のフレームの他の色成分画像内に配置されているピクセルと類似するはずである。したがって、上記の他の色成分画像内のブロックの分散値は、それらの他の色成分画像内の復元量が「予測」された後は、それほど変化しないことになる。
【００９６】
このことが、分散値に基づく１組の基準を使用して第１の色成分画像内のブロッチを置き換えるべきかどうかを判定すること、又は当該ブロッチが誤ってブロッチとして識別されたものかどうかを判定することの動機となっている。特に、ブロッチを含む成分内のブロックに関して、候補ブロッチが置き換えられたときに生じる分散値の変化が計算される。第１の成分のブロック内の「ブロッチ」タイプピクセルと同じ位置に対応する１組のピクセルが、他の色成分画像内のピクセルで置き換えられたときは、（それらの他の色成分画像の時間補間又は空間補間を使用して）それらの他の色成分画像に関する分散値の変化が計算される。ブロッチを含む色成分内のブロックの分散値の減少分が特定の閾値（定数値又は適応値）を超え、他の色成分画像に対応するブロックの分散値の変化が特定の閾値未満である場合には、当該候補ブロッチは恐らく実際のブロッチであり、したがってそれ自体のブロッチ分類を保持する。
【００９７】
一方、ブロッチが誤って識別されたものであること、又は選ばれた置換要素ピクセルが当該ブロッチにとって適切でなく、したがって使用されるべきでないことを示し得る分散値の条件は、複数存在する。例えば、当該ブロッチの補正によって候補ブロッチを伴う成分画像内のブロックの分散値が減少しない場合は、当該ブロッチは候補ブロッチでないものと見なされ、発生し得るブロッチ位置では当初のピクセルの値が保持される。
【００９８】
ブロッチの置き換えが望ましくないと見なされる別の例は、ブロッチを含む色成分画像内のブロックの分散値の減少分が特定の閾値（定数値又は適応値）を超え、他の色成分画像に関するブロックの分散値の減少分も特定の閾値を超えた場合に発生する。この場合には、候補ブロッチが実際のブロッチでない可能性が高い。なぜなら、上述したように、検討対象の１組のピクセルに関してブロッチを含まない他の色成分画像は、それらのピクセルがブロックの適切な置換要素となることが企図されているので、それらのピクセルの置き換えによる影響をあまり受けないからである（このことが、それらのピクセルを使用して第１の色成分内の「ブロッチ」タイプピクセルを置き換えることの動機となっている）。他の色成分画像内のピクセル並びに候補ブロッチを伴う色成分画像内のピクセルの置き換えによって分散値が減少した場合は、当該候補ブロッチの覆う領域が実際に（例えば当該オブジェクトの異なる動きによって）ブロック内の他のピクセルとは異なるフレーム内に所在する特定の有効オブジェクトを特徴付けていることに起因している可能性が高い。したがって、候補ブロッチは修正されず、当該ブロック位置では当初のピクセルの値が保持される。
【００９９】
詳述のために、赤の色成分内の特定の候補ブロッチが有効ブロッチであるか否かを確認するために、当該候補ブロッチの分析が行われるものと仮定する。Ｐ＿ｒを、赤の色成分内の特定のブロッチを含む「ブロック」に対応する１組のピクセルとして定義する。ＰＲｅｓｔ＿ｒを、上記の第１のプロセスで説明した特定の技法によって当該ブロック内のブロッチが「復元」された後のブロックに対応する１組のピクセルとして定義する。Ｐ＿ｇ及びＰ＿ｂを、Ｐ＿ｒ内の１組のピクセルと同じ１組のピクセルから成るものとして定義する。ＰＲｅｓｔ＿ｇを、ＰＲｅｓｔ＿ｒを生成するのに使用されるものと同じ復元技法が適用された後のブロックに対応する緑の色成分内の１組のピクセルとして定義し、ＰＲｅｓｔ＿ｂを、青の色成分内の対応する１組のピクセルとして定義する。また、Ｖａｒ（ｘ）を、組ｘで定義される１組のピクセルに関する分散値として定義する。次いで、１組の条件の一例を次のとおり示す。
（ｉ）Ｖａｒ（Ｐ＿ｒ）／Ｖａｒ（ＰＲｅｓｔ＿ｒ）＞１＋閾値１である場合、及びＶａｒ（Ｐ＿ｇ）／Ｖａｒ（ＰＲｅｓｔ＿ｇ）＝１に近い場合、及びＶａｒ（Ｐ＿ｂ）／Ｖａｒ（ＰＲｅｓｔ＿ｂ）＝１に近い場合には、
赤の色成分内のブロッチに対応する１組のピクセルの置き換えを行い、
（ｉｉ）それ以外の場合には、赤の色成分内のブロッチに対応する１組のピクセルの置き換えは行わないものとする。
【０１００】
Ｖａｒ（Ｐ＿ｒ）及びＶａｒ（ＰＲｅｓｔ＿ｒ）が高い場合については、追加的な条件を使用して対処することができる。例えば、分散値が高い場合は、当該分散値は有意な情報を提供しない可能性がある。そのような場合には、異なる測定値、例えば平均値等を使用することができる。平均値は、分散値が高くないときにも使用できることに留意されたい。
【０１０１】
ここでは、様々な閾値（「１に近い」値に対応する閾値を含む）を定数値又は適応値とすることができる。更に、本明細書では、この特定の実施態様で示される閾値１は、正数である。「１に近い」値は、１の値に関して対称となる範囲を定義することも、対照とならない範囲を定義することもできる。一実施態様では、先に列挙した各閾値は、訓練データを学習する機械によって判定される。別の実施態様では、幾つかの異なる測定値が考慮に入れられ、機械学習を使用して１組の測定値（又は測定値の関数）及びそれらに関連する判定用の閾値を提供する分級器（classifier）が開発される。例えば、分散値と平均測定値の両方を使用することができ、各測定値に様々な閾値を適用することができる。一実施態様では、分散値の高い色成分画像領域でブロッチが発生する応用例について、ブロッチピクセルの置き換えが行われたときの分散値は、減少するよりはむしろ相対的に一定のままであり、或いは増加する可能性がある故に、平均測定値が使用される。機械学習とは、例えば機械が既知の特徴を有する訓練データを使用することによって、様々な測定値及び閾値を繰り返し適用し、それぞれの成功を評価することが可能となることを指す。
【０１０２】
プロセス８００では、選択された（空間又は時間）予測技法によってアーチファクトが発生しない場合には（処理８７０の「ｎｏ」分岐）、当該予測技法を受け入れる（８８０）。一方、プロセス８００では、当該予測技法によってアーチファクトが発生する場合には（処理８７０の「ｙｅｓ」分岐）、当該予測技法が時間予測であるかどうか判定する（８９０）。プロセス８００は、当該予測技法が時間予測であり、それによってアーチファクトが発生する場合には（処理８９０の「ｙｅｓ」分岐）、空間予測の実施を試みる（８４０）。一方、プロセス８９０では、当該予測技法が空間予測であり、それによってアーチファクトが発生する場合には（処理８９０の「ｎｏ」分岐）、候補ブロッチの補正を行わず、当該ピクセルはそれぞれの当初の強度値を保持する（８６０）。様々な実施態様では、処理３５２の１番目のタスクで複数のアルゴリズムを選択することができ、処理３５２の２番目のタスクは、それらのアルゴリズムの選択を行うのに使用することができる。また、本明細書に示すように、ユニット２４０によってアルゴリズムが選択されないようにすることも可能である。
【０１０３】
ブロッチ修正予測ユニット２４０は、このセクションで概要を示した各ステップの後に、各ブロッチ（精緻化された任意の運動ベクトルを含む）について使用される特定のブロッチ補正技法を指定することもできる精緻化された分類マップを生成し、当該情報をブロッチ修正適用ユニット２５０に転送する（３６０、３６４）。
【０１０４】
ブロッチ修正予測ユニット２４０が適用された後は、ブロッチ修正適用ユニット２５０を使用して、ブロッチとして識別されたピクセルが復元される（３６８）。各ブロッチのピクセルは、ブロッチ修正予測ユニット２４０で選ばれたブロッチ修正予測方法を使用して復元される。非ブロッチピクセルとして識別されたピクセルは全て、変更されないままである。他の実施態様では、ブロッチ修正予測ユニット２４０は、別々のユニットを使用して１つ（又は複数）のアルゴリズム／１つ（又は複数）の技法を適用するのではなく、ユニット２４０で選択された１つ（又は複数）のアルゴリズム／１つ（又は複数）の技法を適用することもできる。
【０１０５】
様々な実施態様は、所与のフレームに関する所与の成分内のブロッチをオンザフライで補正することができ、当該ブロッチ補正データを、後に当該所与の成分（及びフレーム）内の別のブロッチを補正すべきかどうかを判断し、その補正手法を判断する際の基準とすることができる。更に、諸実施態様は、所与の成分（及びフレーム）内で識別された全てのブロッチが処理された後に、当該成分（及びフレーム）内の全てのブロッチを一時に補正することができる。次いで、当該フレームの他の成分に関するブロッチ補正が、それ以前に処理された成分に関するブロッチ補正データに基づいて行われることとなる。より一般的にいえば、他の成分又はフレームに関する補正は、それ以前に処理された成分又はフレームの補正データに基づいて行うことができる。
【０１０６】
追加的な処理を実施することもできる。例えば、あるフレームの所与の成分内、あるフレームの全ての成分内、又は幾つかのフレーム内の全てのブロッチが補正／復元された後に、別の検査を実施して復元の全体的な影響を分析することができる。かかる検査は、補正データだけに基づいて１つ又は複数のブロッチ領域に関する別の歪み測定値を計算するステップを含むことができる。
【０１０７】
色成分画像がブロッチ修正適用ユニット２５０によって修正された後は、修正済みの画像が合成位相ユニット２６０に供給され（３７２、３７６）、当該修正済みの画像は再び、合成位相ユニット２６０によって合成カラーフレームの形に組み合わされる（３８０）。図９Ａは、合成位相ユニット２６０が３つの色成分画像に適用された後の合成フレームのカラーバージョンを示し、図９Ｂは、非カラーバージョンを示している。図９Ａ及び図９Ｂでは、図１Ａ及び図１Ｂ上のブロッチ発生位置が丸で囲まれている。一実施態様では、任意選択で、光学プリンタで生じる解像度損失を避けるために、レーザーフィルムプリンタが使用される。
【０１０８】
本明細書に記載の様々な実施態様では、ブロッチが特定の規則的な形状（例えば円形、楕円形、矩形）をとることは想定されていない。更に、本明細書に記載の様々な実施態様では、領域の置き換えは、例えば領域をブロック単位で置き換えること等、厳密に特定の形状を使用して行われるわけではない。むしろ、本明細書に記載の様々な実施態様では、ブロッチの個々の特徴に基づいてブロッチの形状を判定することが試みられる。ブロッチは任意の形状をとることができるので、本明細書に記載の様々な実施態様の内の１つ又は複数によって判定されるブロッチもまた任意の形状をとることができ、理想的には実際のブロッチと同じ形状を有することができる。
【０１０９】
したがって、ある画像が任意の形状のブロッチ、例えば不規則な形状のブロッチを含んでおり、当該ブロッチの修正が当該ブロッチの任意の形状を使用して行われた場合は、本明細書に記載の諸実施態様の内の１つを使用して当該ブロッチを修正することができる。ブロッチの任意の形状が識別され、その形状がブロッチ（例えば実際のブロッチ又は疑わしいブロッチ）の修正に使用されているかどうかは、例えば画像の置換部分の形状を判定することによって判定することができる。画像の置換部分の形状は、当該画像の置換部分と、隣接する非ブロッチ、即ち当該画像の非置換部分との色の差が示される場合に判定することができる。そのような差は、識別されたブロッチの置換部分の不完全な色整合に起因する可能性がある。そのような不完全な色整合は、例えば参照画像の対応領域の色を使用することによって生じることもある。それらの差は、理想的には最小限に抑えられるべきであり、本明細書に記載の様々な実施態様では、様々な検査及び置換技法を適用することによってそれらの差を最小限に抑えることが試みられる。
【０１１０】
更に、本明細書に記載の様々な実施態様の内の１つ又は複数の応用例では、特に本明細書に記載の諸実施態様の一部分だけが実施される場合には、他のアーチファクトが発生する可能性もある。１つのタイプのアーチファクトは、ブロッチの任意の形状が完全な形で識別されない場合、特に、当該ブロッチの一部が識別されたブロッチ内に含まれていない場合に発生する可能性がある。かかる状況では、当該ブロッチの一部が修正されず、その結果、例えば当該ブロッチの修正部分に相当するより大きい領域に隣接する当該ブロッチのより小さい未修正部分が放置される可能性がある。当該ブロッチの未修正部分は、隣接領域とは明らかに異なる色を有する可能性がある。
【０１１１】
更に、アーチファクトは、非ブロッチピクセルが誤ってブロッチとして識別され修正された場合（即ち、偽の真要素（false positive）が存在する場合）に発生する可能性もある。これらの非ブロッチアーチファクトは、ブロッチアーチファクトよりも高い有意性を有する可能性があり、このため、例えば画像内の実際のオブジェクトが置き換えられる可能性もある。本明細書に記載の枝刈りアルゴリズムの内の１つ又は複数は、偽の真要素の数を減少させるのに役立つ可能性がある。
【０１１２】
図１０ａを参照すると、画像部分１０００は、任意の不規則な形状のブロッチ１０１０を含む。図１０ｂを参照すると、アルゴリズムは、ブロッチ１０１０の検出を行っているが、ブロッチ１０１０が破線の輪郭１０２０で示した形状を有するものと判定している。図１０ｃを参照すると、破線の輪郭１０２０は、斜線で示した任意の不規則な形状を有する推定ブロッチ１０３０を定義している。図１０ｂに示されるように、破線の輪郭１０２０は、２つの領域を除いてブロッチ１０１０の形状を完璧な形で追跡している。図１０ｃに示されるように、上記の２つの領域の第１の領域は、破線の輪郭１０２０の範囲内にあり、推定ブロッチ１０３０の範囲内にある（網掛け線で示した）非ブロッチ領域１０４０を含む、破線の輪郭１０２０のオーバーシュートである。上記の２つの領域の第２の領域は、破線の輪郭１０２０の範囲内及び推定ブロッチ１０３０の範囲内から延びる任意の不規則な形状のブロッチ領域１０５０が除外される、破線の輪郭１０２０のアンダーシュートである。推定ブロッチ１０３０の範囲内の領域が修正された後は、推定ブロッチ１０３０は、修正ブロッチ（又は修正後の推定ブロッチ）と呼ばれることもある。
【０１１３】
推定ブロッチ１０３０の完璧な色置換が行われたものと仮定しても、図１０ａ〜１０ｃでは依然としてブロッチ領域１０５０が修正されないことにより、アーチファクトが発生することとなる。領域１０５０は、ブロッチの性質に応じて任意の色を有する可能性がある。更に、推定ブロッチ１０３０の色が完全には復元されないものと仮定すると、推定ブロッチ１０３０の修正自体（即ち、修正後の推定ブロッチ１０３０）がアーチファクトとして現れる可能性もある。修正後の推定ブロッチ１０３０は、推定ブロッチ１０３０の置き換え／修正に使用されるアルゴリズムに応じて任意の色を有する可能性がある。しかしながら、本明細書に記載の様々な実施態様は良好な色整合を実施し、したがって、典型的には、推定ブロッチ１０３０の色が（ブロッチ領域１０５０を除く）周囲の領域と大きく異なることはない。
【０１１４】
したがって、本明細書に記載の様々な実施態様は、置換要素ピクセルに関する任意の形状の領域を生成することができる。これらの領域（例えば修正後の推定ブロッチ１０３０）は、隣接領域と僅かに異なる色を有する可能性があり、時間補間が使用される場合には、先行フレーム又は後続フレームとの類似性が非常に高くなる可能性がある。これらの領域は、特に本明細書に記載の諸実施態様の一部分だけが実施される場合には、隣接領域と大きく異なる不正確な色を有する可能性がある。また、本明細書に記載の様々な実施態様は、（特に本明細書に記載の諸実施態様の一部分だけが実施される場合には）隣接領域と色が異なることもある任意の形状のアーチファクト（例えばブロッチ領域１０５０）を発生させる可能性がある。更に、かかる任意の形状の領域又はアーチファクトが発生することにより、本明細書に記載の諸実施態様の内の１つの少なくとも一部分が画像に適用されたことが判明する可能性もある。
【０１１５】
上述の諸実施態様及び技法は、ブロッチが複数の成分画像の内の１つ又は複数、例えば分解物の内の１つ又は複数等に発生し得る様々な応用例に適用することができる。応用例としては、スペクトル分解及び非スペクトル分解が挙げられる。スペクトル分解は例えば、（１）様々な色周波数等を捕捉するカラーフィルムの応用分野、（２）無線周波数及び／又は光周波数等を捕捉する天文学の応用分野、並びに（３）様々な磁気（ＭＲＩ）、Ｘ線、音波（超音波）周波数等を捕捉する医療の応用分野で使用されている。最後の例が示すように、スペクトル分解は、例えば電磁波及び音波を含めた様々な周波数源から捕捉することができる。非スペクトル分解は、例えば圧力、温度、エネルギー、又は電力の変化から得ることができる。
【０１１６】
以上、幾つかの実施態様について説明してきたが、添付の特許請求の範囲の趣旨及び範囲から逸脱することなく様々な修正を加えることができることが理解されるであろう。例えば、本明細書に記載の諸実施態様の内の１つ又は複数に関する特徴、動作、又は構成要素を修正し、省略し、組み合わせ、補完することによって他の実施態様が考案されてもよい。更に、諸実施態様及び特徴は、プロセスの形で実施されても、デバイスの形で実施されても、プロセスを採用するデバイスの組合せの形で実施されてもよく、また、記憶デバイス（例えば外付けハードディスク又は内蔵ハードディスク、フロッピーディスク、ＣＤ、ＤＶＤ、カセット、テープ、ＲＯＭ、ＲＡＭ、又はプログラマブルデバイス）のコンピュータ可読媒体の形で実施されても、そのようなプロセスに関する命令を（例えばソフトウェア、ファームウェア、又はハードウェアの形で）実施するプログラマブルデバイス（例えばプロセッサ、プログラマブル論理回路、特定用途向け集積回路、又はコントローラチップ）の形で実施されてもよい。コンピュータ可読媒体としては、命令を符号化し又は送信する電磁波も挙げることができる。
【０１１７】
更に、諸実施態様及び特徴は、例えばコンピュータ可読媒体を有する記憶デバイス又はプログラマブルデバイス、或いはソフトウェアを担持することが可能な別のデバイスを含むことができる、ソフトウェアキャリアの形で実施されてもよい。ソフトウェアキャリアは、波形も含むことができ、必ずしもコンピュータ読取り可能なものである必要はない。更に、ソフトウェアキャリアによって担持されるソフトウェアは、例えばソースコード、実行可能コード、及びデータの内の１つ又は複数を含むこともできる。
【０１１８】
そのようなデバイスの１つは、例えば適切なプログラム命令を有するプログラマブルデバイス、及び必要に応じて記憶デバイスも含むコンピュータが該当する。コンピュータとしては、例えば１つ又は複数の汎用コンピュータ（例えばパーソナルコンピュータ）、１つ又は複数の専用コンピュータ（例えば互いに通信するように特別な形でプログラムされたデバイス）、又はそれらの何らかの組合せを挙げることができる。
【０１１９】
更に、画像は、記憶デバイス上に記憶されてもよい。例えば、ＤＶＤを使用して、本明細書に記載の一実施態様を用いて処理された単一の画像を記憶することも映画全体を記憶することもできる。ＤＶＤ又は他の記憶デバイスには、ユーザが１つ（又は複数）の未修正画像と修正画像の両方を閲覧することができるように、未修正画像を記憶しておくこともできる。そのようなＤＶＤ又は他の記憶デバイスが提供され得ることにより、ユーザは、有名な映画の復元版／修正版をＤＶＤで提供する等によって画像を閲覧することが可能になる。また、そのような記憶デバイスには、修正画像を生成し記憶するために使用されるハードドライブ、及び技術者が開発したブロッチ修正アルゴリズムを処理するコンピュータ用の記憶デバイス等、他の記憶デバイスも含まれる。
したがって、他の実施態様も添付の特許請求の範囲に含まれる。
【図面の簡単な説明】
【０１２０】
添付の図面及び以下の説明には、１つ又は複数の実施態様が詳しく記載されている。他の実施態様は、以下の説明、添付の図面及び特許請求の範囲を読めば明らかとなるであろう。
【０１２１】
【図１Ａ】映画フレーム上の幾つかのブロッチを示すカラー写真の図であり、３つの顕著なブロッチ（赤が２つ、緑が１つ）を丸で囲んだ図である。
【図１Ｂ】図１Ａの非カラーバージョンを示す図である。
【図２】ブロッチ補正方法の一実施態様を示すブロック図である。
【図３】図２に示される各構成要素の流れ図である。
【図４】現フレームの成分画像内のピクセルと、２つの参照フレーム内の対応する成分画像との間の差の計算値を示す図である。
【図５】空間的に近接する領域に基づいて部分的に検出されたブロッチの形を完成させ、又は誤って識別されたブロッチを除外する、１組の精緻化ステップを示す図である。
【図６】ブロッチ領域（即ち、１組の隣接ブロッチピクセル）を全体的に受け入れるか又は拒否すると共に、識別されたブロッチを更に精緻化するのに使用される、１組のステップを示す図である。
【図７】ブロッチ修正予測ユニットで使用されるブロッチを含むブロックの一例を示す図である。
【図８】ブロッチ修正予測ユニットで適用される１組の処理の一実施態様を示す図である。
【図９Ａ】図１の写真に対してブロッチ補正技法の一実施態様を適用した結果を示すカラー写真の図であり、図１Ａ及び図１Ｂで示した３つのブロッチ位置を丸で囲んだ図である。
【図９Ｂ】図９Ａの非カラーバージョンを示す図である。
【図１０Ａ】ブロッチの境界線が不完全な形で識別された状態を示す図である。
【図１０Ｂ】ブロッチの境界線が不完全な形で識別された状態を示す図である。
【図１０Ｃ】ブロッチの境界線が不完全な形で識別された状態を示す図である。
【図１Ａ】
2008515347.tif 000003
【図１Ｂ】
2008515347.tif 000004
【図２】
2008515347.tif 000005
【図３】
2008515347.tif 000006
【図４】
2008515347.tif 000007
【図５】
2008515347.tif 000008
【図６】
2008515347.tif 000009
【図７】
2008515347.tif 000010
【図８】
2008515347.tif 000011
【図９Ａ】
2008515347.tif 000012
【図９Ｂ】
2008515347.tif 000013
【図１０Ａ】
2008515347.tif 000014
【図１０Ｂ】
2008515347.tif 000015
【図１０Ｃ】
2008515347.tif 000016
【国際調査報告】
2008515347.tif 000017
2008515347.tif 000018
2008515347.tif 000019