(57)【要約】      （修正有）【課題】画像品質を劣化させることなくデジタル画像を編集して不所望なオブジェクトを除去する。【解決手段】デジタル画像内の除去すべきオブジェクトを含む長方形領域を指定する。一方の長辺及び対向する長辺にそれぞれに隣接するピクセル群を選択し、選択したピクセル群の鏡体を繰り返しパターンでコピーし、指定領域に大きさが対応するような第１マトリックス及び第２ピクセルマトリックスを規定する。第１及び第２マトリックスのピクセルは第１混合方程式に従い混合し、初期テクスチャを作成する。次いで、一方の短辺に隣接する選択したピクセル群の鏡体が初期テクスチャにおける一方の短辺に沿って延びる同様の幅のピクセル群と混合する。次いで、他方の短辺にについても同様の処理をし、これにより上記テクスチャを完成させる。テクスチャにより指定した領域内のピクセルを置換し、これにより、前記オブジェクトを当該デジタル画像から除去する。【選択図】図１
2005063433.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像の指定された領域を置換するテクスチャを作成する方法において、
前記指定された領域と接する前記デジタル画像のピクセルに値が対応するピクセル群を選択するステップと、
前記選択されたピクセル群を第１混合方程式に従い混合して、前記テクスチャを作成するステップと、
を有することを特徴とする方法。
【請求項２】
請求項１に記載の方法において、前記選択するステップの間に、前記指定された領域の少なくとも２つの辺と接するピクセル群が選択されることを特徴とする方法。
【請求項３】
請求項２に記載の方法において、前記選択するステップの間に、前記指定された領域の少なくとも１対の対向する辺に接するピクセル群が選択されることを特徴とする方法。
【請求項４】
請求項３に記載の方法において、前記指定された領域内の前記デジタル画像のピクセルを前記テクスチャにより置換するステップを更に有していることを特徴とする方法。
【請求項５】
請求項４に記載の方法において、前記テクスチャを含む前記デジタル画像を表示するステップを更に有していることを特徴とする方法。
【請求項６】
請求項３に記載の方法において、前記選択するステップの間に、前記指定された領域の１対の対向する辺に接する幅MaxPointsのピクセル群が選択されることを特徴とする方法。
【請求項７】
請求項６に記載の方法において、前記選択するステップの間に、前記指定された領域の対向する各辺における前記幅MaxPointsの選択されたピクセル群の鏡体が選択されると共に、前記指定された領域に大きさが対応するピクセルマトリックスを規定するように繰り返しパターンでコピーされ、作成された該ピクセルマトリックスが前記第１混合方程式に従い混合されて、前記テクスチャを作成することを特徴とする方法。
【請求項８】
請求項７に記載の方法において、前記第１混合方程式が、
TextureFillValue
= PixelWeight1 * pixel1 + (1 - PixelWeight1) * pixel2
の形態であり、ここで、
pixel1は、前記辺の一方に隣接する前記選択されたピクセル群の鏡体をコピーする間に作成された前記マトリックス内の位置(x,y)におけるピクセルであり、
pixel2は、前記辺の他方に隣接する前記選択されたピクセル群の鏡体をコピーする間に作成された前記マトリックス内の位置(N+1-x,N+1-y)におけるピクセルであり、
PixelWeight1は第１混合関数であり、
TextureFillValueは前記テクスチャの位置(x,y)における結果としてのテクスチャピクセルである、
ことを特徴とする方法。
【請求項９】
請求項８に記載の方法において、前記第１混合関数は、
PixelWeight1 =
1.0/(1.0 + exp(-ExponentScale * x - HalfWidth)) -
(CosAmplitude * cos(y * CosFrequency))
と表され、ここで、
ｘは、前記指定された領域の左上角に対するｘ座標であり、
ｙは、前記指定された領域の左上角に対するｙ座標であり、
HalfWidthは前記指定された領域の幅の半分であり、
ExponentScaleは、前記第１混合関数の勾配であり、
CosAmplitude、CosFrequencyは混合する境界の特性である、
ことを特徴とする方法。
【請求項１０】
請求項１に記載の方法において、前記混合するステップの後に、前記指定された領域に接する他のピクセル群を選択すると共に、これら選択された他のピクセル群を前記テクスチャにおけるピクセルと混合する更なるステップを更に有していることを特徴とする方法。
【請求項１１】
請求項１０に記載の方法において、前記指定された領域内の前記デジタル画像のピクセルを前記テクスチャにより置換するステップを更に有していることを特徴とする方法。
【請求項１２】
請求項１１に記載の方法において、前記テクスチャを含む前記デジタル画像を表示するステップを更に有していることを特徴とする方法。
【請求項１３】
請求項１０に記載の方法において、前記指定された領域が幾何学形状により輪郭を描かれ、前記選択するステップ及び前記選択する更なるステップの各々の間において、前記幾何学形状の対向する辺に接するピクセル群が選択されることを特徴とする方法。
【請求項１４】
請求項１３に記載の方法において、前記幾何学形状は長方形であり、前記選択するステップの間においては前記長方形の対向する長辺に接するピクセル群が選択され、前記選択する更なるステップの間においては前記長方形の対向する短辺に接するピクセル群が選択されることを特徴とする方法。
【請求項１５】
請求項１４に記載の方法において、前記選択するステップの間においては前記長方形の対向する長辺に接する幅MaxPointsのピクセル群が選択され、前記選択する更なるステップの間においては前記長方形の対向する短辺に接する幅Ｍのピクセル群が選択され、前記幅MaxPointsが前記幅Ｍより大きいことを特徴とする方法。
【請求項１６】
請求項１５に記載の方法において、前記選択するステップの間に、前記長方形の対向する各長辺における前記選択された幅MaxPointsのピクセル群の鏡体が選択されると共に繰り返しパターンでコピーされて、前記指定された領域に大きさが対応するピクセルマトリックスを規定し、作成された該ピクセルマトリックスが前記第１混合方程式に従い混合されて前記テクスチャを作成することを特徴とする方法。
【請求項１７】
請求項１６に記載の方法において、前記第１混合方程式が、
TextureFillValue
= PixelWeight1 * pixel1 + (1 - PixelWeight1) * pixel2
の形態であり、ここで、
pixel1は、前記長辺の一方に隣接する前記選択されたピクセル群の鏡体のコピーの間に作成された前記マトリックス内の位置(x,y)におけるピクセルであり、
pixel2は、前記長辺の他方に隣接する前記選択されたピクセル群の鏡体のコピーの間に作成された前記マトリックス内の位置(N+1-x,N+1-y)におけるピクセルであり、
PixelWeight1は第１混合関数であり、
TextureFillValueは前記テクスチャの位置(x,y)における結果としてのテクスチャピクセルである、
ことを特徴とする方法。
【請求項１８】
請求項１７に記載の方法において、前記第１混合関数は、
PixelWeight1 =
1.0/(1.0 + exp(-ExponentScale * x - HalfWidth)) -
(CosAmplitude * cos(y * CosFrequency))
と表され、ここで、
ｘは、前記指定された長方形領域の左上角に対するｘ座標であり、
ｙは、前記指定された長方形領域の左上角に対するｙ座標であり、
HalfWidthは前記指定された長方形領域の幅の半分であり、
ExponentScaleは、前記第１混合関数の勾配であり、
CosAmplitude、CosFrequencyは混合する境界の特性である、
ことを特徴とする方法。
【請求項１９】
請求項１８に記載の方法において、前記選択された他のピクセル群の混合が、
TextureFillValue
= -PixelWeight2 * pixel1 + (1 - PixelWeight2) * pixel2
と表される第２混合方程式を用いて実行され、ここで、
pixel1は、前記テクスチャにおける位置(x,y)のピクセルであり、
pixel2は、前記指定された長方形の短辺に接するピクセル群におけるpixel1に隣接するピクセルであって、pixel1が前記テクスチャ内にあるのと同一の距離だけ前記指定された長方形領域の外側に位置するピクセルの値であり、
PixelWeight2は第２混合関数であり、
TextureFillValueは位置(x,y)における結果としてのテクスチャピクセルである、
ことを特徴とする方法。
【請求項２０】
請求項１９に記載の方法において、前記第２混合関数が、
PixelWeight2 =
(前記指定された長方形領域の短辺のエッジからのピクセル数)/M
により表され、ここで、
Ｍは前記ピクセル群の幅である、
ことを特徴とする方法。
【請求項２１】
請求項２０に記載の方法において、前記指定された領域内の前記デジタル画像のピクセルを前記テクスチャにより置換するステップを更に有していることを特徴とする方法。
【請求項２２】
請求項２１に記載の方法において、前記テクスチャを含む前記デジタル画像を表示するステップを更に有していることを特徴とする方法。
【請求項２３】
デジタル画像を編集して不所望なオブジェクトを除去する方法において、
前記デジタル画像内に前記除去されるべきオブジェクトを含むピクセルの部分集合を含むような前記デジタル画像の長方形領域を指定するステップと、
前記長方形領域の一方の長辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を繰り返しパターンでコピーして、前記指定された領域に大きさが対応する第１ピクセルマトリックスを規定するステップと、
前記長方形領域の対向する長辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を繰り返しパターンでコピーして、前記指定された領域に大きさが対応する第２ピクセルマトリックスを規定するステップと、
前記第１及び第２ピクセルマトリックスのピクセルを第１混合方程式に従い混合して、初期テクスチャを作成するステップと、
前記長方形領域の一方の短辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を前記初期テクスチャにおける前記一方の短辺に沿って延びる同様の幅のピクセル群と混合するステップと、
前記長方形領域の他方の短辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を前記初期テクスチャにおける前記他方の短辺に沿って延びる同様の幅のピクセル群と混合して前記テクスチャを完成させ、該テクスチャが前記指定された領域内のピクセルを置換することにより前記オブジェクトを除去するステップと、
を有していることを特徴とする方法。
【請求項２４】
請求項２３に記載の方法において、前記選択すると共に混合するステップが、バックグラウンド処理として実行されることを特徴とする方法。
【請求項２５】
請求項２３に記載の方法において、前記選択すると共に混合するステップが、フォアグラウンド処理として実行されることを特徴とする方法。
【請求項２６】
請求項２３に記載の方法において、前記第１混合方程式が、
TextureFillValue
= PixelWeight1 * pixel1 + (1 - PixelWeight1) * pixel2
の形態であり、ここで、
pixel1は、前記長辺の一方に隣接する前記選択されたピクセル群の鏡体のコピーの間に作成された前記マトリックス内の位置(x,y)におけるピクセルであり、
pixel2は、前記長辺の他方に隣接する前記選択されたピクセル群の鏡体のコピーの間に作成された前記マトリックス内の位置(N+1-x,N+1-y)におけるピクセルであり、
PixelWeight1は第１混合関数であり、
TextureFillValueは前記テクスチャの位置(x,y)における結果としてのテクスチャピクセルである、
ことを特徴とする方法。
【請求項２７】
請求項２６に記載の方法において、前記第１混合関数は、
PixelWeight1 =
1.0/(1.0 + exp(-ExponentScale * x - HalfWidth)) -
(CosAmplitude * cos(y * CosFrequency))
と表され、ここで、
ｘは、前記指定された長方形領域の左上角に対するｘ座標であり、
ｙは、前記指定された長方形領域の左上角に対するｙ座標であり、
HalfWidthは前記指定された長方形領域の幅の半分であり、
ExponentScaleは、前記第１混合関数の勾配であり、
CosAmplitude、CosFrequencyは混合する境界の特性である、
ことを特徴とする方法。
【請求項２８】
請求項２７に記載の方法において、前記指定された領域の前記短辺に隣接するピクセル群の、前記初期テクスチャのピクセルとの混合が、
TextureFillValue
= -PixelWeight2 * pixel1 + (1 - PixelWeight2) * pixel2
と表される第２混合方程式を用いて実行され、ここで、
pixel1は、前記テクスチャにおける位置(x,y)のピクセルであり、
pixel2は、前記指定された長方形の短辺に接するピクセル群におけるpixel1に隣接するピクセルであって、pixel1が前記テクスチャ内にあるのと同一の距離だけ前記指定された長方形領域の外側に位置するピクセルの値であり、
PixelWeight2は第２混合関数であり、
TextureFillValueは位置(x,y)における結果としてのテクスチャピクセルである、
ことを特徴とする方法。
【請求項２９】
請求項２８に記載の方法において、前記第２混合関数が、
PixelWeight2 =
(前記指定された長方形領域の短辺のエッジからのピクセル数)/M
により表され、ここで、
Ｍは前記ピクセル群の幅である、
ことを特徴とする方法。
【請求項３０】
デジタル画像を編集して不所望なオブジェクトを除去するデジタル画像編集ツールにおいて、
前記デジタル画像内の前記除去されるべきオブジェクトを含むピクセルの部分集合を含むような前記デジタル画像の長方形領域を指定する手段と、
前記長方形領域の一方の長辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を繰り返しパターンでコピーして、前記指定された領域に大きさが対応する第１ピクセルマトリックスを規定する手段と、
前記長方形領域の対向する長辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を繰り返しパターンでコピーして、前記指定された領域に大きさが対応する第２ピクセルマトリックスを規定する手段と、
前記第１及び第２ピクセルマトリックスのピクセルを第１混合方程式に従い混合して、初期テクスチャを作成する手段と、
前記長方形領域の一方の短辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を前記初期テクスチャにおける前記一方の短辺に沿って延びる同様の幅のピクセル群と混合する手段と、
前記長方形領域の他方の短辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を前記初期テクスチャにおける前記他方の短辺に沿って延びる同様の幅のピクセル群と混合して前記テクスチャを完成させ、該テクスチャが前記指定された領域内のピクセルを置換することにより前記オブジェクトを除去する手段と、
を有していることを特徴とするデジタル画像編集ツール。
【請求項３１】
請求項３０に記載のデジタル画像編集ツールにおいて、前記第１混合方程式が、
TextureFillValue
= PixelWeight1 * pixel1 + (1 - PixelWeight1) * pixel2
の形態であり、ここで、
pixel1は、前記長辺の一方に隣接する前記選択されたピクセル群の鏡体のコピーの間に作成された前記マトリックス内の位置(x,y)におけるピクセルであり、
pixel2は、前記長辺の他方に隣接する前記選択されたピクセル群の鏡体のコピーの間に作成された前記マトリックス内の位置(N+1-x,N+1-y)におけるピクセルであり、
PixelWeight1は第１混合関数であり、
TextureFillValueは前記テクスチャの位置(x,y)における結果としてのテクスチャピクセルである、
ことを特徴とするデジタル画像編集ツール。
【請求項３２】
請求項３１に記載のデジタル画像編集ツールにおいて、前記第１混合関数は、
PixelWeight1 =
1.0/(1.0 + exp(-ExponentScale * x - HalfWidth)) -
(CosAmplitude * cos(y * CosFrequency))
と表され、ここで、
ｘは、前記指定された長方形領域の左上角に対するｘ座標であり、
ｙは、前記指定された長方形領域の左上角に対するｙ座標であり、
HalfWidthは前記指定された長方形領域の幅の半分であり、
ExponentScaleは、前記第１混合関数の勾配であり、
CosAmplitude、CosFrequencyは混合する境界の特性である、
ことを特徴とするデジタル画像編集ツール。
【請求項３３】
請求項３２に記載のデジタル画像編集ツールにおいて、前記指定された領域の前記短辺に隣接するピクセル群は、前記初期テクスチャのピクセルと、
TextureFillValue
= -PixelWeight2 * pixel1 + (1 - PixelWeight2) * pixel2
と表される第２混合方程式に従って混合され、ここで、
pixel1は、前記テクスチャにおける位置(x,y)のピクセルであり、
pixel2は、前記指定された長方形の短辺に接するピクセル群におけるpixel1に隣接するピクセルであって、pixel1が前記テクスチャ内にあるのと同一の距離だけ前記指定された長方形領域の外側に位置するピクセルの値であり、
PixelWeight2は第２混合関数であり、
TextureFillValueは位置(x,y)における結果としてのテクスチャピクセルである、
ことを特徴とするデジタル画像編集ツール。
【請求項３４】
請求項３３に記載のデジタル画像編集ツールにおいて、前記第２混合関数が、
PixelWeight2 =
(前記指定された長方形領域の短辺のエッジからのピクセル数)/M
により表され、ここで、
Ｍは前記ピクセル群の幅である、
ことを特徴とするデジタル画像編集ツール。
【請求項３５】
デジタル画像を編集して該画像内の不所望なオブジェクトを除去するためのコンピュータプログラムを具現化するコンピュータ読み取り可能な媒体において、前記コンピュータプログラムが、
前記デジタル画像内の前記除去されるべきオブジェクトを含むピクセルの部分集合を含むような前記デジタル画像の長方形領域を指定するコンピュータプログラムコードと、
前記長方形領域の一方の長辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を繰り返しパターンでコピーして、前記指定された領域に大きさが対応する第１ピクセルマトリックスを規定するコンピュータプログラムコードと、
前記長方形領域の対向する長辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を繰り返しパターンでコピーして、前記指定された領域に大きさが対応する第２ピクセルマトリックスを規定するコンピュータプログラムコードと、
前記第１及び第２ピクセルマトリックスのピクセルを第１混合方程式に従い混合して、初期テクスチャを作成するコンピュータプログラムコードと、
前記長方形領域の一方の短辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を前記初期テクスチャにおける前記一方の短辺に沿って延びる同様の幅のピクセル群と、前記第１混合方程式とは異なる第２混合方程式に従って混合するコンピュータプログラムコードと、
前記長方形領域の他方の短辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を前記初期テクスチャにおける前記他方の短辺に沿って延びる同様の幅のピクセル群と前記第２混合方程式に従い混合して前記テクスチャを完成させ、該テクスチャが前記指定された領域内のピクセルを置換することにより前記オブジェクトを除去するコンピュータプログラムコードと、
を有していることを特徴とするコンピュータ読み取り可能な媒体。
【請求項３６】
デジタル画像の指定された領域を置換するテクスチャを作成する方法において、
前記指定された領域の画像データと、前記指定された領域と接する画像データとに基づいて、前記テクスチャを作成するステップと、
を有することを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広くは画像処理に係り、特にはデジタル画像を編集して不所望なアーチファクト及びオブジェクト等を除去するシステム及び方法に関する。
【背景技術】
【０００２】
デジタルカメラは益々普及してきており、結果として、写真家がデジタル画像を編集するのを可能にするような画像処理ソフトウェアに対する需要が存在する。多くの場合において、不所望なオブジェクト及び／又はアーチファクトがデジタル画像にキャプチャされてしまう。これらの不所望なオブジェクト及び／又はアーチファクトを、画像品質を劣化させることなく当該デジタル画像から除去することが、しばしば、望まれる。
【０００３】
画像からアーチファクトを除去する多くの技術が、考察されている。例えば、Glover他の米国特許第4,590,558号はＣＴ画像からオブジェクトを除去する方法及び装置を開示しており、該方法及び装置においてはオリジナルのオブジェクトの局部領域は、これら領域内でオブジェクトにより発生されるアーチファクトを除去するために再生されない。操作者は、除去されるべきオブジェクトを含む消去領域を規定する。該消去領域内の平均関数（当該オブジェクトにより生成される不連続性により強く影響される）が次いで作成される。投影群は、該投影群からオブジェクトを除去するために上記平均関数を用いて修正される。次いで、該修正された投影群が再生画像を生成するために使用される。
【０００４】
Kojimaの米国特許第5,036,405号は画像補正方法を開示しており、該方法においてはオリジナルのピクセルデータを置換するための選択されたピクセルデータは、置換されるべきオリジナルピクセルに隣接する通常のピクセルに主に基づいて発生される。置換されるべき注目ピクセルの周囲のピクセルは、該注目ピクセルに対する近さに従ってグループに分類される。上記注目ピクセル性質に依存して、この注目ピクセルを置換するために使用されるべきピクセルの値を決定するために、該注目ピクセルを囲む異なるピクセルが調べられる。
【０００５】
Cokの米国特許第5,555,194号は、デジタル画像修正（retouching）のためのクローン技術を開示している。該クローン技術の間において、クローンされる領域及び周囲領域が決定される。画像ピクセル値を用いて、各カラーにおける平均、傾斜及び二次係数が上記のクローンされる領域及び周囲領域に関して、並びに、もし所望なら、上記周囲領域の副領域に関して計算される。クローンされるピクセルの値は、これらピクセルの平均、傾斜及び二次項が上記周囲領域の又は該周囲領域の最良に適合する副領域の平均、傾斜及び二次項に一致するように、調整される。
【０００６】
Venableの米国特許第5,784,498号は、画像内で背景テクスチャを合成する方法を開示している。該方法の間において、画像からテクスチャの原型が選択され、埋め戻されるべき領域が識別される。合成されるテクスチャの推定値が発生され、該推定値に所定の空間ドメイン制限が適用される。空間ドメイン制限された推定値はフーリエ変換により処理されて、スペクトル関数を生成する。該スペクトル関数には所定のスペクトルドメイン制限が適用され、逆フーリエ変換が実行されて、合成されたテクスチャを生成する。該合成されたテクスチャは、適当であることがわかったら、当該画像の埋め戻されるべき領域に挿入される。
【０００７】
Hirani他の米国特許第5,892,853号は、デジタル画像から傷及びワイヤノイズを除去する方法を開示している。該方法は、再生されたノイズと該ノイズの周囲の画像とを滑らかに混合するのを可能にするために、ソフトエッジノイズマスを使用する。該方法は、連続的なノイズ性ピクセルを再生すると共にテクスチャを再生するために空間ドメイン及び周波数ドメインの両者を使用する。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述した文献は画像を編集する方法は開示しているが、デジタル画像から不所望なオブジェクト及び／又はアーチファクトを除去する改善されたシステム及び方法に対する要求が存在する。従って、本発明の目的は、デジタル画像を編集して不所望なアーチファクト及びオブジェクト等を除去する新規なシステム及び方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の一態様によれば、デジタル画像の指定された領域を置換するテクスチャを作成する方法であって、
前記指定された領域と接する前記デジタル画像のピクセルに値が対応するピクセル群を選択するステップと、
前記選択されたピクセル群を第１混合方程式に従い混合して、前記テクスチャを作成するステップと、
を有するような方法が提供される。
【００１０】
好ましい実施例においては、前記混合の後に、前記指定された領域に接する他のピクセル群が更に選択され、前記テクスチャにおけるピクセルと混合される。また、上記指定された領域は長方形の形態の幾何学形状により輪郭が描かれることが好ましい。この場合、前記選択の間に、上記長方形の対向する長辺に接する幅MaxPointsのピクセル群が選択されると共に、前記更なる選択の間に、該長方形の対向する短辺に接する幅Ｍのピクセル群が選択される。上記長方形の対向する各長辺における幅MaxPointsを持つ選択されたピクセル群の鏡体が繰り返しパターンでコピーされて、前記指定された領域に大きさが対応するピクセルマトリックスを規定し、該規定されたピクセルマトリックスは前記第１混合方程式に従い混合されて、テクスチャを作成する。
【００１１】
好ましい実施例においては、前記第１混合方程式は、
TextureFillValue
= PixelWeight1 * pixel1 + (1 - PixelWeight1) * pixel2
の形態であり、ここで、
pixel1は、前記長辺の一方に隣接する前記選択されたピクセル群の鏡体をコピーする間に作成された前記マトリックス内の位置(x,y)におけるピクセルであり、
pixel2は、前記長辺の他方に隣接する前記選択されたピクセル群の鏡体をコピーする間に作成された前記マトリックス内の位置(N+1-x,N+1-y)におけるピクセルであり、
PixelWeight1は第１混合関数であり、
TextureFillValueは前記テクスチャの位置(x,y)における結果としてのテクスチャピクセルである。
【００１２】
前記第１混合関数は、
PixelWeight1 =
1.0/(1.0 + exp(-ExponentScale * x - HalfWidth)) -
(CosAmplitude * cos(y * CosFrequency))
と表され、ここで、
ｘは、前記指定された長方形領域の左上角に対するｘ座標であり、
ｙは、前記指定された長方形領域の左上角に対するｙ座標であり、
HalfWidthは前記指定された長方形領域の幅の半分であり、
ExponentScaleは、前記第１混合関数の勾配であり、
CosAmplitude、CosFrequencyは混合する境界の特性である。
【００１３】
好ましい実施例においては、前記選択された他のピクセル群の混合が、
TextureFillValue
= -PixelWeight2 * pixel1 + (1 - PixelWeight2) * pixel2
と表される第２混合方程式を用いて実行され、ここで、
pixel1は、前記テクスチャにおける位置(x,y)のピクセルであり、
pixel2は、前記指定された長方形領域の短辺に接するピクセル群におけるpixel1に隣接するピクセルであって、pixel1が前記テクスチャ内にあるのと同一の距離だけ前記指定された長方形領域の外側に位置するピクセルの値であり、
PixelWeight2は第２混合関数であり、
TextureFillValueは位置(x,y)における結果としてのテクスチャピクセルである。
【００１４】
前記第２混合関数は、
PixelWeight2 =
(前記指定された長方形領域の短辺のエッジからのピクセル数)/M
により表され、ここで、
Ｍは上記ピクセル群の幅である。
【００１５】
本発明の他の態様によれば、デジタル画像を編集して不所望なオブジェクトを除去する方法であって、
前記デジタル画像内に前記除去されるべきオブジェクトを含むピクセルの部分集合を含むような前記デジタル画像の長方形領域を指定するステップと、
前記長方形領域の一方の長辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を繰り返しパターンでコピーして、前記指定された領域に大きさが対応する第１ピクセルマトリックスを規定するステップと、
前記長方形領域の対向する長辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を繰り返しパターンでコピーして、前記指定された領域に大きさが対応する第２ピクセルマトリックスを規定するステップと、
前記第１及び第２ピクセルマトリックスのピクセルを第１混合方程式に従い混合して、初期テクスチャを作成するステップと、
前記長方形領域の一方の短辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を前記初期テクスチャにおける前記一方の短辺に沿って延びる同様の幅のピクセル群と混合するステップと、
前記長方形領域の他方の短辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を前記初期テクスチャにおける前記他方の短辺に沿って延びる同様の幅のピクセル群と混合して前記テクスチャを完成させ、該テクスチャが前記指定された領域内のピクセルを置換することにより前記オブジェクトを除去するステップと、
を有するような方法が提供される。
【００１６】
本発明の更に他の態様によれば、デジタル画像を編集して不所望なオブジェクトを除去するデジタル画像編集ツールであって、
前記デジタル画像内に前記除去されるべきオブジェクトを含むピクセルの部分集合を含むような前記デジタル画像の長方形領域を指定する手段と、
前記長方形領域の一方の長辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を繰り返しパターンでコピーして、前記指定された領域に大きさが対応する第１ピクセルマトリックスを規定する手段と、
前記長方形領域の対向する長辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を繰り返しパターンでコピーして、前記指定された領域に大きさが対応する第２ピクセルマトリックスを規定する手段と、
前記第１及び第２ピクセルマトリックスのピクセルを第１混合方程式に従い混合して、初期テクスチャを作成する手段と、
前記長方形領域の一方の短辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を前記初期テクスチャにおける前記一方の短辺に沿って延びる同様の幅のピクセル群と混合する手段と、
前記長方形領域の他方の短辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を前記初期テクスチャにおける前記他方の短辺に沿って延びる同様の幅のピクセル群と混合して前記テクスチャを完成させ、該テクスチャが前記指定された領域内のピクセルを置換することにより前記オブジェクトを除去する手段と、
を有するようなデジタル画像編集ツールが提供される。
【００１７】
本発明の更に他の実施例によれば、デジタル画像を編集して不所望なオブジェクトを除去するためのコンピュータプログラムを具現化するコンピュータ読み取り可能な媒体であって、前記コンピュータプログラムが、
前記デジタル画像内に前記除去されるべきオブジェクトを含むピクセルの部分集合を含むような前記デジタル画像の長方形領域を指定するコンピュータプログラムコードと、
前記長方形領域の一方の長辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を繰り返しパターンでコピーして、前記指定された領域に大きさが対応する第１ピクセルマトリックスを規定するコンピュータプログラムコードと、
前記長方形領域の対向する長辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を繰り返しパターンでコピーして、前記指定された領域に大きさが対応する第２ピクセルマトリックスを規定するコンピュータプログラムコードと、
前記第１及び第２ピクセルマトリックスのピクセルを第１混合方程式に従い混合して、初期テクスチャを作成するコンピュータプログラムコードと、
前記長方形領域の一方の短辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を前記初期テクスチャにおける前記一方の短辺に沿って延びる同様の幅のピクセル群と、前記第１混合方程式とは異なる第２混合方程式に従って混合するコンピュータプログラムコードと、
前記長方形領域の他方の短辺に隣接するピクセル群を選択すると共に、該選択されたピクセル群の鏡体を前記初期テクスチャにおける前記他方の短辺に沿って延びる同様の幅のピクセル群と前記第２混合方程式に従い混合して前記テクスチャを完成させ、該テクスチャが前記指定された領域内のピクセルを置換することにより前記オブジェクトを除去するコンピュータプログラムコードと、
を有するようなコンピュータ読み取り可能な媒体が提供される。
【００１８】
本発明は、不所望なオブジェクトが当該デジタル画像の指定された長方形領域内に位置される場合に、該不所望なオブジェクトを除去して、適切な背景又は当該デジタル画像の周囲の背景からは基本的に区別不可能なテクスチャと置換することができるという点で利点を提供する。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施例を、添付図面を参照して詳細に説明する。
【００２０】
本発明は、広くは、対象デジタル画像の輪郭を描かれた区域又は領域を置換するテクスチャを該輪郭描写された領域に接するピクセルを用いて作成することにより、該デジタル画像を不所望なアーチファクト及びオブジェクト等（以下、“オブジェクト”と総称する）を除去するように編集する方法及びシステムに関するものである。該方法の間において、上記画像のうちのテクスチャにより置換されるべき領域が指定される。該指定された領域に接するピクセル群（band）が選択され、上記テクスチャを作成するために混合関数に従って混合される。該テクスチャは、上記指定された領域内のピクセルを置換するために当該デジタル画像に挿入され、これにより上記不所望なオブジェクトを除去する。上記テクスチャは、不所望なオブジェクトを囲む背景のピクセルを使用して作成されるので、該テクスチャは基本的に背景からは区別することはできず、結果として高品質のデジタル画像が得られる。
【００２１】
本発明は、好ましくは、パーソナルコンピュータ等の処理システムにより実行されるソフトウェアアプリケーションで実施化することができる。斯かるソフトウェアアプリケーションは、独立したデジタル画像編集ツールとして実行することができるか、又は他の利用可能なデジタル画像編集アプリケーションに組み込まれて、これらデジタル画像編集アプリケーションに強化された機能を付与することもできる。以下、本発明の好ましい実施例を図１ないし７ｃを参照して、より詳細に説明する。
【００２２】
図１を参照すると、本発明によりデジタル画像の輪郭が描かれた又は指定された領域又は区域を置換するためのテクスチャを作成する方法を示すフローチャートが図示されている。図示されているように、最初にユーザは、後述するグラフィックユーザインターフェースを介して、パーソナルコンピュータのハードドライブ等のメモリに記憶されたデジタル画像を表示のために選択する（ステップ１００）。次いで、適切なテクスチャにより置換されるべき該選択されたデジタル画像の長方形領域が、ユーザにより指定される（ステップ１０２）。次いで、当該デジタル画像における上記指定された長方形領域の対向する長辺（major sides）に接するピクセル群（bands）が選択される（ステップ１０４）。これら選択されたピクセル群は、上記指定された長方形領域に大きさが相当するようなテクスチャを作成するために、後述する第１混合方程式に従って混合される（ステップ１０６）。次いで、当該デジタル画像における上記指定された長方形領域の対向する短辺（minor
sides）に接するピクセル群が選択される（ステップ１０８）。これらの選択されたピクセル群は、後述する第２混合方程式に従って上記テクスチャと混合され、これにより該テクスチャを完成する（ステップ１１０）。該完成されたテクスチャは上記指定された長方形領域内のピクセルと置換するように当該デジタル画像に挿入され、該画像はユーザに対して表示される（ステップ１１２）。上記指定された長方形領域が不所望なオブジェクトを含む場合、該不所望なオブジェクトは当該デジタル画像から除去され、周囲の背景に基づいたテクスチャと置換される。最終的結果は、不所望なオブジェクトのない高品質を維持したデジタル画像となる。何故なら、上記テクスチャは当該デジタル画像の背景から基本的に区別不可能であるからである。上記方法の更なる詳細を以下に説明する。
【００２３】
ステップ１０２において、当該デジタル画像の除去されるべき指定された長方形領域がユーザにより特定された場合、該指定された長方形領域の境界が当該デジタル画像内のピクセルの水平行及び垂直列と比較され、上記指定された長方形領域が当該デジタル画像の水平及び垂直軸に対して回転されているかを判定する（図２ａのステップ１２０参照）。上記指定された長方形領域が当該デジタル画像の水平及び垂直軸に対して回転されている場合は、該デジタル画像は、該指定された長方形領域の境界を該デジタル画像の水平及び垂直軸と整列させるように回転される（ステップ１２２）。
【００２４】
上記指定された長方形領域の当該デジタル画像の水平及び垂直軸との整列に続き、該指定された長方形領域の形状を調べて、該領域の２つの最大の即ち対向する長辺を決定する（ステップ１２４）。当該指定された長方形領域の２つの最大の対向する辺が一旦決定されたら、テクスチャを作成するために、これら対向する長辺に接するピクセル群が選択され混合される（ステップ１０４及び１０６）。
【００２５】
図２ｂ及び３ａを参照すると、ピクセルの選択の間において、上記最大の辺一方に接する幅MaxPointsを持つ第１ピクセル群Ｂ１が決定される（ステップ１２６）。デフォルトのMaxPoints値は１５ピクセルである。しかしながら、該MaxPoints値はユーザによりグラフィックユーザインターフェースを介して変更することができる。通常は、大きな画像に対しては大きなMaxPoints値が選択され、小さな画像に対しては小さなMaxPoints値が選択される。次いで、ピクセル群Ｂ１の鏡体が、繰り返しパターンでコピーされて、前記指定された長方形領域の大きさに対応する大きさを持つ第１ピクセルマトリックスＭ１を規定する（ステップ１２８）。次いで、他の最大の辺に接する、これも幅MaxPointsの第２ピクセル群Ｂ２が決定される（ステップ１３０）。該第２ピクセル群Ｂ２の鏡体が繰り返しパターンでコピーされ、前記指定された長方形領域の大きさに対応する大きさを持つ第２ピクセルマトリックスを規定する（ステップ１３２）。
【００２６】
第１及び第２ピクセルマトリックスが規定された後、これら２つのピクセルマトリックスは混合されて、図３ｂに示すような初期テクスチャＴ１を形成する（ステップ１０６）。ステップ１０６の間において、上記第１及び第２マトリックスのピクセルは下記の方程式に従って混合される：
TextureFillValue
= PixelWeight1 * pixel1 + (1 - PixelWeight1) * pixel2    (1)
ここで、
pixel1は第１マトリックス内の位置(x,y)におけるピクセルであり、
pixel2は第２マトリックス内の位置(N+1-x,N+1-y)におけるピクセルであり、
PixelWeight1は第１混合関数であり、
TextureFillValueは、初期テクスチャの位置(x,y)における結果としてのテクスチャピクセルである。
【００２７】
混合関数PixelWeight1は下記の方程式により定義され：
PixelWeight1 =
1.0/(1.0 + exp(-ExponentScale * x - HalfWidth)) 
- (CosAmplitude * cos(y *
CosFrequency))         
(2)
ここで、
ｘは指定された上記長方形領域の左上角に対するｘ座標であり、
ｙは指定された上記長方形領域の左上角に対するｙ座標であり、
HalfWidthは上記指定された長方形領域の幅の半分でり、
ExponentScaleは当該混合関数の勾配であり、
CosAmplitude、CosFrequencyは混合する境界の特性である。
【００２８】
パラメータExponentScaleはテクスチャとデジタル画像との混合の程度を決定する。大きなExponentScale値は滑らかな混合となり、小さなExponentScale値はシャープな混合となる。パラメータCosAmplitude、CosFrequencyが零に設定されると、当該混合関数PixelWeight1は図４に示すような形態をとる。
【００２９】
初期テクスチャＴ１を生じるために前記第１及び第２マトリックスが一旦混合されると、更なる混合が、前記指定された長方形領域の２つの小さな辺に接するピクセル群を使用して実行される。即ち、上記指定された長方形領域の各々の小さな辺に隣接する、選択されたピクセル幅Ｍを持つピクセル群Ｂ３及びＢ４が選択される（ステップ１０８）。デフォルトのＭの値は１０ピクセルである。しかしながら、該Ｍの値はユーザによりグラフィックユーザインターフェースを介して変更することができる。次いで、各ピクセル群の鏡体が、初期テクスチャＴ１における当該指定された長方形領域の対応する短辺に沿って延びる幅Ｍを持つピクセル群Ｂ５及びＢ６と各々混合される（ステップ１１０）。この混合は：
TextureFillValue
= -PixelWeight2 * pixel1 + (1 - PixelWeight2) * pixel2   (3)
なる混合方程式に従って実行され、ここで、
pixel1は初期テクスチャ内の位置(x,y)におけるピクセルであり、
pixel2は、上記指定された長方形領域の短辺に接する上記群内のピクセルであって、pixel1が初期テクスチャ内にあるのと同一の距離だけ上記指定された長方形領域の外側に位置されるピクセルの値であり、
PixelWeight2は第２混合関数であり、
TextureFillValueは位置(x,y)における結果としてのテクスチャピクセルである。
【００３０】
第２混合関数PixelWeight2は下記の方程式により定義される：
PixelWeight2 =
(指定された長方形領域の短辺のエッジからのピクセル数)/M     (4)
理解されるように、上記輪郭描写された長方形領域の長辺に接するピクセル群が初期テクスチャを作成するために混合される。次いで、該初期テクスチャは、上記輪郭描写された長方形領域の短辺に接するピクセル群を該初期テクスチャと混合することにより修正され、これにより、最終的テクスチャを生じる。最終的テクスチャが完成すると、該テクスチャは上記輪郭描写された長方形領域内のピクセルを置換する（ステップ１１２）。
【００３１】
図５ａないし５ｃは、当該デジタル画像編集ツールのグラフィックユーザインターフェースを示すスクリーン写真である。図５ａないし５ｃに見られるように、該グラフィックユーザインターフェース２００は、編集されるべきデジタル画像２０４が提示されるパレット２０２を含んでいる。ツールバー２０６は上記パレットの上部に沿って延在し、多数のユーザが選択可能な釦を含んでいる。即ち、ツールバー２０６は、デジタル画像ファイルオープン釦２１０、デジタル画像ファイルセーブ釦２１２、ズームインＺ＋釦２１４、ズームアウトＺ−釦２１６、１：１釦２１８、パレットにフィット［Ｚ］釦２２０及び編集実行釦２２２を含んでいる。ズームインＺ＋釦２１４の選択はパレット２０２に内に提示された画像を拡大し、ユーザが選択された画像内の小さなオブジェクトを長方形により輪郭を描くのを容易にする。ズームアウトＺ−釦２１６の選択は、パレット２０２内に提示された画像を縮小させ、ユーザが選択された画像内の大きなオブジェクトを長方形により輪郭を描くのを容易にする。パレットにフィット［Ｚ］釦２２０の選択は、全体の画像をパレット２０２の大きさに合わせる。
【００３２】
図５ｃはツールバー２０６における“オプション”類が選択された場合に表示されるオプションボックス２３０を示している。オプションボックス２３０は、第１混合方程式PixelWeight1のパラメータ及びMaxPoints値を調整するのを可能にする複数のフィールドを含んでいる。対向混合点（opposite
blend points）フィールドは、ユーザがピクセル幅Ｍの値を調整するのを可能にする。ラジオ釦は、ユーザが、上述した自動ピクセル混合方法をオーバーライドして、輪郭描写された長方形領域を満たし、テクスチャを作成するために使用されるべき他のピクセル群を選択するのを可能にする。即ち、左縁（left
edge）釦を選択している場合は、長方形領域の左縁に接するピクセルのみが、該長方形領域を満たしてテクスチャを作成するために使用される。上縁（top edge）ラジオ釦が選択されると、長方形領域の上縁に接するピクセルのみが該長方形領域を満たしてテクスチャを作成するために使用される。右縁（right
edge）ラジオ釦が選択されると、長方形領域の右縁に接するピクセルのみが該長方形領域を満たしてテクスチャを作成するために使用される。下縁（bottom
edge）ラジオ釦が選択されると、長方形領域の下縁に接するピクセルのみが該長方形領域を満たしてテクスチャを作成するために使用される。理解されるように、上記状況においては、ピクセルの混合は実行されない。左及び右縁（left
and right edge）ラジオ釦が選択されたら、長方形領域の左辺及び右辺に接するピクセルが第１混合方程式に従って混合され、上記長方形領域を満たしてテクスチャを作成する。上及び下縁（top
and bottom edge）ラジオ釦が選択されたら、長方形領域の上縁及び下縁に接するピクセルが第１混合方程式に従って混合され、上記長方形領域を満たしてテクスチャを作成する。
【００３３】
図６は、当該デジタル画像編集ツールを用いて編集された後の、図５ｂにおいてパレット２０２内に提示されたデジタル画像２０４を示している。この例において、図５ｂにおいて見られるデジタル画像の下中央における看板は、図１におけるテクスチャ作成処理に従って、長方形により輪郭を描かれ、除去され、テクスチャにより置換されている。
【００３４】
図７ａないし７ｃは、当該デジタル画像編集ツールを用いて編集された他のデジタル画像３１０を示している。この例では、該画像の中央の人物が、図７ｂに見られるように、長方形により輪郭を描かれる。該長方形内のピクセルは除去され、図７ｃに示されるように、図１のテクスチャ作成処理に従ってテクスチャにより置換される。
【００３５】
本実施例においては、適切な置換テクスチャにより置換されるべきデジタル画像の指定領域が、長方形により輪郭を描かれるとして説明された。当業者であれば、斯かる指定領域は実質的に如何なる所望の形状によっても輪郭を描くことができると理解するであろう。指定領域の形状に無関係に、該指定領域に接するピクセル群は上記置換テクスチャを形成するために混合される。
【００３６】
また、上記テクスチャ作成処理は、別個のマトリックスが規定され、次いで初期テクスチャを形成するように混合され、該テクスチャ自体が更に、選択されたデジタル画像内に挿入される前に混合されるようなバックグラウンド処理として説明された。当業者であれば、上記テクスチャ作成処理は、選択されたデジタル画像に対して直接にフォアグラウンド処理として実行することもできると理解するであろう。この場合、当該テクスチャ作成処理が実行されるにつれ、選択されたデジタル画像の指定領域内のピクセルは、該指定領域が最終的な置換テクスチャを含むまで、上述した一連のステップにおいて修正される。
【００３７】
本発明は、コンピュータ読み取り可能な媒体上に記憶されたコンピュータ読み取り可能なプログラムコードとして具現化することができる。斯かるコンピュータ読み取り可能な媒体は、後にコンピュータシステムにより読み取ることが可能なデータを記憶することができる如何なるデータ記憶装置でもある。コンピュータ読み取り可能な媒体の例は、読み取り専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、磁気テープ及び光データ記憶装置を含む。また、コンピュータ読み取り可能なプログラムコードは、結合されたコンピュータシステムを含むネットワーク上で配信され、該コンピュータ読み取り可能なプログラムコードが分散された態様で記憶及び実行されるようにすることもできる。
【００３８】
以上、本発明の好ましい実施例を説明したが、当業者であれば、添付請求項に記載された本発明の趣旨及び範囲から逸脱することなく変形及び修正を行うことができると理解するであろう。
【図面の簡単な説明】
【００３９】
【図１】図１は、本発明によるテクスチャ作成処理の間に実行されるステップを示すフローチャートである。
【図２ａ】図２ａは、デジタル画像の長方形領域が指定された場合に図１のテクスチャ作成処理により実行されるステップを示すフローチャートである。
【図２ｂ】図２ｂは、上記の指定された領域の長辺と接するピクセルが選択された場合に図１のテクスチャ作成処理により実行されるステップを示すフローチャートである。
【図３ａ】図３ａは、ピクセル群により繰り返しパターンで満たされた第１マトリックスを示し、上記ピクセル群は当該デジタル画像における指定された長方形領域の長辺に接するピクセル群の鏡体である。
【図３ｂ】図３ｂは、初期テクスチャ及び当該デジタル画像における指定された長方形領域の短辺と接するピクセル群を示す。
【図４】図４は、図１のテクスチャ作成処理の間に使用される混合関数を示す。
【図５ａ】図５ａは、本発明によるデジタル画像編集ツールのグラフィックユーザインターフェースを示すスクリーン写真である。
【図５ｂ】図５ｂは図５ａのグラフィックユーザインターフェースを示すスクリーン写真であり、図１のテクスチャ作成処理により編集されるべきデジタル画像を表示している。
【図５ｃ】図５ｃは、上記デジタル画像編集ツールのグラフィックユーザインターフェースを示す他のスクリーン写真である。
【図６】図６は、不所望なオブジェクトが除去されると共に図１のテクスチャ作成処理により作成されたテクスチャにより置換された、図５ｂに図示したデジタル画像を示す。
【図７ａ】図７ａは、他のデジタル画像を示す。
【図７ｂ】図７ｂは、一部が長方形により輪郭を描かれた図７ａのデジタル画像を示す。
【図７ｃ】図７ｃは、上記の輪郭が描かれた部分が除去されると共に図１のテクスチャ作成処理により作成されたテクスチャにより置換された、図７ａのデジタル画像を示す。
【符号の説明】
【００４０】
Ｂ１〜Ｂ６  ピクセル群、  Ｍ２  ピクセルマトリックス
Ｔ１  テクスチャ、  ２０４  デジタル画像、  ３１０  デジタル画像
【図１】
2005063433.tif 000003
【図２ａ】
2005063433.tif 000004
【図２ｂ】
2005063433.tif 000005
【図３ａ】
2005063433.tif 000006
【図３ｂ】
2005063433.tif 000007
【図４】
2005063433.tif 000008
【図５ａ】
2005063433.tif 000009
【図５ｂ】
2005063433.tif 000010
【図５ｃ】
2005063433.tif 000011
【図６】
2005063433.tif 000012
【図７ａ】
2005063433.tif 000013
【図７ｂ】
2005063433.tif 000014
【図７ｃ】
2005063433.tif 000015