(57)【要約】誘導補間を用いてコピー先領域内の画像データを変更し、合成結果画像が計算される。コピー先領域は、コピー元画像に依存する、または依存しない誘導インターポレータに基づいて変更することができる。コピー元領域を画像のコピー先領域に合成するとき、誘導補間は、挿入される領域とその画像の残りの部分の間の目に見える継ぎ目をなくし、またはできるだけ見えにくくする。様々な補間ガイドを使って合成結果画像に異なる効果をもたらすことができる。そのような補間ガイドには、それだけに限らないが、識別情報ガイド、スムーズガイド、フィルタリングガイド、透過ガイド、マスキングガイド、および様々なガイドの加重平均した組合せが含まれ得る。【特許請求の範囲】
【請求項１】
コピー先画像中に境界を有するコピー先領域を定義するステップと、
補間ガイド、および前記コピー先領域の境界に関連付けられた境界条件を含む誘導インターポレータを提供するステップと、
前記コピー先領域の境界における前記境界条件を満たし、前記誘導インターポレータに基づいて合成結果画像を計算して、前記補間ガイドと前記合成結果画像の勾配の間の前記コピー先領域両端の差を最小化するステップと
を備えたことを特徴とするコピー先画像から合成結果画像を計算する方法。
【請求項２】
前記提供するステップは、
前記補間ガイドとして、所定の基準を満たす、前記コピー先領域内のコピー先画像の勾配を含むマスキング補間ガイドを提供するステップ
を含むことを特徴とする請求項１に記載の方法。
【請求項３】
コピー元画像の少なくとも一部は、前記コピー先画像に合成されて、前記合成結果画像を生成し、前記補間ガイドは、前記コピー元画像の関数であることを特徴とする請求項１に記載の方法。
【請求項４】
コピー元画像の少なくとも一部は、前記コピー先画像に合成されて、前記合成結果画像を生成し、
前記コピー元画像中に境界を有するコピー元領域を定義するステップ
をさらに備えたことを特徴とする請求項１に記載の方法。
【請求項５】
前記提供するステップは、
前記補間ガイドとして、前記コピー元領域内のコピー元画像の勾配を含むフィルタリング補間ガイドを提供するステップ
を含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記提供する操作は、
前記補間ガイドとして、前記コピー元領域内のコピー元画像の勾配と前記コピー先領域内のコピー先画像の勾配の大きい方を含む透過補間ガイドを提供するステップ
を含むことを特徴とする請求項４に記載の方法。
【請求項７】
前記境界条件は、前記コピー先領域の境界における前記合成結果画像中の画像データの各値が、前記境界における前記コピー先画像中の画像データの対応する各値に等しいことを必要とすることを特徴とする請求項１に記載の方法。
【請求項８】
前記誘導インターポレータは、前記境界条件ｆ｜∂Ω＝ｆ*｜∂Ωを持つ関数の最小化
ｍｉｎf∬Ω｜∇ｆ−ｖ｜2
によって表され、式中、ｖは補間ガイドを表し、ｆは前記コピー先領域内の合成結果画像を表し、ｆ*は前記コピー先領域外の合成結果画像を表すことを特徴とする請求項１に記載の方法。
【請求項９】
コンピュータシステム上でコピー先画像から合成結果画像を計算するコンピュータプロセスを実行するコンピュータプログラムを符号化しているコンピュータプログラム製品であって、前記コンピュータプロセスは、
前記コピー先画像中に境界を有するコピー先領域を定義するステップと、
補間ガイド、および前記コピー先領域の境界に関連付けられた境界条件を含む誘導インターポレータを提供するステップと、
前記コピー先領域の境界における前記境界条件を満たし、前記誘導インターポレータに基づいて前記合成結果画像を計算して、前記補間ガイドと前記合成結果画像の勾配の間の前記コピー先領域両端の差を最小化するステップと
を備えたことを特徴とするコンピュータプログラム製品。
【請求項１０】
前記提供するステップは、
前記補間ガイドとして、所定の基準を満たす、前記コピー先領域内のコピー先画像の勾配を含むマスキング補間ガイドを提供するステップ
を含むことを特徴とする請求項９に記載のコンピュータプログラム製品。
【請求項１１】
コピー元画像の少なくとも一部は、前記コピー先画像に合成されて、前記合成結果画像を生成し、前記補間ガイドは、前記コピー元画像の関数であることを特徴とする請求項９に記載のコンピュータプログラム製品。
【請求項１２】
コピー元画像の少なくとも一部は、前記コピー先画像に合成されて、前記合成結果画像を生成し、
前記コピー元画像中に境界を有するコピー元領域を定義するステップ
をさらに備えたことを特徴とする請求項９に記載のコンピュータプログラム製品。
【請求項１３】
前記提供するステップは、
前記補間ガイドとして、前記コピー元領域内のコピー元画像の勾配を含むフィルタリング補間ガイドを提供するステップ
を備えたことを特徴とする請求項１２に記載のコンピュータプログラム製品。
【請求項１４】
前記提供するステップは、
前記補間ガイドとして、前記コピー元領域内のコピー元画像の勾配と前記コピー先領域内のコピー先画像の勾配と内の大きい方を含む透過補間ガイドを提供するステップ
を含むことを特徴とする請求項１２に記載のコンピュータプログラム製品。
【請求項１５】
前記境界条件は、前記コピー先領域の境界における前記合成結果画像中の画像データの各値が、前記境界における前記コピー先画像中の画像データの対応する各値に等しいことを必要とすることを特徴とする請求項９に記載のコンピュータプログラム製品。
【請求項１６】
前記誘導インターポレータは、前記境界条件ｆ｜∂Ω＝ｆ*｜∂Ωを有する関数の最小化
ｍｉｎf∬Ω｜∇ｆ−ｖ｜2
によって表され、式中、ｖは補間ガイドを表し、ｆは前記コピー先領域内の合成結果画像を表し、ｆ*は前記コピー先領域外の合成結果画像を表すことを特徴とする請求項９に記載のコンピュータプログラム製品。
【請求項１７】
前記コピー先画像中に境界を有するコピー先領域を定義する領域定義モジュールと、
補間ガイド、および前記コピー先領域の境界に関連付けられた境界条件を含む誘導インターポレータを格納する補間ガイドデータストアと、
前記コピー先領域の境界における前記境界条件を満たし、前記誘導インターポレータに基づいて前記合成結果画像を計算して、前記補間ガイドと前記合成結果画像の勾配との間の前記コピー先領域両端の差を最小化する合成計算モジュールと
を備えたことを特徴とするコピー先画像から合成結果画像を計算するシステム。
【請求項１８】
前記補間ガイドは、前記コピー先領域内のコピー先画像の勾配を含むことを特徴とする請求項１７に記載のシステム。
【請求項１９】
前記補間ガイドは、ゼロに等しいことを特徴とする請求項１７に記載のシステム。
【請求項２０】
前記補間ガイドは、所定の基準を満たす、前記コピー先領域内のコピー先画像の勾配を含むことを特徴とする請求項１７に記載のシステム。
【請求項２１】
コピー元画像の少なくとも一部は、前記コピー先画像に合成されて、前記合成結果画像を生成し、前記補間ガイドは、前記コピー元画像の関数であることを特徴とする請求項１７に記載のシステム。
【請求項２２】
コピー元画像の少なくとも一部は、前記コピー先画像に合成されて、前記合成結果画像を生成し、
前記コピー元画像中に境界を有するコピー元領域を定義する手段
をさらに備えたことを特徴とする請求項１７に記載のシステム。
【請求項２３】
前記補間ガイドは、前記コピー元領域内のコピー元画像の勾配を含むことを特徴とする請求項２２に記載のシステム。
【請求項２４】
前記補間ガイドは、前記コピー元領域内のコピー元画像の勾配と前記コピー先領域内の前記コピー先画像の勾配と内の大きい方を含むことを特徴とする請求項２２に記載のシステム。
【請求項２５】
前記境界条件は、前記コピー先領域の境界における前記合成結果画像中の画像データの各値が、前記境界における前記コピー先画像中の画像データの対応する各値に等しいことを必要とすることを特徴とする請求項１７に記載のシステム。
【請求項２６】
前記誘導インターポレータは、前記境界条件ｆ｜∂Ω＝ｆ*｜∂Ωを有する関数の最小化
ｍｉｎf∬Ω｜∇ｆ−ｖ｜2
によって表され、式中、ｖは補間ガイドを表し、ｆは前記コピー先領域内の合成結果画像を表し、ｆ*は前記コピー先領域外の合成結果画像を表すことを特徴とする請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、画像編集に関し、より詳細には、画像の合成に関する。
【背景技術】
【０００２】
本出願は、それが開示し、教示するすべてが参照により明確に本明細書に組み込まれている、「Image Blending By Guided Interpolation」という名称の米国仮特許出願第６０／４５００７８号明細書の特典を主張するものである。
【０００３】
デジタル画像、特にデジタル写真の編集は、家庭でも、専門的な場でも一般的な行為である。よくある作業の１つに、ある画像の一部分を別の画像、または同じ画像の他の場所に貼り付けるというものがある。この操作は、デジタル画像を修復し、修正し、変更するのに役立つ。
【０００４】
例えば、図１で、ユーザは、コピー元画像１０２からコピー先画像１０４に太陽１００を挿入しようとする。単純なコピーアンドペースト操作では、ユーザは、コピー元画像１０２中の太陽１００の外周を選択または「クリップ」し、クリップした領域をコピーし、そのクリップ領域をコピー先画像１０４内の所望の場所に貼り付ける。それに替えて、類似のやり方で単純なドラッグアンドドロップ操作を用いることもできる。しかしながら、どちらの手法でも、挿入されるクリップ領域とコピー先画像１０４の残りの部分の間の境界（または「継ぎ目」）は、はっきり分かれて見え、クリッピング操作におけるむらを反映するはずである。さらに、クリッピング操作で取り込まれたコピー元画像１０２中の太陽の背景（すなわち、カラー画像での無地の淡青色）の部分は、空が灰色のかすんだ背景として表わされているコピー先画像１０４に挿入されると、くっきりとした断絶として現れることになる。言い換えると、挿入されたクリッピングは、コピー先画像１０４に溶け込まないはずである。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
「クローニング」と呼ばれる１つの代替手法には、コピー元画像内で定義されるアンカポイントが関与する。コピー先画像上で絵筆コントロールを使って、そこにコピー元画像データをコピーすべきコピー先画像の領域が定義される。その結果は、コピーアンドペーストまたはドラッグアンドドロップを選択した場合と同様になる。
【０００６】
また、他の画像編集操作には、画像の選択領域の外観を変更することも含むことができる。例えば、ある画像の１領域におけるテクスチャが平らにされたり、背景または前景が脱色されたり、あるいはその画像の１領域で照度変更が行われたりする。しかしながら、そのような編集操作は、編集される領域と元の画像の残りの部分の間の継ぎ目に関連する問題も引き起こす。
【０００７】
これら既存の手法の結果を改善するために、局所的「フェザリング」操作を行って、挿入されるクリッピングとコピー先画像背景の間の継ぎ目を隠すことができる。そのようなフェザリング手法には、通常、挿入されるクリッピングとコピー先画像背景の間のスムーズな移行を近似するために、継ぎ目のところで画像データをぼかし、またはにじませることが含まれる。しかしながら、フェザリング操作は、継ぎ目が単にぼかされた画像データで置き換えられるだけなので、不満足な結果を生じる場合がある。さらに、既存の手法は、ユーザが挿入される画像部分をコピー先画像に最適に一体化させることを可能にする様々な合成モードを提供することができない。
【０００８】
したがって、既存のクリッピングおよびクローニング手法は、多くの一般的シナリオにおいて柔軟でシームレスな画像挿入および編集を提供することができない。
【課題を解決するための手段】
【０００９】
本発明の実施態様は、誘導補間を使ってコピー先領域内の画像データを変更し、合成結果画像を提供することによって前述の問題を解決する。コピー先領域は、コピー元画像に依存する、または依存しない誘導インターポレータに基づいて変更され得る。様々な補間ガイドを使って合成結果画像に異なる効果をもたらすことができる。
【００１０】
本発明の実装態様では、コンピュータプログラム製品として製造品が提供される。コンピュータプログラム製品の一実施態様は、コピー先画像から合成結果画像を計算するコンピュータプログラムを符号化している、コンピュータシステムによって読取り可能なコンピュータプログラム記憶媒体を提供する。コンピュータプログラム製品の別の実施態様は、コピー先画像から合成結果画像を計算するコンピュータプログラムを符号化している、コンピューティングシステムによって搬送波に実施されるコンピュータデータ信号として提供され得る。
【００１１】
このコンピュータプログラム製品は、コンピュータシステム上で、コピー先画像から合成結果画像を計算するコンピュータプロセスを実行するコンピュータプログラムを符号化している。境界を有するコピー先領域がコピー先画像で定義される。補間ガイド、およびコピー先領域の境界に関連付けられた境界条件を含む誘導インターポレータが提供される。合成結果画像は、誘導インターポレータに基づいて計算され、コピー先領域の境界における境界条件を満たし、かつ補間ガイドと合成結果画像の勾配の間のコピー先領域両端の差を最小化する。
【００１２】
本発明の別の実装態様では、コピー先画像から合成結果画像を計算する方法が提供される。境界を有するコピー先領域がコピー先画像で定義される。補間ガイドおよびコピー先領域の境界に関連付けられた境界条件を含む誘導インターポレータが提供される。合成結果画像は、コピー先領域の境界における境界条件を満たし、補間ガイドと合成結果画像の勾配の間のコピー先領域両端の差を最小化するように誘導インターポレータに基づいて計算される。
【００１３】
本発明の別の実施態様では、コピー先画像から合成結果画像を計算するシステムが提供される。領域定義モジュールは、コピー先画像に境界を有するコピー先領域を定義する。補間ガイドデータストアは、補間ガイド、およびコピー先領域の境界に関連付けられた境界条件を含む誘導インターポレータを提供する。合成計算モジュールは、誘導インターポレータに基づいて合成結果画像を計算し、コピー先領域の境界における境界条件を満たし、かつ補間ガイドと合成結果画像の勾配の間のコピー先領域両端の差を最小化する。
【００１４】
本発明を特徴付ける上記およびその他の様々な特徴ならびにその他の利点は、以下の詳細な説明を読み、関連する図面を吟味すれば明らかになるであろう。
【発明を実施するための最良の形態】
【００１５】
本発明の実施形態は、誘導補間を使ってコピー先領域内の画像データを変更し、合成結果画像を提供する。コピー先領域を、コピー元画像に依存する、または依存しない誘導インターポレータに基づいて変更することができる。コピー元領域を画像のコピー先領域に合成するとき、誘導補間は、挿入される領域とその画像の残りの部分の間の目に見える継ぎ目をなくし、またはできるだけ見えにくくする。さらに、様々な補間ガイドを使って合成結果画像に異なる効果をもたらすことができる。そのような補間ガイドには、それだけに限らないが、識別情報ガイド、スムーズガイド、フィルタガイド、透過ガイド、マスキングガイド、様々なガイドの加重平均した組合せを含むことができる。
【００１６】
図１に、本発明の一実施形態におけるコピー元画像、コピー先画像、合成結果画像を示す。コピー元画像１０２は、太陽を含むコピー元領域１００を含む。ユーザは、最初は場所１０８に挿入される太陽を含まないコピー先画像１０４にコピー元領域１００を挿入し、合成しようとする。第１の操作で、ユーザは、コピー元領域１００の周囲にマウスをドラッグして輪郭を描くなどにより、コピー元領域１００を定義する。それだけに限らないが、クローニングブラシのためのアンカポイントを埋め込むこと、画像中の１要素を選択すること、コピー元領域の色特性を指定すること、あるいはコピー元画像１０２中の座標を指定することを含めて、コピー元領域１００を定義する代替の方法も用いられ得る。
【００１７】
一般に、デジタル画像データは、画素値で表される。例えば、白黒デジタル画像は、各ベクトル要素が個々の画素に対応する、画素輝度値のベクトルによって表わされることができる。これに対して、カラー画像のデジタル画像データは、画素毎に複数の値によって表されることができる。例えば、ＲＧＢ（赤、緑、青）色空間では、各画素は、３つの色チャネルのそれぞれについての輝度値によって表示される。それだけに限らないが、ＬＣ１Ｃ２やＣＩＥ−ｌａｂ空間を含む他の色空間も企図されている。
【００１８】
単に、コピー元領域１００をコピー先画像１０４にコピーアンドペーストするだけだと、通常は、コピー先画像１０４の暗い夜空の背景１１２に重なって、太陽の周囲に不規則な青空色の境界または継ぎ目１１０が生じることを理解すべきである。継ぎ目は、通常、コピー先画像との比較においての、色、明るさ、特徴、テクスチャなどの急変として現れる。そのため、より現実に即した結果画像を生成するために、挿入されるコピー元領域１０４を合成すれば、結果画像１０６中の継ぎ目１１０を見えにくくし、または見えなくすることができる。したがって、結果画像１０６に示すように、コピー元領域１００は、写実的効果を生み出すようにコピー先画像１０４に挿入され、合成されている。
【００１９】
図２に、本発明の一実施形態における２つの１次元関数の概念的合成を示す。この図２に関する説明は、１次元「画像」が関与する合成操作の概念的論証を提供するものである。しかしながら、それだけに限らないが、本明細書で他の図に関して説明する２次元合成操作を含む様々な種類の合成操作が本発明の範囲内で企図されていることを理解すべきである。
【００２０】
１次元コピー先「画像」を表す第１の輝度関数Ａをコピー先グラフ２００に示す。グラフ２００のコピー先画像に挿入される１次元コピー元「画像」を表す第２の輝度関数Ｂをコピー元グラフ２０２に示す。１次元合成結果「画像」を表す合成結果関数を結果グラフ２０４に示す。
【００２１】
破線２０６は、コピー元領域とコピー先領域の境界を表す。本発明の別の実施形態では、コピー元およびコピー先領域は不同のサイズおよび形状（長方形、円、不定形など）を持つことができ、両方とも、システムによって、より合成に適合するように変更され得る。
【００２２】
本発明の一実施形態では、ユーザは、コピー先領域の境界のところの画像データを写実的に見えるように合成するために、合成操作を使ってコピー元領域をコピー先領域にマージしようとした。図示の実施形態では、これを、第１の輝度関数Ａのコピー元領域を第２の輝度関数Ｂの境界点に接続することにより概念的に示している。そのため、合成結果関数は、２つの輝度関数の合成を示している。目に見える継ぎ目を、除去し、できるだけ見えにくくし、または他のやり方で少なくするために、成分関数の境界条件は、各成分関数の値が、これらの関数が境界点２０８および２１０に接近するにつれて等しくなるように合成される。
【００２３】
図３に、本発明の一実施形態における２つの２次元画像領域の合成を示す。図２の１次元合成の概念的説明を拡張するために、図３に２次元合成の一例を提示する。コピー先画像３００には暗い水面が示されている。コピー先画像３００に関連付けられた対応する輝度データが２次元輝度グラフ３０２に示されており、この場合、輝度は、単色輝度（白黒画像中の白やカラー画像中の単一の色チャネルなど）を含むこともでき、他の何らかの外観信号（ＬＣ１Ｃ２の成分または集約値など）を含むこともできる。例えば、コピー先画像３００が上端近くでより明るくなるにつれて、輝度グラフ３０２に示される白の輝度が増大することに留意されたい。
【００２４】
中間の画像３０４では、別の水面に映った太陽の影を含むコピー元領域３１２が画像に挿入されている。図示の実施形態では、コピー先領域は、コピー元領域３１２と重なる画像の領域として定義される。合成する前、コピー元領域とコピー先画像の残りの部分との間の継ぎ目は、少なくとも一部は水の色の違いのため、中間画像３０４に示すように非常にはっきりしている。これは、コピー元領域３１２に関連する輝度データが３１４で急にはっきりと見える、非合成輝度グラフ３０６でもわかる。
【００２５】
合成結果画像３０８では、コピー元領域が、水面に映った太陽の影の写実的画像を提供するようにコピー先領域に合成されている。コピー元領域における画像データの輝度の変化は合成結果輝度グラフ３１０において明らかであり、挿入されるコピー元領域の輝度データは、この第１の領域の境界のところのコピー先画像の輝度データにマッチするように合成されて、コピー元領域の全体的「明るさ」が低減されている。
【００２６】
図４に、本発明の一実施形態におけるコピー元画像、コピー先画像、合成結果画像を示す。コピー先画像４００には、海辺の淡緑色の海面が（カラー画像で）示されている。コピー元画像４０２には、水が淡青色に見えるスイミングプールの中にいる２人の子どもが（カラー画像で）示されている。この説明では、画像の特徴を本明細書で説明するアルゴリズムにマップするために、コピー先画像４００を「ｆ*」と呼び、コピー先画像４００中のコピー先領域４０４を「Ω」と呼ぶ。コピー先領域４０４の境界４１２を「∂Ω」と呼ぶ。同様に、コピー元画像４０２を「ｇ*」と呼び、コピー元領域４１６の画像データを「ｇ」と呼ぶ。合成結果画像４１０では、コピー元領域４１６は、コピー先領域４０４に合成されて、画像領域４１８および４２０（Ω内の合成画像データｆ、およびｆ*の残りの部分、すなわち、コピー先領域の外部にあるコピー先画像の部分）を備える合成結果画像を生み出すようにされている。注：合成結果画像は、それぞれの子どもを含むコピー元領域をコピー先画像に順次挿入することにより生成された。
【００２７】
本発明の一実施形態では、合成操作は、境界条件ｆ｜∂Ω＝ｆ*｜∂Ωを持つ関数の最小化
ｍｉｎf∬Ω｜∇ｆ−∇ｇ｜2
を誘導インターポレータ（または「ミニマイザ」）に使って実施され、式中、
【００２８】
【数１】
2006518891.tif 000002
【００２９】
は勾配演算子である。また、最大化関数や、所与の目標、閾値、または範囲に合わせて最適化する関数など、他のインターポレータも用いることができる。
【００３０】
関連するオイラー−ラグランジュの方程式、すなわち、誘導インターポレータによって満たされる条件は、ディリクレ境界条件を持つポアソン方程式と呼ばれ、以下の通りである。
【００３１】
ｆ｜∂Ω＝ｆ*｜∂ΩであるΩ上でΔｆ＝Δｇ
式中、
【００３２】
【数２】
2006518891.tif 000003
【００３３】
はラプラス演算子である。
【００３４】
誘導補間法は、境界条件ｆ｜∂Ω＝ｆ*｜∂Ωを持つ誘導インターポレータとしての関数の最小化
ｍｉｎf∬Ω｜∇ｆ−ｖ｜2
によってより一般的に表すことができ、式中、ｖは補間ガイドを表し、ｆは「インターポラント」と呼ばれる。計算により、この関数の最小化がポアソン方程式、
ｆ｜∂Ω＝ｆ*｜∂ΩであるΩ上でΔｆ＝ｄｉｖ  ｖ
の一意の解であることが示される。式中、
【００３５】
【数３】
2006518891.tif 000004
【００３６】
はｖ＝［ｕ，ｖ］のダイバージェンスである。
【００３７】
以下の補間ガイド例の表に示すように、様々なｖの選択により様々なやり方の合成が可能になるが、他の補間ガイドも本発明の範囲内で企図されている。
【００３８】
【表１】
2006518891.tif 000005
【００３９】
例えば、識別補間ガイドＩは、コピー先画像に何の変化ももたらさない（ゆえに、ｆ＝ｆ*）。代わりに、スムーズ補間ガイドＳは、コピー先画像を変更する。スムーズ補間ガイドＳでの関連するオイラー−ラグランジュの方程式は、ｆ｜∂Ω＝ｆ*｜∂ΩであるΩ上で、
Δｆ＝０
であり、ディリクレ境界条件を持つラプラス方程式と呼ばれる。ディリクレ境界条件を持つラプラス方程式の一意の解ｆは、多くの場合、「膜インターポラント」と呼ばれる。各色チャネルにおいてこの問題の離散化バージョンを解決すれば、領域Ωに非常にスムーズな、またはぼやけた画像領域が生じる。スムーズ補間ガイドＳは領域内部の勾配を最小化し（「ヌル誘導」）、結果として領域の境界上にある色の非常にスムーズな補間を生じさせる。スムーズ補間ガイドＳは、多角形および任意の形状の塗りつぶしアルゴリズムを含む、コンピュータグラフィックス領域塗りつぶしアルゴリズムが使用することができる。
【００４０】
透過およびマスキング補間ガイドの例示的効果は、それぞれ、図７および８にとの関連で図示し、説明する。
【００４１】
図５に、本発明の一実施形態における合成システムを示す。画像編集システム５００は、コピー先画像の画像データなど、コピー先５０４を受け取る。コピー先選択モジュール５０８は、コピー先５０４内のコピー先領域の選択を受け取る。前述のように、コピー先領域は、貼り付け操作、クローニング操作、輪郭描画操作、あるいはコピー先画像の領域を選択する他のステップによって定義されることができる。
【００４２】
少なくとも一実施形態では、画像編集システム５００は、コピー元画像など、コピー元５０２も受け取る。コピー元選択モジュール５０６は、コピー元５０４内のコピー元領域の選択を受け取る。しかしながら、スムーズ補間ガイドやマスキング補間ガイドが関与する実施形態などの代替の実施形態は、補間ガイドがどんなコピー元からも独立しているために、コピー元もコピー元選択モジュールも必要としないことを理解すべきである。
【００４３】
領域定義モジュール５１０は、１つまたは複数の選択を受け取り、コピー先領域（および場合により、コピー元領域）を定義する。一実施形態では、領域定義は、画像上のＸおよびＹ座標の形とすることができるが、それだけに限らず、画像場所の配列および領域定義アルゴリズムを含む、他の領域定義手段も本発明の範囲内で企図されている。
【００４４】
画像データコレクタ５１１は、本明細書で、それぞれ、関数ｆ*、Ω上のｆ*、ｇで表されている、入力画像中のコピー先画像、コピー先領域、および場合によりコピー元領域内に含まれる画像データを収集する。合成計算モジュール５１２は、コピー先領域定義、コピー先画像データ、および場合によりコピー元領域情報を受け取る。さらに、合成計算モジュール５１２は、補間ガイドデータストア５１５に格納されている情報から導出され、またはアクセスされる補間ガイドに基づき、これらの入力を使って合成結果画像５１６の画像データを計算する。合成結果画像５１６の画像データが出力モジュール５１４によって受け取られ、出力モジュール５１４は、ディスプレイ上に合成結果画像５１６をレンダリングし、またはこの画像を記憶装置または別のアプリケーションに出力することができる。
【００４５】
図６に、本発明の一実施形態における合成操作を示す。受け取り操作６００は、コピー元からの選択（コピー元領域など）を受け取る。別の受け取り操作６０２は、コピー先の選択（コピー先領域など）を受け取る。定義操作６０４は、コピー元からの選択に基づいてコピー元領域を定義する。別の定義操作６０６は、コピー先からの選択に基づいてコピー先領域を定義する。
【００４６】
収集操作６０８は、本明細書で、それぞれ、関数ｆ*、Ω上のｆ*、ｇで表されている、コピー先画像、コピー先領域、および場合によりコピー元領域内に含まれる画像データを収集する。提供操作６１０は、データストアにアクセスし、あるいはハードコードされたアルゴリズムを提供するなどにより、誘導インターポレータを提供する。計算操作６１２は、収集された画像データおよび誘導インターポレータから合成結果画像を計算する。出力操作は、ディスプレイまたは他の出力装置に合成結果画像を出力する。
【００４７】
図７に、本発明の一実施形態における透過補間ガイドから導出される合成結果を示す。コピー元画像７００は、合成結果画像７０４を生成するようにフィルタリング補間ガイドＦを用いてコピー先画像７０２に合成される。しかしながら、結果画像７０４から、単語「ＢＬＥＮＤ」の文字間および文字内の間隔が写実的にレンダリングされていないことが明らかである。これに対して、透過と呼ばれる第２の補間ガイドを適用することにより、合成結果画像７０６を生成する。透過のアルゴリズムは前述の表に示してある。
【００４８】
透過アルゴリズムの代替の表現は以下の通りである。
【００４９】
【数４】
2006518891.tif 000006
【００５０】
透過補間ガイドＴは、コピー先領域中の各場所において、（コピー元画像データまたはコピー先画像データから）最も大きい画像勾配を選択する。このようにして、合成結果画像は、コピー先領域中の所与の場所においてコピー元領域またはコピー先領域の最も明らかな特徴に最もよくマッチする画像データを含む。
【００５１】
図８に、本発明の一実施形態におけるマスキング補間ガイドＭから導出される合成結果を示す。マスキング補間ガイドでは、勾配が、それだけに限らないが、閾値を下回ること、閾値を上回ること、所与の範囲内であること、所与の目標を満たすことを含む、所定の基準を満足するように最適化される。
【００５２】
前述のように、マスキング補間ガイドＭは、合成結果画像のコピー先領域に最も目立った特徴だけが生成されるように、コピー先画像データをフィルタにかける。例えば、前述の表に示すマスキング補間ガイドＭを用いて、コピー元画像８００のコピー元領域８０４における画像データ強度は、低い（あるいは高い）勾配領域が、合成結果画像８０２に示す漫画調の効果を生み出すように弱められる。
【００５３】
代替として、マスキング補間ガイドＭは、バンドフィルタ範囲、
【００５４】
【数５】
2006518891.tif 000007
【００５５】
を提供するように変更することもできる。
【００５６】
図９に、本発明の一実施形態における、コピー元領域の寸法の範囲を超えるコピー先画像への合成を示す。コピー先画像９００が、コピー先境界∂Ω９０２を境界とするコピー先領域と共に示されている。合成領域Ｔ９０６は、内側の合成境界∂Ｔ９０４と、外側のコピー先境界∂Ω９０２とによって囲まれている。コピー先境界∂Ω９０２と合成境界∂Ｔ９０４との間の領域Ｔにおいて若干の混合を実行するために、境界条件ｆ｜∂Ω＝ｆ*｜∂Ωを持つ誘導インターポレータ、
ｍｉｎf∬Ω｜∇ｆ−ｖ｜2＋α∬T｜ｆ−ｆ*｜2
を提供することができる。この領域における混合効果の強度を、重み付けパラメータαによって制御することができる。
【００５７】
本発明を実施するための図１０のハードウェアおよび動作環境の例は、処理装置２１、システムメモリ２２、およびシステムメモリを含む様々なシステム構成要素を処理装置２１に動作可能に結合するシステムバス２３を含むコンピュータ２０の形での汎用コンピューティング装置を含む。処理装置２１を１つだけ備えることも、複数の処理装置２１を備えることもあり、そのため、コンピュータ２０のプロセッサは、単一の中央処理装置（ＣＰＵ）、または、一般に並列処理環境と呼ばれる、複数の処理装置を備える。コンピュータ２０は、従来のコンピュータとすることも、分散型コンピュータとすることも、他の任意の種類のコンピュータとすることもでき、本発明はそれらに限定されない。
【００５８】
システムバス２３は、様々なバスアーキテクチャを使用するメモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含む数種類のバス構造のいずれでもよい。システムメモリは、単にメモリとも呼ぶことができ、読取り専用メモリ（ＲＯＭ）２４およびランダムアクセスメモリ（ＲＡＭ）２５を含む。基本入出力システム（ＢＩＯＳ）２６は、始動時などに、コンピュータ２０の諸要素間での情報転送を支援する基本ルーチンを含み、ＲＯＭ２４に格納される。コンピュータ２０は、さらに、図示しない、ハードディスクとの間で読取りおよび書込みを行うハードディスクドライブ２７、取り外し可能磁気ディスク２９との間で読取りおよび書込みを行う磁気ディスクドライブ２８、およびＣＤ−ＲＯＭや他の光媒体といった取り外し可能光ディスク３１との間で読取りおよび書込みを行う光ディスクドライブ３０を含む。
【００５９】
ハードディスクドライブ２７、磁気ディスクドライブ２８、および光ディスクドライブ３０は、それぞれ、ハードディスクドライブインターフェース３２、磁気ディスクドライブインターフェース３３、および光ディスクドライブインターフェース３４によってシステムバス２３に接続される。各ドライブおよびそれに関連付けられるコンピュータ読み取り可能媒体は、コンピュータ２０のためのコンピュータ読み取り可能命令、データ構造、プログラムモジュールおよびその他のデータの不揮発性記憶を提供する。例示的動作環境では、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ベルヌーイカートリッジ、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）など、コンピュータによってアクセス可能なデータを格納することのできる任意の種類のコンピュータ読み取り可能媒体が使用され得ることを当分野の技術者は理解するはずである。
【００６０】
ハードディスク、磁気ディスク２９、光ディスク３１、ＲＯＭ２４、またはＲＡＭ２５には、オペレーティングシステム３５、１つまたは複数のアプリケーションプログラム３６、その他のプログラムモジュール３７、およびその他のプログラムデータ３８を含むいくつかのプログラムモジュールが格納され得る。ユーザは、キーボード４０やポインティングデバイス４２といった入力装置を介してパーソナルコンピュータ２０にコマンドおよび情報を入力することができる。他の入力装置（図示せず）には、マイクロホン、ジョイスティック、ゲームパッド、衛星パラボラアンテナ、スキャナなどが含まれ得る。上記その他の入力装置は、しばしば、システムバスに結合されたシリアルポートインターフェース４６を介して処理装置２１に接続されるが、パラレルポート、ゲームポート、ユニバーサルシリアルバス（ＵＳＢ）といった他のインターフェースによっても接続され得る。モニタ４７または他の種類の表示装置も、ビデオアダプタ４８などのインターフェースを介してシステムバス２３に接続される。モニタ以外に、コンピュータは、通常、スピーカやプリンタといった、他の周辺出力装置（図示せず）も含む。
【００６１】
コンピュータ２０は、リモート４９など、１つまたは複数のリモートコンピュータへの論理接続を使ってネットワークで接続された環境で動作し得る。これらの論理接続は、コンピュータ２０に結合され、またはその一部である通信装置によって達成される。本発明は、特定の種類の通信装置に限定されない。リモートコンピュータ４９は、別のコンピュータ、サーバ、ルータ、ネットワークＰＣ、クライアント、ピア装置または他の一般のネットワークノードとすることができ、通常、コンピュータ２０に関して前述した要素の多くまたはすべてを含むが、図１０にはメモリ記憶装置５０のみを示してある。図１０に示す論理接続は、ローカルエリアネットワーク（ＬＡＮ）５１および広域ネットワーク（ＷＡＮ）５２を含む。そのようなネットワーク環境は、ネットワークの全種類である、オフィスネットワーク、企業規模のコンピュータネットワーク、イントラネットおよびインターネットに一般に見られるものである。
【００６２】
ＬＡＮネットワーク環境で使用されるとき、コンピュータ２０は、通信装置の一種であるネットワークインターフェースまたはアダプタ５３を介してローカルネットワーク５１に接続される。ＷＡＮネットワーク環境で使用されるとき、コンピュータ２０は、通常、通信装置の一種であるモデム５４、または広域ネットワーク５２を介して通信を確立する他の任意の種類の通信装置を含む。モデム５４は、内蔵でも外付けでもよく、シリアルポートインターフェース４６を介してシステムバス２３に接続される。ネットワーク化環境では、パーソナルコンピュータ２０に関連して示すプログラムモジュール、またはその一部は、リモートメモリ記憶装置に格納され得る。図示のネットワーク接続は例示であり、コンピュータ間で通信リンクを確立する他の手段および通信装置も使用され得ることが理解される。
【００６３】
本発明の一実施形態では、選択モジュール、領域定義モジュール、合成計算モジュール、および出力モジュールは、オペレーティングシステム３５、アプリケーションプログラム３６、またはその他のプログラムモジュール３７の一部として組み込まれ得る。補間ガイドデータストアおよび画像データは、プログラムデータ３８として格納され得る。
【００６４】
本明細書で説明した本発明の実施形態は、１つまたは複数のコンピュータシステムにおける論理ステップとして実施される。本発明の論理演算は、（１）１つまたは複数のコンピュータシステムにおいて実行される一連のプロセッサによって実施されるステップ、および（２）１つまたは複数のコンピュータシステム内の相互接続されたマシンモジュールとして実施される。その実装形態は、本発明を実施するコンピュータシステムの性能要件に応じて選択できる問題である。したがって、本明細書で説明した本発明の実施形態を構成する論理演算は、演算、ステップ、オブジェクト、またはモジュールなど、様々に呼ばれる。
【００６５】
以上の明細、例およびデータは、本発明の例示的実施形態の構造および用途の完全な説明を提供するものである。本発明の精神および範囲を逸脱することなく本発明の多くの実施形態が作成され得るできるため、本発明は、添付の特許請求の範囲に存するものである。
【図面の簡単な説明】
【００６６】
【図１】本発明の一実施形態におけるコピー元画像、コピー先画像、および合成結果画像を示す概略図である。
【図２】本発明の一実施形態における２つの１次元関数の概念的合成を示す図である。
【図３】本発明の一実施形態における２つの２次元画像領域の合成を示す図である。
【図４】本発明の一実施形態におけるコピー元画像、コピー先画像、および結果画像を示す図である。
【図５】本発明の一実施形態における合成システムを示す図である。
【図６】本発明の一実施形態における合成操作を示す図である。
【図７】本発明の一実施形態における透過補間ガイドから導出される合成結果を示す図である。
【図８】本発明の一実施形態におけるマスキング補間ガイドから導出される合成結果を示す図である。
【図９】本発明の一実施形態におけるコピー先画像への合成を示す図である。
【図１０】本発明の一実施形態を実施するのに役立つ例示的システムを示す図である。
【図１】
2006518891.tif 000008
【図２】
2006518891.tif 000009
【図３】
2006518891.tif 000010
【図４】
2006518891.tif 000011
【図５】
2006518891.tif 000012
【図６】
2006518891.tif 000013
【図７】
2006518891.tif 000014
【図８】
2006518891.tif 000015
【図９】
2006518891.tif 000016
【図１０】
2006518891.tif 000017
【国際調査報告】
2006518891.tif 000018