(57)【特許請求の範囲】
【請求項１】
画像操作動作中に色輝度値が割り当てられなくなった画素からなる領域の画素に色輝度値を割り当てることができる、画像を修正するシステムであって、
元の画像の残りの画素の色輝度値を使用するための手段と、
前記領域が周囲領域と滑らかに融合するように、前記領域の境界の法線を鏡映する方向で前記領域の境界に沿って鏡が置かれたと仮定することによって、前記領域の外の画素から色輝度値をコピーし、前記領域の外の画素の色輝度値を前記領域の画素に割り当てるための手段と
を含むシステム。
【請求項２】
前記画像の手動修正に起因して前記領域の画素に前記色輝度値が割り当てられなくなった時に色輝度値を割り当てるための手段を含む、請求項１に記載のシステム。
【請求項３】
前記画像の自動修正に起因して前記領域の画素に前記色輝度値が割り当てられなくなった時に色輝度値を割り当てるための手段を含む、請求項１に記載のシステム。
【請求項４】
色輝度値を割り当てる前記手段が、その画素の位置で判定される色輝度値関数に基づいて色輝度値を割り当てる、請求項１に記載のシステム。
【請求項５】
前記領域の画素に色輝度値を割り当てるのに使用される前記色輝度値関数が、先験的に使用可能な画像モデルを使用して決定される、請求項４に記載のシステム。
【請求項６】
ユーザが、前記領域の画素に割り当てられなければならない前記輝度値を決定するのにそこからの輝度値を使用することができる区域を明示的に制限する、請求項１に記載のシステム。
【請求項７】
画像操作動作中に色輝度値が割り当てられなくなった画素からなる領域の画素に色輝度値を割り当てることができる、画像を修正する方法であって、
元の画像の残りの画素の色輝度値を使用するステップと、
前記領域が周囲領域と滑らかに融合するように、前記領域の境界の法線を鏡映する方向で前記領域の境界に沿って鏡が置かれたと仮定することによって、前記領域の外の画素から色輝度値をコピーし、前記領域の外の画素の色輝度値を前記領域の画素に割り当てるステップと
を含む方法。
【請求項８】
画像操作動作中に色輝度値が割り当てられなくなった画素からなる領域の画素に色輝度値を割り当てることができ、画像を修正するためにコンピュータで実行させるための、コンピュータ実行可能なコンピュータ・プログラムであって、前記コンピュータ・プログラムは、コンピュータに対し、
元の画像の残りの画素の色輝度値を使用するように構成された手段と、
前記領域が周囲領域と滑らかに融合するように、前記領域の境界の法線を鏡映する方向で前記領域の境界に沿って鏡が置かれたと仮定することによって、前記領域の外の画素から色輝度値をコピーし、前記領域の外の画素の色輝度値を前記領域の画素に割り当てる手段
として機能させる、コンピュータ実行可能なコンピュータ・プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像操作動作の結果として「露光」された複数の画像画素に色値を自動的に割り当てることによって、画像操作動作の結果として修正された画像の視覚的に許容可能なレンダリングを達成するシステム、方法、およびコンピュータ・プログラム製品に関する。
【０００２】
【従来の技術】
Adobe Inc.,社のPhotoshop、JASC Inc.社のPaint Shop Proなどの画像編集ツールは、画像の部分または全体を操作し、編集するために、ユーザにグラフィカル・ユーザ・インターフェース（ＧＵＩ）を提供する。ユーザは、画像内の領域をマークし、選択された領域に対してさまざまな種類の編集動作を行うことができる。領域の移動、領域の削除、領域の回転、領域のサイズのスケーリング（サイズの拡大ならびに縮小の両方）、および他のそのような動作などの動作によって、修正された画像に空白区域が作成される。定義によって、露光された画素とは、ユーザによって操作された領域に属し、画素が他所に移動されたか削除されたので、色値を割り当てられていない画素である、すなわち、露光された画素は空白である。したがって、画像操作動作は、修正された画像の視覚的に許容可能な版を作成するために塗り潰される必要がある、修正された画像内の空白の穴につながる可能性がある。通常、ユーザは、画像内の「オブジェクト」を修正することを望み、画像編集ソフトウェアが、画像内のオブジェクトを抽出する自動オブジェクト識別処理（Adobe Photoshopの「自動選択ツール」など）を補足されている場合がある。そのような場合に、ユーザは、単に、画像内の注目するオブジェクトを選択し、それらの修正に進む。自動オブジェクト識別処理では、画像内の色およびテクスチャに基づくさまざまな画像セグメント化方式が使用される可能性がある。
【０００３】
画像画素は、米国特許出願第０９／３２８９６８号明細書および米国特許出願第０９／４０７４３４号明細書で発明人によって開示された、自動画像操作ルーチンおよび自動画像修正ルーチンによって露光される場合もある。
【０００４】
既知の技法の１つが、均一の色、たとえば白または黒を、露光されたすべての画素に均一に割り当てることである。Adobe Photoshopなどの画像編集ソフトウェアでは、ユーザが、塗潰しに使用される色を選択できるようにすることができ、自動画像修正方法では、所定の色または画像の特性に基づいて計算された色を使用することができる。ある反復パターンで領域を塗り潰すことも可能である。しかし、これは、特に露光された穴を囲む領域が、ある反復色パターンを有する場合に、許容不能で非現実的な画像をもたらすことがしばしばである。均一な色または固定された反復パターンは、周囲の領域との色値の連続性を維持せず、塗り潰された穴が、不自然に目立つ。また、この色割当は、ほとんど手動である。
【０００５】
したがって、露光された領域がそれを囲む領域すなわち背景に自然に溶けこむ形で画像内に作成された穴を塗り潰すために、ＲＧＢ（赤−緑−青）などの色輝度値を割り当てる必要がある。
【０００６】
従来技術の方法では、米国特許第５１３６６６４号明細書で発明人が開示したように、シェーディング、照明、シャドウィング情報に関する先験的情報を使用して、固定された幾何学形状をレンダリングした。これらのアルゴリズムでは、画像内のオブジェクトをレンダリングするが、本発明では、オブジェクトが除去された後の背景をレンダリングする。
【０００７】
画素を補間する方法が、米国特許第５２２２２０４号明細書で開示されており、この方法では、画像への３Ｄオブジェクトの透視投影での距離の変化の非線形性が考慮に入れられる。
【０００８】
米国特許第４８１５００９号明細書で、ベクトルによって定義された領域を台形の組に変換する方法が開示されている。
【０００９】
同様に、画像内容を変更する方法が、米国特許第４７２５９６６号明細書で提示されている。しかし、これらの発明の両方が、本明細書で識別された問題に対処していない。
【００１０】
【発明が解決しようとする課題】
本発明の目的は、画像操作動作の結果として露光された複数の画像画素に色値を自動的に割り当てることである。
【００１１】
【課題を解決するための手段】
前記目的を達成するために、本発明は、画像操作動作中に露光された画素に色輝度値を割り当てることができる、画像を修正するシステムであって、
・元の画像の残りの画素の色輝度値を使用するための手段と、
・露光された領域が周囲の領域と滑らかに融合するように、周囲の画素の色値に類似する色値を上記露光された画素に割り当てるための手段と
を含むシステムを提供する。
【００１２】
上記システムには、ユーザによる前記画像領域の手動修正に起因して画素が露光される時に色値を割り当てるための手段が含まれる。
【００１３】
上記システムには、前記画像領域の自動修正に起因して画素が露光される時に色値を割り当てるための手段が含まれる。
【００１４】
色値を割り当てる前記手段が、その画素の位置で判定される色輝度値関数に基づいて色輝度の値を割り当てる。
【００１５】
露光された画素に値を割り当てるのに使用される前記色輝度値関数が、先験的に使用可能な画像モデルを使用して決定される。
【００１６】
露光された画素に値を割り当てるのに使用される前記色輝度値関数が、前記露光された画素の境界領域内の画素の既知の色輝度値に関数を当てはめることによって決定される。
【００１７】
前記色輝度値関数が、境界条件に加えてエネルギー最小化を使用して近似される。
【００１８】
前記色輝度値関数が、前記エネルギー最小化の制約に使用される滑らかさ汎関数に対する近似として使用される複数点の導関数推定に基づく。
【００１９】
色値を割り当てる前記手段が、前記露光された領域の前記境界に沿って配置された仮定の鏡を見ることによって見つかる鏡像画素の色輝度値に等しい色値を露光された画素に割り当てる。
【００２０】
色値を割り当てる前記手段が、画素を制限するために前記元の画像をセグメント化し、前記セグメントが、
・前記境界に対する法線および前記境界と交わる前記境界画素と同一のセグメントに属する画素位置だけから前記輝度値をコピーするための手段と、
・前記露光された領域との最小の接触長さを有するセグメントに属する画素位置だけから前記輝度値をコピーするための手段と
を使用することによって前記露光された画素に輝度値を割り当てるのに使用される。
【００２１】
ユーザが、前記露光された画素に割り当てられなければならない前記輝度値を決定するのにそこからの輝度値を使用することができる区域を明示的に制限する。
【００２２】
不可逆的圧縮技法を使用して圧縮された元の未修正の画像に関して、前記露光された画素に色値を割り当てる前記手段が、
・前記露光された領域に属さないが、前記露光された領域を囲む前記境界画素に対する中央値フィルタリングを実行するための手段であって、中央値フィルタリング・マスクが、前記露光された領域の内側の画素を使用しない、中央値フィルタリングを実行するための手段と、
・前記露光された画素の前記輝度値を判定する間に、前記露光された境界領域に所定の距離より近い画素が使用されないことを保証するための手段と
を含む。
【００２３】
本発明は、さらに、画像操作動作中に露光された画素に色輝度値を割り当てることができる、画像を修正する方法であって、
・元の画像の残りの画素の色輝度値を使用するステップと、
・露光された領域が周囲の領域と滑らかに融合するように、周囲の画素の色値に類似する色値を上記露光された画素に割り当てるステップと
を含む方法を提供する。
【００２４】
上記方法には、ユーザによって露光された画素の手動修正を生成するステップが含まれる。
【００２５】
上記方法には、前記露光された画素の色輝度値を塗りつぶすための前記画像の領域を自動修正するステップが含まれる。
【００２６】
色値を割り当てる前記ステップが、その画素の位置で判定される色輝度値関数に基づいて色輝度の値を割り当てる。
【００２７】
露光された画素に値を割り当てるのに使用される前記色輝度値関数が、先験的に使用可能な画像モデルを使用して決定される。
【００２８】
露光された画素に値を割り当てるのに使用される前記色輝度値関数が、前記露光された領域の境界画素での既知の色輝度値に関数を当てはめることによって決定される。
【００２９】
前記色輝度値関数が、境界条件に加えてエネルギー最小化を使用して近似される。
【００３０】
前記色輝度値関数が、前記エネルギー最小化の制約に使用される滑らかさ汎関数に対する近似として使用される複数点の導関数推定に基づく。
【００３１】
色値を割り当てる前記ステップが、前記露光された領域の前記境界に沿って配置された仮定の鏡を見ることによって見つかる鏡像画素の色輝度値に等しい色値を露光された画素に割り当てる。
【００３２】
色値を割り当てる前記ステップが、画素を制限するために前記元の画像をセグメント化し、前記セグメントが、
・前記境界に対する法線および前記境界と交わる前記境界画素と同一のセグメントに属する画素位置だけから前記輝度値をコピーするステップと、
・前記露光された領域との最小の接触長さを有するセグメントに属する画素位置だけから前記輝度値をコピーするステップと
を使用することによって前記露光された画素に輝度値を割り当てるのに使用される。
【００３３】
前記ユーザが、前記露光された画素に割り当てられなければならない前記輝度値を決定するのにそこからの輝度値を使用することができる区域を明示的に制限する。
【００３４】
不可逆的圧縮技法を使用して圧縮された元の画像に関して、前記露光された画素に色値を割り当てる前記ステップが、
・前記露光された領域に属さないが、前記露光された領域を囲む前記境界画素に対する中央値フィルタリングを実行するための手段であって、中央値フィルタリング・マスクが、前記露光された領域の内側の画素を使用しない、中央値フィルタリングを実行するステップと、
・前記露光された画素の前記輝度値を判定する間に、前記露光された境界領域に所定の距離より近い画素が使用されないことを保証するステップと
を含む。
【００３５】
本発明は、さらに、画像操作動作中に露光された画素に色輝度値を割り当てることができる、画像を修正するためにその中で実施される、コンピュータ可読記憶媒体に保管されたコンピュータ可読プログラム・コードを含むコンピュータ・プログラム製品であって、
・元の画像の残りの画素の色輝度値を使用するように構成されたコンピュータ可読プログラム・コード手段と、
・露光された領域が周囲の領域と滑らかに融合するように、周囲の画素の色値に類似する色値を上記露光された画素に割り当てるように構成されたコンピュータ可読プログラム・コード手段と
を含むコンピュータ・プログラム製品を提供する。
【００３６】
上記コンピュータ・プログラム製品には、露光された画素の手動修正を生成するように構成されたコンピュータ可読プログラム・コード手段が含まれる。
【００３７】
上記コンピュータ・プログラム製品には、前記画像領域の自動修正の結果として露光された画素に色輝度値を塗り潰すように構成されたコンピュータ可読プログラム・コード手段が含まれる。
【００３８】
色値を割り当てるように構成された前記コンピュータ可読プログラム・コード手段が、その画素の位置で判定される色輝度値関数に基づいて色輝度の値を割り当てる。
【００３９】
露光された画素に値を割り当てるのに使用される前記色輝度値関数が、先験的に使用可能な画像モデルを使用して決定される。
【００４０】
露光された画素に値を割り当てるのに使用される前記色輝度値関数が、露光された領域の境界領域での既知の色輝度値に関数を当てはめることによって決定される。
【００４１】
前記色輝度値関数が、境界条件に加えてエネルギー最小化を使用して近似される。
【００４２】
前記色輝度値関数が、前記エネルギー最小化の制約に使用される滑らかさ汎関数に対する近似として使用される複数点の導関数推定に基づく。
【００４３】
色値を割り当てるように構成された前記コンピュータ可読プログラム・コード手段が、前記露光された領域の前記境界に沿って配置された仮定の鏡を見ることによって見つかる鏡像画素の色輝度値に等しい色値を露光された画素に割り当てる。
【００４４】
色値を割り当てるように構成された前記コンピュータ可読プログラム・コード手段が、画素を制限するために前記元の画像をセグメント化し、前記セグメントが、
・前記境界に対する法線および前記境界と交わる前記境界画素と同一のセグメントに属する画素位置だけから前記輝度値をコピーするように構成されたコンピュータ可読プログラム・コード手段と、
・前記露光された領域との最小の接触長さを有するセグメントに属する画素位置だけから前記輝度値をコピーするように構成されたコンピュータ可読プログラム・コード手段と
を使用することによって前記露光された画素に輝度値を割り当てるのに使用される。
【００４５】
ユーザが、前記露光された画素に割り当てられなければならない前記輝度値を決定するのにそこからの輝度値を使用することができる区域を明示的に制限する。
【００４６】
不可逆的圧縮技法を使用して圧縮された元の画像に関して、前記露光された画素に色値を割り当てるように構成された前記コンピュータ可読プログラム・コード手段が、
・前記露光された領域に属さないが、前記露光された領域を囲む前記境界画素に対する中央値フィルタリングを実行するように構成された前記コンピュータ可読プログラム・コード手段であって、中央値フィルタリング・マスクが、前記露光された領域の内側の画素を使用しない、中央値フィルタリングを実行するように構成されたコンピュータ可読プログラム・コード手段と、
・前記露光された画素の前記輝度値を判定する間に、前記露光された境界領域に所定の距離より近い画素が使用されないことを保証するように構成されたコンピュータ可読プログラム・コード手段と
を含む。
【００４７】
【発明の実施の形態】
これから、添付図面に関して本発明を説明する。
【００４８】
図１に、手動画像修正中に用いられるステップの流れ図を示す。さまざまな画像の操作および修正の作業によって、色輝度値を全く割り当てられていない「露光された画素」が生成される。そのような空白画素は、ユーザが、ある画像編集ソフトウェアのグラフィカル・ユーザ・インターフェースを使用して画像内の注目する領域を手動で選択する時に生成される可能性がある。図１には、以下のステップが含まれる。
【００４９】
ユーザは、削除、移動、スケールダウン、および回転などの動作を行うために、画像編集ツールを使用して注目する領域を選択する（１Ａ．１）。その後、所望の動作が実行され（１Ａ．２）、修正された画像内に空白画素が生成される（１Ａ．３）。修正された画像の視覚的に許容可能な版を得るために、これらの画素に色輝度値が割り当てられる（１Ａ．４）。その結果は、露光された領域が、周囲の背景領域と実質的に区別不能な形で、露光された画素が色輝度値を用いて塗り潰されたレンダリングされた画像である（１Ａ．５）。
【００５０】
露光された領域は、図２に示されているように、元の画像に対する自動画像操作タスクの結果として生成される場合もある。そのような自動修正ステップでは、画像に存在するオブジェクトを異なる形で修正する前に、それらを抽出するために画像セグメント化が使用される場合がある。以下のステップは、自動画像修正中に用いられる。自動画像操作タスクによって、画像画素が露光される（１Ｂ．１）。色値を有しない空白画素を有する画像（１Ｂ．２）を、塗り潰して、すべての露光された画素に色値を割り当てる（１Ｂ．３）。したがって、修正された画像が、視覚的に許容可能な形でレンダリングされる（１Ｂ．４）。
【００５１】
図３に、ユーザが太陽を画像の右側に移動することを望む、日没の画像の例を示す。ユーザは、太陽に対応する画像内の画素を選択し、選択された領域を右に向かって移動する。これによって、画像内の太陽の元の位置に空白の穴が作成される。この領域の画素は、もはや色輝度値を割り当てられていない。この露光された領域を、塗り潰す必要がある、すなわち、色輝度値を割り当て、その結果、露光された領域が空（そら）の背景と融合し、元の領域が空（そら）の領域と区別不能になるようにしなければならない。
【００５２】
図４に、エネルギー関数を最小化することによって、露光された画素を塗り潰す方法の流れ図を示す。
【００５３】
露光された画素を有する画像で、境界画素（ｘi，ｙi）の集合を判定して（３．１）、滑らかさ特性関数Ｓfを選択し（３．２）、領域に対して制約される、位置（ｘi，ｙi）の画素の集合の値ｇiの関数「ｆ」をＳfに当てはめる（３．３）。各露光された画素（ｘ，ｙ）の輝度＝ｆ（ｘ，ｙ）である（３．４）。その後、すべての画素を塗り潰された画像をレンダリングする（３．５）。
【００５４】
基本的な発想は、関数を境界画素の色値に当てはめ、露光された画素の位置でのこの関数の見積もられた値を使用して、その画素を塗り潰すことである。境界画素の色値に当てはめられる関数に関して、ある滑らかさを仮定する。
【００５５】
ｆ（ｘ，ｙ）が、画像内の画素位置または回転変換された画素の関数であるものとする。位置
【数１】
0003953332.tif 000002
が、候補画像領域の境界画素の集合であるものとし（３．１）、ｇiが、位置（ｘi，ｙi）の第ｉ境界画素での画素色輝度値であるものとする（３．１）。候補領域内の位置（ｘ，ｙ）の画素色ｆ（ｘ，ｙ）は、次式を最小化することによって得られる（３．４）。
【００５６】
【数２】
0003953332.tif 000003
【００５７】
ここで、Ｓfは、関数ｆの滑らかさの尺度である。Ｓf（３．２）は、次の形である。
【００５８】
【数３】
0003953332.tif 000004
【００５９】
【数４】
0003953332.tif 000005
は、曲率汎関数であり、
【数５】
0003953332.tif 000006
は、勾配汎関数である。曲率汎関数の最小化によって、最小限の曲がりを有する補間された面が保証され、勾配汎関数の最小化は、平坦な（一定の）補間された面になる。Ｓf（３．２）の選択は、露光された領域を囲む画素値に依存する。周囲の画素値が、たとえば正規化された標準偏差を使用して測定されたものなどの、強い輝度変動を有する場合に、曲率最小化を実行することが好ましい。変動がわずかである場合には、勾配最小化が好ましい。
【００６０】
【数６】
0003953332.tif 000007
である場合には、Ｅの最小化が、ある境界条件を伴う、δ（ｉ）ｆ（ｘi，ｙi）＋λ［ｆxx＋ｆyy］＝δ（ｉ）ｇiの形の偏微分方程式につながる。
【数７】
0003953332.tif 000008
の場合にδ（ｉ）＝１、
【数８】
0003953332.tif 000009
の場合にδ（ｉ）＝００１である。ｆxx（ｉ）およびｆyy（ｉ）は、ベーム（Wolfgang Boehm）およびプロイチ（Hartmut Prautzsch）共著、「Numerical Methods」、AK Peters刊、１９９２年、第１３２ないし１３３ページなどの従来技術で報告された、定差方程式の多数の変形形態を使用して実施することができる。その一例が、次式である。
ｆxx＝ｆ（ｉ−１）−２ｆ（ｉ）＋ｆ（ｉ＋１）
これは、３点定差方式である。ｆxx（ｉ）＝２ｆ（ｉ）−５ｆ（ｉ＋１）＋４ｆ（ｉ＋２）−ｆ（ｉ＋３）またはｆxx（ｉ）＝−ｆ（ｉ−３）＋４ｆ（ｉ−２）−５ｆ（ｉ−１）＋２ｆ（ｉ）などの４点定差方式など、より多くの点をｆxx（ｉ）およびｆyy（ｉ）の計算に使用することができる。多数の点が導関数の計算に使用される場合には、本質的に、周囲の画素からのより多くの情報が、露光された画素の輝度値の計算に使用される。しかし、多数の点を使用すると、塗潰し動作の速度が低下する。
【００６１】
境界条件によって、画素レンダリングの実行が制御され、境界条件は、周囲の画素の輝度の変動に基づいて選択されなければならない。変動がわずかである場合には、ｆxx（ｉ）およびｆyy（ｉ）が、境界画素で０であると仮定される。そうでない場合には、境界で、０の曲率値が強制される。
【００６２】
図５に、当てはめられる関数に対して滑らかさおよび連続性の制限をおかない、代替実施形態の流れ図を示す。この方法では、露光された領域の境界のすべてに沿って鏡が置かれたと仮定することによって、閉領域の外の画素から色輝度値をコピーする。この方法は、露光された領域内の各画素（ｘ，ｙ）を識別し（４．１）、その「鏡像」画素の色輝度値をこの露光された画素に割り当てることによって進行する。「鏡像」画素は、元の画像の露光された領域の境界上の最も近い露光されない画素（ｘn，ｙn）を突き止める（４．２）ことによって発見される。露光された画素を最も近い境界画素につなぐ線が、実際に、その最も近い境界画素での領域境界に対する法線であるという原理を使用して、鏡像画素を、整数算術を使用して簡単に見つけることができる。この鏡像画素は、次式によって判定される。
ｄｘ＝ｘn−ｘ
ｄｙ＝ｙn−ｙ  （４．３）
ｘm＝ｘn＋ｄｘ
ｙm＝ｙn＋ｄｙ  （４．４）
この形ですべての露光された画素に輝度値を割り当てた後に（４．６）、すべて塗り潰された画素を有するレンダリングされた画像が得られる（４．７）。
【００６３】
図６に、鏡映手法を使用して画素に輝度値を割り当てる方法を示す。露光された画素（ｘ，ｙ）に、（ｘm，ｙm）の画素の色輝度値を割り当てる。露光された領域の色輝度値は、その領域を囲む領域に類似し、露光された領域内の個々の画素は、符号の変化を有する、その領域を囲む領域に類似する高次の導関数を有する。高次の導関数は、境界画素では連続していない可能性があるが、値の鏡映に起因して、境界画素ではすべて０である。近似輝度関数ｆは、画素値が外側から複製されるので、露光された領域の外の領域に類似する滑らかさ特性を保持する。この、画素を鏡映して露光された領域を塗り潰す方式では、露光された領域を囲む領域に存在するテクスチャが保存され、したがって、修正された画像が現実的にレンダリングされる。
【００６４】
露光された画素を色輝度値で塗り潰すことによって露光された領域を有する画像をレンダリングする好ましい実施形態を、これから説明する。この処理は、色輝度値を割り当てられなければならない画素を有する閉領域を識別することから開始される。その後、色輝度値が露光された画素にコピーされる元の画像の画素を、判定する。これは、元の画像の色セグメント化を行うことによって識別される。画像セグメント化では、元の画像が、画像内の各画素に一意のラベルを割り当てるセグメントに区分される。そのような色に基づく画像セグメント化では、通常は、画像内の「オブジェクト」が抽出され、画像のオブジェクト・レベルのビューが生成される。通常、手動または自動の画像操作ステップで、１つまたは複数のセグメント全体の組み合わせに属する画素が露光される。
【００６５】
図７に、鏡像が、最も近い境界画素と同一のセグメント内にない露光された画素を示す。露光された領域内の画素（ｘ，ｙ）のそれぞれについて、その鏡像画素（ｘm，ｙm）は、上で輪郭を示したように、下で説明する追加の制約付きで判定される。
ａ）現在塗り潰されている露光された画素（ｘ，ｙ）に最も近い境界画素（ｘn，ｙn）について、セグメント・ラベルｓnを判定する。
ｂ）真の鏡像画素（ｘm，ｙm）について、セグメント・ラベルｓmを判定する。
ｃ）セグメント・ラベルｓnおよびｓmが同一でない場合には、真の鏡像画素（ｘm，ｙm）は、露光された画素（ｘ，ｙ）の塗潰しに使用されない。これによって、露光された領域が、露光された領域に接触しないオブジェクト／背景からではなく、元の画像内でそれを囲むオブジェクトまたは背景に属する画素だけを用いて塗り潰されることが保証される。新しい画素（ｘ’m，ｙ’m）が、点（ｘn，ｙn）での境界に対する法線の向きに沿って、それがセグメント・ラベルｓnを有するように決定される。そのような方式の１つが、２進手法を使用し、境界画素（ｘn，ｙn）からの露光された画素（ｘ，ｙ）の変位（ｄｘ，ｄｙ）を半分にし、画素位置（ｘn＋ｄｘ／２，ｙn＋ｄｙ／２）のセグメント・ラベルがセグメント・ラベルｓnを有するかどうかを検査することである。そうである場合には、この画素の輝度値を使用して、露光された画素にコピーし、そうでない場合には、変位（ｄｘ，ｄｙ）をさらに半分にする。この処理は、セグメント・ラベルｓnを有する画素が見つかるまで継続するか、固定された反復回数だけ繰返し、その後、ヒューリスティックを使用して、たとえばセグメント・ラベルｓnを有する画素の色輝度の平均によって、露光された画素を塗り潰す輝度値を選択することができる。
ｄ）実世界の画像の現実的なレンダリングのために、露光された領域が、前景オブジェクトに属し、露光された画素が、露光された領域に連続する可能性がある他の前景オブジェクトからではなく、背景オブジェクトからの輝度値を用いて塗り潰される必要があると仮定する。この方式では、まず、露光された領域に接触するすべてのセグメントの接触比率を判定する。セグメントｓiの接触比率は、露光された領域の境界画素の総数に対する、セグメントｓiが露光された領域と共有する境界画素の数の比率である。その後、露光された画素に最も近い境界画素（ｘn，ｙn）を決定する間に、この境界画素が属するセグメントｓnが、所定の比率、たとえば２０％未満の接触比率を有する場合に、この境界画素を無視し、次に近い境界画素を見つける。この処理を、２０％を超える接触比率を有するセグメント・ラベルを有する最も近い境界画素が見つかるまで繰り返す。
【００６６】
隣接する画素に、互いに近くない画素からの値が割り当てられる場合に、鏡映手法によって非現実的なレンダリングが行われる場合がある。これらのアーチファクトは、隣接する露光された画素の２つの最短法線の間の角度が大きい時に生じる。これが発生する時には、必ず、露光された画素への値が、互いに近傍にあるのではなく、周囲の領域内で離れた画素から割り当てられる。したがって、これらの値は、非常に異なる可能性があり、したがって、露光された画素位置で特異性が生成される可能性がある。この効果は、すべての露光された画素について、境界に対する複数の最短法線を判定することによって最小化される。一方の法線は、境界に対する最短法線であり、他方の法線は、法線長さの昇順で選択される。もう１つの好ましい実施形態では、最短法線に加えて、さらに２つの法線を使用する。
【００６７】
図８に、レンダリングされた画像のアーチファクトにつながる可能性がある、露光された画素を示す。このような露光された画素は、最短法線と他の法線の間の角度が、固定された閾値、たとえば４５°を超える場合に生じる可能性がある。この種の露光された画素を、特殊な画素としてマークする。そのような場合に、すべての露光された画素に輝度値を割り当てた後に、平均または中央値などの低域フィルタを特殊な画素に適用し、その結果、アーチファクトがある場合に、それを減らすことができる。
【００６８】
代替実施形態では、画素輝度値をそこからコピーできる領域を決定するのに、画像セグメント化を使用しない。その代わりに、ユーザが、鏡映を行うことができる領域の境界を明示的に指定することができる。
【００６９】
図９に、不可逆的圧縮された画像内の露光された画素に輝度値を割り当てる流れ図を示す。ＪＰＥＧなどの不可逆的圧縮技法を使用してサイズを圧縮された画像に好ましいこの実施形態では、露光された画素を塗り潰す方法で、最終的にレンダリングされる画像の視覚的品質を高めるために追加の一連のステップが用いられる。不可逆的圧縮された画像の露光された画素に色値を割り当てるステップを、下で説明する。
【００７０】
露光された画素を有する不可逆的圧縮された画像（８．１）について、ｘ，ｙ＝露光された画素（８．２）、ｘn，ｙn＝露光された領域の境界上でｘ，ｙに最も近い露光されない画素（８．３）であるものとして、露光されない画素だけを使用して、ｘn，ｙnで中央値フィルタリングを実行する（８．４）。
ｄｘ＝ｘn−ｘ，ｄｙ＝ｙn−ｙ  （８．５）
Ｉｆ  （ａｂｓ（ｄｘ）＜ＭＩＮ）  ｔｈｅｎ
ｄｘ＝ＭＩＮ＊ｓｉｇｎ（ｄｘ）
ｉｆ  （ａｂｓ（ｄｙ）＜ＭＩＮ）  ｔｈｅｎ
ｄｙ＝ＭＩＮ＊ｓｉｇｎ（ｄｙ）  （８．６）
ｘm＝ｘn＋αｄｘ，ｙm＝ｙn＋αｄｙ  （８．７）
【００７１】
その後、（ｘ，ｙ）での輝度＝（ｘm，ｙm）での輝度（８．８）。すべての画素に輝度値を割り当てた場合（８．９）、すべての画素に輝度値を割り当てられたレンダリングされた画像（８．１０）が得られ、そうでない場合には、次の露光された画素（ｘ，ｙ）に対する処理（８．２）を継続する。
【００７２】
不可逆的圧縮された画像のエッジは、鋭くない。したがって、そのような画像のオブジェクト・レベルの操作では、露光された領域の境界の外側の画素であって、元の画像の露光された領域の内側の色輝度値に似る色輝度値を有する画素が残される。上で述べた輝度関数補間および画素鏡映の方式では、露光された領域の画素だけが塗り潰され、これによって、露光されなかったが周囲の領域の輝度値と十分異なる輝度値を有する鋭くないエッジの画素に起因する、レンダリングされた画像の奇妙なアーチファクトが作られ、視覚的に特異なものが引き起こされる可能性がある。提案された方式では、露光された領域の外側の画素に対する、露光された領域の境界に沿った中央値フィルタリングを使用することによって、これらの領域の斑点が除去される。
【００７３】
さらに、この方式では、鏡映距離が、少なくとも所定の最少距離、たとえば３画素より大きいことが保証される。これによって、露光された画素が、境界から十分に遠い画素からの輝度値を得ることが保証され、したがって、鋭くないエッジの効果を被らない。
【００７４】
まとめとして、本発明の構成に関して以下の事項を開示する。
【００７５】
（１）画像操作動作中に露光された画素に色輝度値を割り当てることができる、画像を修正するシステムであって、
元の画像の残りの画素の色輝度値を使用するための手段と、
露光された領域が周囲の領域と滑らかに融合するように、周囲の画素の色値に類似する色値を上記露光された画素に割り当てるための手段と
を含むシステム。
（２）前記画像の手動修正に起因して画素が露光される時に色値を割り当てるための手段を含む、上記（１）に記載のシステム。
（３）前記画像の自動修正に起因して画素が露光される時に色値を割り当てるための手段を含む、上記（１）に記載のシステム。
（４）色値を割り当てる前記手段が、その画素の位置で判定される色輝度値関数に基づいて色輝度の値を割り当てる、上記（１）に記載のシステム。
（５）露光された画素に値を割り当てるのに使用される前記色輝度値関数が、先験的に使用可能な画像モデルを使用して決定される、上記（４）に記載のシステム。
（６）露光された画素に値を割り当てるのに使用される前記色輝度値関数が、前記露光された画素の境界領域内の画素の既知の色輝度値に関数を当てはめることによって決定される、上記（４）に記載のシステム。
（７）前記色輝度値関数が、境界条件に加えてエネルギー最小化を使用して近似される、上記（６）に記載のシステム。
（８）前記色輝度値関数が、前記エネルギー最小化の制約に使用される滑らかさ汎関数に対する近似として使用される複数点の導関数推定に基づく、上記（６）に記載のシステム。
（９）色値を割り当てる前記手段が、前記露光された領域の前記境界に沿って配置された仮定の鏡を見ることによって見つかる鏡像画素の色輝度値に等しい色値を露光された画素に割り当てる、上記（１）に記載のシステム。
（１０）色値を割り当てる前記手段が、画素を制限するために前記元の画像をセグメント化し、前記セグメントが、
前記境界に対する法線および前記境界と交わる前記境界画素と同一のセグメントに属する画素位置だけから前記輝度値をコピーするための手段と、
前記露光された領域との最小の接触長さを有するセグメントに属する画素位置だけから前記輝度値をコピーするための手段と
を使用することによって前記露光された画素に輝度値を割り当てるのに使用される、上記（１）に記載のシステム。
（１１）ユーザが、前記露光された画素に割り当てられなければならない前記輝度値を決定するのにそこからの輝度値を使用することができる区域を明示的に制限する、上記（１）に記載のシステム。
（１２）不可逆的圧縮技法を使用して圧縮された元の画像に関して、前記露光された画素に色値を割り当てる前記手段が、
前記露光された領域に属さないが、前記露光された領域を囲む前記境界画素に対する中央値フィルタリングを実行するための手段であって、中央値フィルタリング・マスクが、前記露光された領域の内側の画素を使用しない、中央値フィルタリングを実行するための手段と、
前記露光された画素の前記輝度値を判定する間に、前記露光された境界領域に所定の距離より近い画素が使用されないことを保証するための手段と
を含む、上記（１）に記載のシステム。
（１３）画像操作動作中に露光された画素に色輝度値を割り当てることができる、画像を修正する方法であって、
元の画像の残りの画素の色輝度値を使用するステップと、
露光された領域が周囲の領域と滑らかに融合するように、周囲の画素の色値に類似する色値を上記露光された画素に割り当てるステップと
を含む方法。
（１４）ユーザによる画像領域の手動修正の結果として画素が露光される時に色値を割り当てるステップを含む、上記（１３）に記載の方法。
（１５）前記画像領域の自動修正の結果として画素が露光される時に色値を割り当てるステップを含む、上記（１３）に記載の方法。
（１６）色値を割り当てる前記ステップが、その画素の位置で判定される色輝度値関数に基づいて色輝度の値を割り当てる、上記（１３）に記載の方法。
（１７）露光された画素に値を割り当てるのに使用される前記色輝度値関数が、先験的に使用可能な画像モデルを使用して決定される、上記（１６）に記載の方法。
（１８）露光された画素に値を割り当てるのに使用される前記色輝度値関数が、前記露光された画素の境界領域内の画素の既知の色輝度値に関数を当てはめることによって決定される、上記（１６）に記載の方法。
（１９）前記色輝度値関数が、境界条件に加えてエネルギー最小化を使用して近似される、上記（１８）に記載の方法。
（２０）前記色輝度値関数が、前記エネルギー最小化の制約に使用される滑らかさ汎関数に対する近似として使用される複数点の導関数推定に基づく、上記（１８）に記載の方法。
（２１）色値を割り当てる前記ステップが、前記露光された領域の前記境界に沿って配置された仮定の鏡を見ることによって見つかる鏡像画素の色輝度値に等しい色値を露光された画素に割り当てる、上記（１３）に記載の方法。
（２２）色値を割り当てる前記ステップが、画素を制限するために前記元の画像をセグメント化し、前記セグメントが、
前記境界に対する法線および前記境界と交わる前記境界画素と同一のセグメントに属する画素位置だけから前記輝度値をコピーするステップと、
前記露光された領域との最小の接触長さを有するセグメントに属する画素位置だけから前記輝度値をコピーするステップと
を使用することによって前記露光された画素に輝度値を割り当てるのに使用される、上記（１３）に記載の方法。
（２３）前記ユーザが、前記露光された画素に割り当てられなければならない前記輝度値を決定するのにそこからの輝度値を使用することができる区域を明示的に制限する、上記（１３）に記載の方法。
（２４）不可逆的圧縮技法を使用して圧縮された元の画像に関して、前記露光された画素に色値を割り当てる前記ステップが、
前記露光された領域に属さないが、前記露光された領域を囲む前記境界画素に対する中央値フィルタリングを実行するための手段であって、中央値フィルタリング・マスクが、前記露光された領域の内側の画素を使用しない、中央値フィルタリングを実行するステップと、
前記露光された画素の前記輝度値を判定する間に、前記露光された境界領域に所定の距離より近い画素が使用されないことを保証するステップと
を含む、上記（１３）に記載の方法。
（２５）画像操作動作中に露光された画素に色輝度値を割り当てることができる、画像を修正するためにその中で実施される、コンピュータ可読記憶媒体に保管されたコンピュータ可読プログラム・コードを含むコンピュータ・プログラム製品であって、
元の画像の残りの画素の色輝度値を使用するように構成されたコンピュータ可読プログラム・コード手段と、
露光された領域が周囲の領域と滑らかに融合するように、周囲の画素の色値に類似する色値を上記露光された画素に割り当てるように構成されたコンピュータ可読プログラム・コード手段と
を含むコンピュータ・プログラム製品。
（２６）画像領域の手動修正の結果として露光された画素に色値を割り当てるように構成されたコンピュータ可読プログラム・コード手段を含む、上記（２５）に記載のコンピュータ・プログラム製品。
（２７）前記画像領域の自動修正の結果として露光された画素に色値を割り当てるように構成されたコンピュータ可読プログラム・コード手段を含む、上記（２５）に記載のコンピュータ・プログラム製品。
（２８）色値を割り当てるように構成された前記コンピュータ可読プログラム・コード手段が、その画素の位置で判定される色輝度値関数に基づいて色輝度の値を割り当てる、上記（２５）に記載のコンピュータ・プログラム製品。
（２９）露光された画素に値を割り当てるのに使用される前記色輝度値関数が、先験的に使用可能な画像モデルを使用して決定される、上記（２８）に記載のコンピュータ・プログラム製品。
（３０）露光された画素に値を割り当てるのに使用される前記色輝度値関数が、露光された画素の境界領域内の画素の既知の色輝度値に関数を当てはめることによって決定される、上記（２８）に記載のコンピュータ・プログラム製品。
（３１）前記色輝度値関数が、境界条件に加えてエネルギー最小化を使用して近似される、上記（３０）に記載のコンピュータ・プログラム製品。
（３２）前記色輝度値関数が、前記エネルギー最小化の制約に使用される滑らかさ汎関数に対する近似として使用される複数点の導関数推定に基づく、上記（３０）に記載のコンピュータ・プログラム製品。
（３３）色値を割り当てるように構成された前記コンピュータ可読プログラム・コード手段が、前記露光された領域の前記境界に沿って配置された仮定の鏡を見ることによって見つかる鏡像画素の色輝度値に等しい色値を露光された画素に割り当てる、上記（２５）に記載のコンピュータ・プログラム製品。
（３４）色値を割り当てるように構成された前記コンピュータ可読プログラム・コード手段が、画素を制限するために前記元の画像をセグメント化し、前記セグメントが、
前記境界に対する法線および前記境界と交わる前記境界画素と同一のセグメントに属する画素位置だけから前記輝度値をコピーするように構成されたコンピュータ可読プログラム・コード手段と、
前記露光された領域との最小の接触長さを有するセグメントに属する画素位置だけから前記輝度値をコピーするように構成されたコンピュータ可読プログラム・コード手段と
を使用することによって前記露光された画素に輝度値を割り当てるのに使用される、上記（２５）に記載のコンピュータ・プログラム製品。
（３５）ユーザが、前記露光された画素に割り当てられなければならない前記輝度値を決定するのにそこからの輝度値を使用することができる区域を明示的に制限する、上記（２５）に記載のコンピュータ・プログラム製品。
（３６）不可逆的圧縮技法を使用して圧縮された元の画像に関して、前記露光された画素に色値を割り当てるように構成された前記コンピュータ可読プログラム・コード手段が、
前記露光された領域に属さないが、前記露光された領域を囲む前記境界画素に対する中央値フィルタリングを実行するように構成された前記コンピュータ可読プログラム・コード手段であって、中央値フィルタリング・マスクが、前記露光された領域の内側の画素を使用しない、中央値フィルタリングを実行するように構成されたコンピュータ可読プログラム・コード手段と、
前記露光された画素の前記輝度値を判定する間に、前記露光された境界領域に所定の距離より近い画素が使用されないことを保証するように構成されたコンピュータ可読プログラム・コード手段と
を含む、上記（２５）に記載のコンピュータ・プログラム製品。
【図面の簡単な説明】
【図１】本発明による、手動画像修正およびその後の露光された画素のレンダリングの間に用いられるステップを示す流れ図である。
【図２】本発明による、自動画像修正およびその後の露光された画素のレンダリングの間に用いられるステップを示す流れ図である。
【図３】画像操作に起因して生成される露光された領域を有する修正された画像の例を示す図である。
【図４】本発明による、露光された領域を囲む画素値に関数を当てはめ、この関数を使用して露光された画素値を近似する方法を示す流れ図である。
【図５】本発明による、鏡映手法を使用して、露光された画素に輝度値を割り当てるのに使用される方法を示す流れ図である。
【図６】本発明による、鏡映手法を使用して画素に輝度値を割り当てる方法を例示する図である。
【図７】鏡像が最も近い境界画素と同一のセグメントにない、露光された画素の例を示す図である。
【図８】レンダリングされた画像内のアーチファクトにつながる可能性がある、露光された画素の例示的な例を示す図である。
【図９】不可逆的圧縮された画像内の露光された画素に輝度値を割り当てるのに使用される方式の流れ図である。
【符号の説明】
１Ａ．１  ユーザが画像編集ツールを使用して注目する領域を選択するステップ
１Ａ．２  ユーザが、画像画素を露光する画像操作作業を行うステップ
１Ａ．３  色値を有しない空白画素を有する画像が生成されるステップ
１Ａ．４  すべての露光された画素に色値を割り当てるために画像を塗り潰すステップ
１Ａ．５  修正されたレンダリングされた画像
１Ｂ．１  自動画像操作タスクによって、画像画素が露光されるステップ
１Ｂ．２  色値を有しない空白画素を有する画像
１Ｂ．３  画像を塗り潰して、すべての露光された画素に色値を割り当てるステップ
１Ｂ．４  修正されたレンダリングされた画像
３．１  境界画素（ｘi，ｙi）の集合を判定するステップ
３．２  滑らかさ特性関数Ｓｆを選択するステップ
３．３  領域に対して制約される、位置（ｘi，ｙi）の画素の集合の値ｇiの関数「ｆ」をＳfに当てはめるステップ
３．４  各露光された画素（ｘ，ｙ）の輝度＝ｆ（ｘ，ｙ）にするステップ
３．５  すべての画素を塗り潰された画像をレンダリングするステップ
４．１  露光された領域内の各画素（ｘ，ｙ）を識別するステップ
４．２  元の画像の露光された領域の境界上の最も近い露光されない画素（ｘn，ｙn）を突き止めるステップ
４．３  ｄｘ＝ｘn−ｘ、ｄｙ＝ｙn−ｙ
４．４  ｘm＝ｘn＋ｄｘ、ｙm＝ｙn＋ｄｙ
４．５  （ｘ，ｙ）での輝度＝（ｘm，ｙm）での輝度
４．６  すべての露光された画素に輝度値を割り当てたか
４．７  すべての画素を塗り潰されたレンダリングされた画像
【図１】
0003953332.tif 000010
【図２】
0003953332.tif 000011
【図３】
0003953332.tif 000012
【図４】
0003953332.tif 000013
【図５】
0003953332.tif 000014
【図６】
0003953332.tif 000015
【図７】
0003953332.tif 000016
【図８】
0003953332.tif 000017
【図９】
0003953332.tif 000018