(57)【要約】  背景領域と、この背景領域の一部によって囲まれる関心領域とを有する画像をセグメント化する方法であって、該方法は、画像を表わす開始時のデジタルデータの組を取得するステップと、（１）関心領域の境界を推定するステップと、（２）背景領域の残部からの情報を用いて境界内の関心領域を修復するステップと、（３）開始時のデジタルデータの組と、修復後のデジタルデータの組との間の差を計算し、背景領域の遮蔽解消度を表わす結果を得るステップと、（４）推定境界の位置を移動し、さらなる世代の推定境界を生成するステップと、（５）さらなる世代の推定境界内の領域を修復するステップと、（６）開始時のデジタルデータの組と、修復後のデジタルデータの組との間の差を計算するステップと、最大遮蔽解消度が得られるまでステップ（４）〜（６）の繰返しを続けるステップと、最大遮蔽解消度が得られた時点で関心領域の境界の情報を用い、画像をセグメント化するステップとを含む。
2009512040.tif 000002
【特許請求の範囲】
【請求項１】
背景領域と、前記背景領域の一部によって囲まれる関心領域とを有する画像をセグメント化する方法であって、
前記画像を表わす開始時のデジタルデータの組を取り込むステップと、
（１）前記関心領域の境界を推定するステップと、
（２）前記背景領域の残部からの情報を用いて、前記境界内の前記関心領域を修復するステップと、
（３）前記開始時のデジタルデータの組と、修復後のデジタルデータの組との間の差を計算し、前記背景領域の遮蔽解消度を表わす結果を得るステップと、
（４）前記推定境界の位置を移動し、さらなる世代の推定境界を生成するステップと、
（５）前記さらなる世代の推定境界内の領域を修復するステップと、
（６）前記開始時のデジタルデータの組と、修復後のデジタルデータの組との間の差を計算するステップと、
最大遮蔽解消度が得られるまで、ステップ（４）〜（６）の繰返しを続けるステップと、
前記最大遮蔽解消度が得られた時点で前記関心領域の前記境界の情報を用い、前記画像をセグメント化するステップと
を含む、方法。
【請求項２】
前記遮蔽解消度を表わす結果が、前記推定境界内の領域の大きさによって追加的に決定される請求項１に記載の方法。
【請求項３】
前記遮蔽解消度を表わす結果が、前記開始時のデジタルデータの組と、修復後のデジタルデータの組との間の差の増加及び前記推定境界内の領域の減少に応答して確実にバイアスされる請求項２に記載の方法。
【請求項４】
前記推定境界の位置を移動するステップが、前記遮蔽解消度を表わす結果から導出される情報を用い、前記推定境界の位置をどのように移動させるかを決定することを含む請求項３に記載の方法。
【請求項５】
前記推定境界の位置を移動するステップが、その後の繰返しで、前記遮蔽解消度を表わす結果の改善をもたらすファクタによって決定される方向に、前記境界の位置を移動させることを含む請求項３又は請求項４に記載の方法。
【請求項６】
後続の繰返しで前記推定境界の位置を移動するステップが、前回の繰返しにおける前記開始時のデジタルデータの組と、修復後のデジタルデータの組との間の差の増大から結果的に生じる前記遮蔽解消度を表わす結果の増大に応答して、前記境界内の領域を増大させるように前記境界の一部分を移動させることを含む請求項５に記載の方法。
【請求項７】
後続の繰返しで前記推定境界の位置を移動するステップが、前記境界内の領域の大きさの増加又は前記開始時のデジタルデータの組と、修復後のデジタルデータの組との間の差の減少から結果的に生じる前記遮蔽解消度を表わす結果の減少に応答して、前記境界内の領域を減少させるように前記境界の一部分を移動させることを含む請求項５に記載の方法。
【請求項８】
前記遮蔽解消度を表わす結果が、前記関心領域に関する開始時のデジタルデータの組と、修復後のデジタルデータの組との間の差の一般化されたモーメントである請求項２〜７のいずれかに記載の方法。
【請求項９】
石灰化を含む血管の少なくとも一部の画像を処理することによって、血管の前記石灰化の形状及び大きさを計算する方法であって、
背景領域に対比される前記石灰化の領域を含む血管の少なくとも一部の画像を表わす開始時のデジタルデータの組を取り込むステップと、
（１）前記石灰化の領域の境界を推定するステップと、
（２）前記背景領域の残部からの情報を用い、前記推定境界内の前記石灰化の領域を修復するステップと、
（３）前記開始時のデジタルデータの組と、修復後のデジタルデータの組との間の差を計算し、前記背景領域の遮蔽解消度を表わす結果を得るステップと、
（４）前記推定境界の位置を移動し、さらなる世代の推定境界を生成するステップと、
（５）前記さらなる世代の推定境界内の領域を修復するステップと、
（６）前記開始時のデジタルデータの組と、修復後のデジタルデータの組との間の差を計算するステップと、
最大遮蔽解消度が得られるまで、ステップ（４）〜（６）の繰返しを続けるステップと、
前記最大遮蔽解消度の時点で前記石灰化の境界の情報を用い、前記石灰化の形状及び大きさを計算するステップと
を含む、方法。
【請求項１０】
前景に関心領域を有する画像の背景を再構築する方法であって、
前記画像を表わす開始時のデジタルデータの組を取り込むステップと、
（１）前記前景の前記関心領域の境界を推定するステップと、
（２）前記背景領域の残部からの情報を用い、前記境界内の前記関心領域を修復するステップと、
（３）前記開始時のデジタルデータの組と、修復後のデジタルデータの組との間の差を計算し、前記背景領域の遮蔽解消度を現す結果を得るステップと、
（４）前記推定境界の位置を移動し、さらなる世代の推定境界を生成するステップと、
（５）前記さらなる世代の推定境界内の領域を修復するステップと、
（６）前記開始時のデジタルデータの組と、修復後のデジタルデータの組との間の差を計算するステップと、
最大遮蔽解消度が得られるまでステップ（４）〜（６）の繰返しを続けるステップと
を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、背景領域及び関心領域を含む画像をセグメント化する方法に関する。
【背景技術】
【０００２】
画像修復とは、絵画の加筆に由来する技術であり、喪失又は破損した構造を合法的に再現するものである。デジタル画像修復は空間、空間又は周波数情報を用いて、部分的に破損又は除去された画像を復元するものである。
【０００３】
様々な画像修復技術が公知である。特に、写真、ビデオ、フィルムの画像復元を可能にする技術が公知である。
【０００４】
動的輪郭法つまりスネーク法は、エッジ検出器の局所性の問題を克服するため、セグメント化を目的として、コンピュータビジョン及び医用撮像で幅広く使用されてきた。それらは、本質的な規則性及び画像のエッジに対する選好性を有する曲線である。実際は非常に簡単であるが、初期化の問題を免れず、再パラメータ化を必要とする。
【０００５】
初期化の問題を克服するため、バルーンフォース及び勾配ベクトルフローを含め、幾つかの手法がこれまでに提案されてきた。測地的動的輪郭法では、パラメータ化非依存定式化を導入する。これらのモデルは全て輪郭線を取り扱うだけであり、輪郭線で分離される領域は取り扱わない。
【０００６】
「Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ｏｎ  Ｐｕｒｅ  ａｎｄ  Ａｐｐｌｉｅｄ  Ｍａｔｈｅｍａｔｉｃｓ（４２：５７７−６８４、１９８９）」に記載されたＭｕｍｆｏｒｄ−Ｓｈａｈセグメント化の簡易化に基づき、Ｃｈａｎ及びＶｅｓｅは、「Ａｃｔｉｖｅ  ｃｏｎｔｏｕｒｓ  ｗｉｔｈｏｕｔ  ｅｄｇｅｓ（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ）」で、輪郭線の発展と相まってこの輪郭線によって区切られる領域の平均値の推定を導く、領域に基づくアルゴリズムを提案した。平均値の代りに、より複雑な統計的記述子も提案されている。一連の論文で、Ｐａｒａｇｉｏｓ及びＤｅｒｉｃｈｅは、「Ｇｅｏｄｅｓｉｃ  ａｃｔｉｖｅ  ｒｅｇｉｏｎｓ：ａ  ｎｅｗ  ｐａｒａｄｉｇｍ  ｔｏ  ｄｅａｌ  ｗｉｔｈ  ｆｒａｍｅ  ｐａｒｔｉｔｉｏｎ  ｐｒｏｂｌｅｍｓ  ｉｎ  ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ（Ｊｏｕｒｎａｌ  ｏｎ  Ｖｉｓｕａｌ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ、１３（１／２）：２４９−２６８、２００２年３月／６月）」で、輪郭線をベースとする項及び領域をベースとする項の両方が使用される測地的動的領域と呼ばれる新しいパラダイムを提案した。コンピュータビジョン及び医用撮像で発生する多種多様な状況に取り組むために、これらの着想の多くの変形例が提案されてきた。
【０００７】
通常の領域ベースの動的輪郭法は、画像が意味論的に有意義な幾つかの領域に分割されることを前提とし、各領域の統計的最適パラメータを動的に回復することを通して、領域を差別化しようとする。例えば、先行技術の方法を図１に示す。ここで、図１Ａはグリーンランド自治領の旗を表わし、図１Ｂは、「擬似分類」として知られる透明レイヤの存在と同様の強度の追加を介して平滑な背景に追加されたオブジェクトを示す。
【０００８】
図１Ａに関連して、輪郭線ベースの動的輪郭法は円のセグメント化を達成することができる。初期化に対して感応するが、各領域の強度／色分布の統計パラメータを使用する領域ベースの動的輪郭法は、２つの領域が同一統計値を有するので、旗内の円を画像の残部から分離することができない。図１Ｂの擬似分類画像に関連して、問題はほとんど見えないエッジ情報による。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明の発明者らは、領域ベースの動的輪郭法を画像修復と共に使用する、代替的なセグメント化の方法を提供することが望ましいと認識した。
【課題を解決するための手段】
【００１０】
本発明の第１態様では、背景領域及び背景領域の一部を遮蔽する関心領域を有する画像をセグメント化する方法であって、
画像を表わす開始時のデジタルデータの組を取り込むステップと、
（１）関心領域の境界を推定するステップと、
（２）背景領域の残部からの情報を用いて、境界内の関心領域を修復するステップと、
（３）開始時のデジタルデータの組と修復後のデジタルデータの組との間の差を計算して、背景領域の遮蔽解消度を表わす結果を得るステップと、
（４）推定境界の位置を移動して、さらなる世代の推定境界を生成するステップと、
（５）さらなる世代の推定境界内の領域を修復するステップと、
（６）開始時のデジタルデータの組と修復後のデジタルデータの組との間の差を計算するステップと、
最大遮蔽解消度が得られるまでステップ（４）、（５）、及び（６）の繰返しを続けるステップと、
最大遮蔽解消度が得られた時点で関心領域の境界の情報を用いて画像をセグメント化するステップと
を含む方法を提供する。
【００１１】
最大遮蔽解消度が結果的に、関心領域の境界に関する最適な情報をもたらすことが理解される。しかし、有用なセグメント化は、遮蔽解消度が最大限に近づくまでステップ（４）、（５）、及び（６）が繰り返される場合にも得ることができる。
【００１２】
遮蔽解消度を表わす結果は、推定境界内の領域の大きさによって、追加的に決定されることが好ましい。
【００１３】
１実施形態では、遮蔽解消度を表わす結果は、開始時のデジタルデータの組と修復後のデジタルデータの組との間の差の増加及び推定境界内の領域の減少に応答して、確実にバイアスされる。
【００１４】
推定境界の位置を移動するステップは、遮蔽解消度を表わす結果から導出される情報を用いて、推定境界の位置をどのように移動させるかを決定することを含むことが好ましい。
【００１５】
推定境界の位置を移動するステップは、その後の繰返しで、遮蔽解消度を表わす結果の改善をもたらすファクタによって決定される方向に、境界の位置を移動させることを含むことがより好ましい。
【００１６】
１実施形態では、その後の繰返しで推定境界の位置を移動するステップは、開始時のデジタルデータの組と修復後のデジタルデータの組との間の差の増加から結果的に生じる遮蔽解消度を表わす結果の増加に応答して、境界内の領域を増大するように境界の一部分を移動させることを含む。
【００１７】
代替的実施形態では、その後の繰返しで推定境界の位置を移動するステップは、前回の繰返しにおける開始時のデジタルデータの組と修復後のデジタルデータの組との間の差の増加から結果的に生じた遮蔽解消度を表わす結果の増加に応答して、境界内の領域を増大するように境界の一部分を移動させることを含む。
【００１８】
遮蔽解消度を表わす結果は、関心領域に関する開始時のデジタルデータの組と修復後のデジタルデータの組との間の差の統計的モーメントの一般化であることが好ましい。
【００１９】
本発明はまた、石灰化を含む血管の少なくとも一部の画像を処理することによって、血管の前記石灰化の形状及び大きさを計算する方法であって、
背景領域に対比される石灰化の領域を含む血管の少なくとも一部の画像を表わす開始時のデジタルデータの組を取り込むステップと、
（１）石灰化の領域の境界を推定するステップと、
（２）背景領域の残部からの情報を用いて、推定境界内の石灰化の領域を修復するステップと、
（３）開始時のデジタルデータの組と、修復後のデジタルデータの組との間の差を計算し、背景領域の遮蔽解消度を表わす結果を得るステップと、
（４）推定境界の位置を移動し、さらなる世代の推定境界を生成するステップと、
（５）さらなる世代の推定境界内の領域を修復するステップと、
（６）開始時のデジタルデータの組と、修復後のデジタルデータの組との間の差を計算するステップと、
最大遮蔽解消度が得られるまでステップ（４）、（５）、及び（６）の繰返しを続けるステップと、
最大遮蔽解消度の時点で石灰化の境界の情報を用いて石灰化の形状及び大きさを計算するステップと
を含む方法も提供する。
【００２０】
本発明はさらに、前景に関心領域を有する画像の背景を再構築する方法であって、
画像を表わす開始時のデジタルデータの組を取り込むステップと、
（１）前景の関心領域の境界を推定するステップと、
（２）背景領域の残部からの情報を用いて、境界内の関心領域を修復するステップと、
（３）開始時のデジタルデータの組と、修復後のデジタルデータの組との間の差を計算して、背景領域の遮蔽解消度を現す結果を得るステップと、
（４）推定境界の位置を移動して、さらなる世代の推定境界を生成するステップと、
（５）さらなる世代の推定境界内の領域を修復するステップと、
（６）開始時のデジタルデータの組と、修復後のデジタルデータの組との間の差を計算するステップと、
最大遮蔽解消度が得られるまでステップ（４）、（５）、及び（６）の繰返しを続けるステップと
を含む方法を提供する。
【００２１】
本発明はまた、上述した本発明を実行するための予めプログラムされた計算手段及び命令セットにも及ぶ。
【００２２】
本発明の実施形態について以下で、実施例として、添付の図面に関連して説明する。
【発明を実施するための最良の形態】
【００２３】
つまり、本発明は動的輪郭の枠組内で新規の方法論を導入する。これは領域をベースとする種類の動的輪郭に属する。本発明では、画像ドメインが２つ（又は幾つかの領域）に分割されることを考慮することなく、以下の問題を考慮する。
【００２４】
関心オブジェクトを含む領域Ωが既知である場合、かつ背景のタイプについて充分な情報が存在する場合、遮蔽された背景画像を構築することが可能であるかもしれない。この問題に対して肯定的な回答が想定される場合、所与の領域Ωが、背景を遮蔽するオブジェクトを含むか否かが次のように問題となる。
【００２５】
前景オブジェクトが占める領域の境界をΩが定める場合、観察される画像とこの領域内に再構築される画像との間には充分に大きい相違が存在するはずである。Ωが像平面Ｄの所与の領域であり、ｕ０が観察される画像であり、ｕ（Ω）＝Ｉ（ｕ０，Ω）が再構築される背景であるならば、これは当然、変分問題を導き、この背景／前景差をＪ（Ω）と呼ぶと、真の領域ｂをＪ（Ω）の極値として求めることができる。この作業の目標は、そのような尺度を最初に一般論として提案し、次いで、Ｃｈａｎ及びＳｈｅｎによって「Ｍａｔｈｅｍａｔｉｃａｌ  ｍｏｄｅｌｓ  ｆｏｒ  ｌｏｃａｌ  ｎｏｎｔｅｘｔｕｒｅ  ｉｎｐａｉｎｔｉｎｇ（Ｓｉａｍ  ｊｏｕｒｎａｌ  ｏｆ  ａｐｐｌｉｅｄ  Ｍａｔｈｅｍａｔｉｃｓ，６２（３）：１０１９−１０４３，２００２）」に開示されたＴＶ画像修復に基本的に対応する、比較的単純な変分画像修復定式化に基づく特定のインスタンス、及び画素値の差に基づく２つの画像間の相違の簡単な尺度を提案することである。そこから、対応する動的輪郭アルゴリズムが導出される。
【００２６】
背景を前景から分離することが必要である。上述の従来のセグメント化では、背景とは異なる特性を有する前景の領域と、前景を取り囲む背景の領域とを弁別する。これによって、領域がセグメント化される。一方で、本発明では、前景が存在しなかったように、前景と背景全体との間の弁別によって画像をセグメント化する。
【００２７】
セグメント化を必要とする前景は、背景を遮蔽するか又は背景と対比される関心領域とみなすことができる。
【００２８】
本発明を以下で、様々な関数を見出すことを可能にするために使用される数学の文脈で説明する。しかし、要約すると、図２に示すように以下のステップを含む。
１．画像が背景領域２及び関心領域４から構成され、関心領域が背景領域の一部を遮蔽すると想定するステップ。
２．背景領域内に位置する関心領域の境界の位置について初期推定を行なうステップ。
３．背景領域に正関数を割り当て、関心領域に負関数を割り当てるステップ。
４．想定した背景領域からの情報を使用して、想定される関心領域つまり前景領域を修復するステップ。
５．原画像の画像修復前の強度値を修復後の画像の強度値と比較し、遮蔽解消品質尺度を導出するステップ。
６．関心領域の想定境界を調整するステップ。
７．ステップ４及び５を繰り返して、背景領域からの情報を用いて想定関心領域を再び修復し、原画像及び修復後の画像の強度値を比較し、遮蔽解消品質尺度を導出するステップ。
８．遮蔽解消品質尺度が最大値に近づき、このようにして下述する収束基準が満たされるまで、ステップ４〜７を繰り返すステップ。この時点で、想定境界は関心領域の実境界と相関する。
９．次いで画像を、（図２Ａに示すように）必要に応じて２つの別々の明瞭な画像にセグメント化するステップ。
【００２９】
本発明では、用語「遮蔽解消」は、背景領域の一部を遮蔽する関心領域を取り除くことを記述するのに使用される。遮蔽解消品質尺度は、境界推定及びしたがって画像修復がどの程度成功したかを数値で示すものである。
【００３０】
本発明を「画像」に関連して説明する。「画像を取り込む」ことによって、本発明が、何らかの撮像手段によって以前に取得された画像、例えば、Ｘ線画像から始まることを含むことは理解される。本発明の出発点は、画像を表わすデジタル情報である。
【００３１】
背景遮蔽解消の概念及び対応する変分式について以下に記載する。該変分式は、動的輪郭発展方程式を導く。
【００３２】
Ｄを画像ドメインとし、Ｄ上に画定される背景画像をｕｂとする。
【数１】
2009512040.tif 000003
を不明の領域とし、ｕｆをサポート
【数２】
2009512040.tif 000004
付きの前景画像とする。観察される画像ｕ０は組合せ演算を通して得られると仮定する。
【数３】
2009512040.tif 000005
基本的問題は、ｕ０から領域
【数４】
2009512040.tif 000006
、ならびにｕｂ及びｕｆに関する情報を決定することができることである。ここで、
【数５】
2009512040.tif 000007
が分かると、画像修復又は遮蔽解消演算
【数６】
2009512040.tif 000008
を用いてｕｂを確実に推定することができると考えられる。以下の２点が仮定される。
１．ｕ０及び
【数７】
2009512040.tif 000009
は、前景領域
【数８】
2009512040.tif 000010
の内側が著しく異なるはずである。
２．前景領域は比較的小さいはずである。
【００３３】
これらの２つの仮定を使用して、Ｄの領域の許容集合Ｐに属する所与の領域Ｑ⊂Ｄに数値スコアを帰属させる、「遮蔽解消品質尺度」を形成する。
【数９】
2009512040.tif 000011
ここで「ラグランジアン」Ｌ：Ｒ×Ｒ×Ｐ→Ｒ（ｘ，ｙ，Ａ）→Ｌ（ｘ，ｙ，Ａ）は、ｘとｙとの間の差の尺度のみならず、その引数の大きさの尺度も組み込む。
【００３４】
真の領域
【数１０】
2009512040.tif 000012
は、Ｊ（Ω）の極値点のはずであり、したがって関数Ｊ（Ω）が極値に達するための必要条件を探す。次のステップは、例えば、Ｘ線又は反射の場合のように、ノイズの多い付加信号ｕｂ＋ｕｆ＋η，ηが何らかのノイズである場合を検討することである。
【００３５】
この付加モデルにより、画像修復の領域でｕ０と
【数１１】
2009512040.tif 000013
との間の相違を測定する初歩的な方法は、画素毎の強度差の関数を合計することから構成される一方、領域の尺度はその面積又はその関数によって与えることができる。これらの尺度を組み込んだ関数Ｌの単純な形は次の通りである。
【数１２】
2009512040.tif 000014
｜Ａ｜は集合Ａの面積を表わし、ｐ＞０、ｑ＝１又は２であり、したがってＪ（Ω）を最大化したい。別の選択肢は、次の通りである。
【数１３】
2009512040.tif 000015
両方の選択肢で、結果的に得られるＪ（Ω）は、Ω上の
【数１４】
2009512040.tif 000016
の「一般化モーメント」、最大化したいモーメントと見ることができる。
【００３６】
上記方程式に提示した通り、Ｊ（Ω）は次の２つの特性によってバイアスされる。
１．原画像及び修復後の画像の強度値間の差
【数１５】
2009512040.tif 000017
。つまり、強度値の差が増大すると、結果的に得られる遮蔽解消品質尺度の値もまた増大する。
２．画像修復される領域Ａ。領域が増大すると、遮蔽解消品質尺度は低下する。
【００３７】
したがって、遮蔽解消品質尺度は、最小可能な領域内の原画像と修復後の画像との間の強度の最大差を見つけることによって、それ自体を最適化しようとする。
【００３８】
本発明は、「Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ  ｕｓｉｎｇ  ａｃｔｉｖｅ  ｃｏｎｔｏｕｒｓ：Ｃａｌｃｕｌｕｓ  ｏｆ  ｖａｒｉａｔｉｏｎｓ  ｏｒ  ｓｈａｐｅ  ｇｒａｄｉｅｎｔｓ？（ＳＩＡＭ  Ｊｏｕｒｎａｌ  ｏｆ  Ａｐｐｌｉｅｄ  Ｍａｔｈｅｍａｔｉｃｓ、６３（６）：２１２８−２１５４，２００３）」のＡｕｂｅｒｔ  ｅｔ  ａｌの形状微分ツール（ｄｅｒｉｖａｔｉｖｅ  ｔｏｏｌｓ）を用いたＪ（Ω）の計算を使用する。Ωの境界をΓとし、Γに対する内向き法線をＮとし、Ｖの方向のＪ（Ω）のガトー微分は、連鎖法則を使用して、次の通りである。
【数１６】
2009512040.tif 000018
【００３９】
輪郭発展方程式を得るために、画像修復ドメインに対する画像修復の形状微分ＩＳ（ｕ０，Ω，Ｖ）を含む第１項のみならず、ラグランジアンＬ（ｘ，ｙ，Ａ）の形状微分を含む第２項も計算する必要がある。
【００４０】
次のステップは、画像修復演算を適用して形状微分関連項を計算することである。
【００４１】
比較的単純な画像修復定式化を使用して本発明を説明してきた。しかし、同方法は様々な他の画像修復法、例えば、エラスティカ画像修復（Ｃｈａｎ及びＳｈｅｎに記載されている）にも適用されることは理解される。
【００４２】
本発明で使用する画像修復定式化は、ｕ＝Ｉ（ｕ０，Ω）が次のように定義されることである。
【数１７】
2009512040.tif 000019
ここで１≦ｒ≦２である。ｒ＝１、ε＝０の場合、これはＣｈａｎ及びＳｈｅｎの全変分画像修復に対応する。それでもなお１＜ｒ＜２のときに、ε＞０と仮定すると、これは最小化の解を一意にし（標準引数はｒ＝２の場合に解の一意性を示し、本発明で使用するｒ及びεの設定の形式的正当化は下で提示する）、画像修復作用素（ｕ０，Ω）→Ｉ（ｕ０，Ω，Ｖ）を定義することを可能にする。
【００４３】
単純な画像修復技術の選択は、部分的に不明の背景に対する高レベルの規則性の想定を可能にし、最終アルゴリズムの有効性のドメインに対する重要な制約である。
【００４４】
次に画像修復関連形状微分の導出を実行する。νがＤに対する検定関数である場合、ｆ（τ）＝ｆ（ｕ＋τν）を定義する。ｕはＦのミニマイザであると仮定されるので、方向ｖのＦの第１変分ｆ´（０）はゼロになるはずであり、それは最適性条件を提供する。
【数１８】
2009512040.tif 000020
【数１９】
2009512040.tif 000021
は
【数２０】
2009512040.tif 000022
の特性関数を表わす。画像修復ＰＤＥは、方程式（７）から引き出されたオイラー・ラグランジェ方程式
【数２１】
2009512040.tif 000023
であり、それは暗黙に、次式によってｕ＝Ｉ（ｕ０，Ω）を定義することを可能にする。
【数２２】
2009512040.tif 000024
【００４５】
Ｆｕがその第１変数及び最後の変数に対して微分可能であると仮定すると、この式は、陰関数の定理によりｕｓ（Ｖ）を計算することを可能にする。
【数２３】
2009512040.tif 000025
Ｆｕの第１変数に対するＦｕの偏微分を表わすＦｕｕは、以下で線形楕円型作用素として明示される。一方、ＦｕｓはＦｕの形状微分を表わし、次のように計算することができる。
【数２４】
2009512040.tif 000026
δΓはΓに沿ったディラック分布である。ガトー微分（４）の第１項は次のように書くことができる。
【数２５】
2009512040.tif 000027
ここでｕ＝Ｉ（ｕ０，Ω）、Ｔ＝（Ｆｕｕ（ｕ，ｕ０，Ω）−１であり、ｘΩはΩの特性関数である。Ｔの形式的随伴式Ｔ＊を用いて、この項は
【数２６】
2009512040.tif 000028
と書き直すことができ、最終的に次のような境界積分として書き直すことができる。
【数２７】
2009512040.tif 000029
【００４６】
ここで作用素
【数２８】
2009512040.tif 000030
に対し、式を提供することができる。Ｄに対する検定関数ｗにｇ（τ）＝（Ｆｕ（ｕ＋τｗ，ｕ０，Ω），ν）を設定すると、作用素Ｆｕｕが次式から得られる。
【数２９】
2009512040.tif 000031
【００４７】
例えば、式（６）を用いて単純に計算すると、
【数３０】
2009512040.tif 000032
が得られ、部分及び適切な境界条件による積分による最後の等式である。ここでＡ［Ｖｕ］が２×２対称行列である場合、
【数３１】
2009512040.tif 000033
となり、それはｒ及びεに対して立てられた仮定の下で、正の定値である。二次形式Ｆｕｕ（ｕ，ｕ０，Ω），（ν），νは、ｆ″（０）、νの変分におけるＦの第２変分であり、方程式（１１）から分かるように正であることにも気付くことができる。これは、画像修復エネルギが狭義の凸関数であることを意味し、ミニマイザの一意性を説明する。式（１２）はＦｕｕ（ｕ，ｕ０，Ω）の式を微分作用素として提供する。
【数３２】
2009512040.tif 000034
【００４８】
正の定値性はここではＦｕｕが形式的に可逆的であることをも暗黙に示し、方程式（１１）及びＡ［▽ｕ］の対称性から、それは自己随伴的である。
【数３３】
2009512040.tif 000035
【００４９】
その結果自己随伴Ｔ＝Ｔ＊である作用素
【数３４】
2009512040.tif 000036
は、ν→Ｔ（ν）によって与えられ、次のような一意の解として定義される。
【数３５】
2009512040.tif 000037
【００５０】
次のステップは、曲線発展方程式を書くことに関係する。これを行なうために、方程式（４）の第２項を計算する必要がある。領域｜Ω｜のＶの方向の形状微分は、−∫Γ（Ｖ・Ｎ）ｄａ（ｘ）によって与えられ、ラグランジアンＬを（３）又は（２）のいずれかによって定義することにより、次式が得られる。
【数３６】
2009512040.tif 000038
【００５１】
これらの計算を全部集めて、ガトー微分
【数３７】
2009512040.tif 000039
が∫ΓＦ（Ｖ・Ｎ）ｄａ（ｘ）によって与えられることが明らかになった。ここでＦは次の通りである。
【数３８】
2009512040.tif 000040
【００５２】
目標は、「遮蔽解消条件」を最大化することである。
【００５３】
これは次の発展方程式
【数３９】
2009512040.tif 000041
を導く。この曲線発展式は、「Ｌｅｖｅｌ  Ｓｅｔ  Ｍｅｔｈｏｄｓ  ａｎｄ  Ｆａｓｔ  Ｍａｒｃｈｉｎｇ  Ｍｅｔｈｏｄｓ：Ｅｖｏｌｖｉｎｇ  Ｉｎｔｅｒｆａｃｅｓ  ｉｎ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｇｅｏｍｅｔｒｙ，Ｆｌｕｉｄ  ＭｅｃｈＮｉｃｓ，Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，ａｎｄ  Ｍａｔｅｒｉａｌｓ  Ｓｃｉｅｎｃｅｓ．（Ｃａｍｂｒｉｄｇｅ  Ｍｏｎｏｇｒａｐｈ  ｏｎ  Ａｐｐｌｉｅｄ  ａｎｄ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｍａｔｈｅｍａｔｉｃｓ，Ｃａｍｂｒｉｄｇｅ  Ｕｎｉｖｅｒｓｉｔｙ  Ｐｒｅｓｓ  １９９９）」のＯｓｈｅｒ−Ｓｅｔｈｉａｎのレベルセットの枠組でφＩ＝Ｆ｜Ｖφ｜と書き換えられる。ここでφは、Γ（ｔ）＝｛φ（ｘ，ｔ）＝０｝及びΩ（ｔ）＝｛φ（ｘ，ｔ）＜０｝を介して、Γ（ｔ）及びΩ（ｔ）を暗黙に表わす。
【００５４】
１次凸空間スキームを用いてこの方程式を解くと、次のようになる。
【数４０】
2009512040.tif 000042
【００５５】
これは次のアルゴリズムを導く。
１．原輪郭Γ０を選択し、符号付き距離関数φ０＝ｄｉｓｔΓ０（ｘ）及びΩ０＝｛ｘ，Ｈ（−φ０（ｘ））＝１｝としてφ０を計算する。ここで、Ｈは１次元ヘビサイド関数である。
２．ｉ＝０〜Ｎ−１である場合、又は収束条件が満たされた場合、
（ａ）画像修復ｕｎ＝Ｉ（ｕ０，Ωｎ）及びＴ（ｘαＬｘ（ｕｎ，ｕ０，Ωｎ）ならびに遮蔽解消尺度Ｊ（Ωｎ）を計算する。
（ｂ）前の計算からＦｎを計算する。
（ｃ）上記スキームによりφｎ＋１を計算する。
（ｄ）そこからΓｎ＋１及びΩｎ＋１を求める。
（ｅ）φｎ＋１を符号付き距離φｎ＋１＝ｄｉｓｔΓｎ＋１（ｘ）として最初期化する。
３．ｕＮ及びΩＮに戻る。
【００５６】
各繰返し時に時間ステップΔｔが
【数４１】
2009512040.tif 000043
として選択される。画像修復Ｉ（ｕ０，Ωｎ）に使用される離散化は、「Ｍａｔｈｅｍａｔｉｃａｌ  ｍｏｄｅｌｓ  ｆｏｒ  ｌｏｃａｌ  ｎｏｎ  ｔｅｘｔｕｒｅ  ｉｎｐａｉｎｔｉｎｇ」（［ＳＩＡＭ  Ｊｏｕｒｎａｌ  ｏｆ  Ａｐｐｌｉｅｄ  Ｍａｔｈｅｍａｔｉｃｓ，６２（３），１０１９−１０４３，２００１］）でＣｈａｎ及びＳｈｅｎによって提案されたものに厳密に従う。デジタル画像修復は、各分解能に１回のＶサイクルで、（「Ａ  Ｍｕｌｔｉｇｒｉｄ  Ｔｕｔｏｒｉａｌ」（ＳＩＡＭ）に掲載された説明に従って）各レベルのＶサイクルが全近似スキーム（ＦＡＳ）を実現する、フルマルチグリッドスキーム（Ｆｕｌｌ  Ｍｕｌｔｉｇｒｉｄ  Ｓｃｈｅｍｅ）を用いて計算される。グリッドトランスファ演算は、最近傍補間が使用されるデジタル特性関数
【数４２】
2009512040.tif 000044
のダウンサイジングを除き、「Ｖａｒｉａｔｉｏｎａｌ  Ｏｐｔｉｃａｌ  Ｆｌｏｗ  Ｃｏｍｐｕｔａｔｉｏｎ  ｉｎ  Ｒｅａｌ  Ｔｉｍｅ」（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，１４（５），６０８−６１５，２００５）に提案されたものを使用する。
【００５７】
ＰＥＤ
【数４３】
2009512040.tif 000045
の解ｗとしてのＴ（ｘΩＬｘ（ｕｎ，ｕ０，Ωｎ））の計算は、注意が必要である。実際、Ａ｜Ｖｕｎ｜が２×２の行列に約分される（１３）においてｒ＝２の自明の場合は別として、発散項は通常空間クロス微分を含む。したがって、離散化には特に注意が必要である。方程式（１６）から生じる線形は再び、各Ｖサイクルで線形マルチレベルソルバーを実現し、フルマルチグリッドスキームで解かれる。
【００５８】
最後に、使用されるヘビサイド関数は、大部分の領域ベースのアルゴリズムをほとんど正則化することなく、実現される。正則化が多すぎると画像修復が偏る。
【００５９】
輪郭を初期推定から修復すべき領域の輪郭に一致するように調整するために使用される反復プロセスの例について、図５に示す実施例を参照しながら以下に説明する。ここで、関心領域８はわずかにノイズのある背景１０に対する前景として示される。
【００６０】
関心領域の輪郭を最終的に定めるための境界の初期推定は、ジラフの形状にある。前述の通り、本発明は、背景の残部からの情報を用いて、推定境界内の領域を修復することに依存する。したがって、本実施例では、ジラフの外側の領域から導出される情報が、ジラフの内側の領域を修復するために使用される。続いて、ジラフの内側の領域のサイズを参照しながら、遮蔽解消品質尺度が原画像と修復後の画像との間の強度値の差に基づいて導出される。
【００６１】
境界は複数の部分に分割されるとみなされる。各部分毎に、遮蔽解消品質尺度から導出される情報に基づいて、決定が下される。例えば、最初にジラフの脚１２について考察する。画像から、この左脚は関心領域に掛からないことが明らかである。したがって、ジラフの全体的な領域が増加するように、左脚の底部の境界の一部分を移動する最初の試みを行なうことが決定される。この自然な動きは、原画像と修復後の画像との間の強度値の差が前回の繰返しのときと同じという結果を生じる。境界内の領域が増大するにつれて、全体的な遮蔽解消品質尺度が低下する。したがって、次の繰返しで、境界のこの特定の部分を、ジラフの全体的領域が結果的に減少するように移動させるべきであることは明らかである。
【００６２】
逆に、ジラフの首１４の左側を検討する場合、この境界が関心領域内に入ることが画像から明らかである。境界のこの部分を、結果的にジラフの領域が増加するように移動させると、原画像と修復後の画像との間の強度値の差異が大きくなる。これは、部分的に、修復部分の領域の増加によってオフセットされる。しかし、全体的な結果は、遮蔽解消品質尺度が増加するか、あるいは同じままであるかのいずれかである。したがって、次の繰返しで、境界のこの部分を、ジラフの全体的領域がさらに増大する結果となるように、移動させるべきであることは明らかである。境界のこの部分が移動しても原画像と修復後の画像との間の強度値の差異が増加しなくなるまで、すなわち境界のこの部分が今や関心領域の外になり、したがって全体的な結果として、遮蔽解消品質尺度が低下するまで、この繰返しプロセスは、境界のこの部分に対して続けられる。
【００６３】
この繰返しプロセスによって、推定境界は、図５（中央の図）に示すように関心領域の輪郭と一致するように徐々に適応される。
【００６４】
合成データのみならず、実データに対しても実行された実験からの結果を、以下に提示する。それらは画像の内容の複雑さのレベルの向上を提示する。これらの実験で使用した画像修復の方法は、正則化された全変分法である。すなわちエネルギがｒ＝１であり、関数Ｌはｑ＝１．０として（２）で提示されたものである。
【００６５】
実験１  図３に示す通り、実験１は、白色の背景に４つの黒色の方形の画像に基づく。したがって、本発明の想定に基づき、セグメント化される２つの領域は、その再構築後の白色の背景、及び４つの黒色の方形の前景である。パラメータはλ＝１、ｐ＝０．２５である。最初の列は、繰返し１、７、１５、及び３０における輪郭発展のスナップショットを示す。これから、繰返しが続くにつれて、輪郭が前景の黒色の方形をより明瞭に画定するようになることが分かる。２列目は対応するドメインを示し、最後の列は画像修復結果を示す。列１の円は、セグメント化の領域の輪郭を見つけるための出発点を提供する。次いで輪郭は、前景領域が描き出されるまで、繰返し適応される。最終列は、セグメント化内の画像修復の結果を示す。
【００６６】
実験２  図４に示す通り、実験２は、ガウスノイズを３０％追加した明るい背景上の暗い非凸オブジェクトに基づく。この実験で、λ＝０．１、ｐ＝０．５５である。これを図４の明るい部分に示す。最初の列は繰返し１、１０、２０、３０の輪郭発展のスナップショットを示す。これから、数学的公式が徐々に前景の形状を明瞭に画定するようになっていることが分かる。２列目は対応するドメインを示し、最後の列は画像修復を示す。
【００６７】
実験３  図５に示す通り、実験３は実験２と同じ画像を使用する。それは初期輪郭のみならず、Ｌにおける領域ペナライザ指数ｐの役割についても多少の安定性を示す。２回の実験を、最初は前の実験と同様にｐ＝０．５５の値で実行し、２回目はｐ＝０．６０の値で実行した。どちらの場合も、画像修復におけるλ加重は０．１に設定した。１回目は、正しいセグメント化が達成され、２回目は、水平楕円の右側の部分を完全に再生することができなかった。図５から分かるように、初期輪郭はジラフの形状であるが、これは前景オブジェクトの形状と一致するように徐々に適応される。
【００６８】
実験４  図６に示す通り、実験４は「擬似分類」画像を示す。この画像は、例えば石灰化の領域の医用撮像に一般的に見られる画像を表わすことができる。この画像は、（強度値を付加することによって）オブジェクトが付加された、平滑な背景（画像座標で４次多項式）から形成される。背景の強度は範囲［０，１］内であるが、付加されたオブジェクトの原強度は一定であり、０．０６５に等しい。実験から、（３）によって与えられた関数Ｌを用いて多少優れた品質尺度を生成することが可能であったが、制御が困難であった。それで、他の実施例の場合と同じ関数を、ｐ＝０．５で使用した。インペインタ（ｉｎｐａｉｎｔｅｒ）／デノイザ（ｄｅｎｏｉｓｅｒ）が背景を平滑化し過ぎることを防止するために、（５）でλ＝８の値を選択した。図６に示す通り、最初の列は原オブジェクト及び擬似分類を示す。次の２列は、２つの異なる初期化に対する異なる繰返しにおける輪郭発展のスナップショットを示す。第２の初期化は、「より独創的」であるが、真の輪郭にも近く、ずっと高速の収束を可能にする（１回目は繰返しが２６０回であるが、２回目は５０回である）。
【００６９】
石灰化の形状の決定に本発明を使用するさらなる実施例を図７Ａ〜Ｉ、図８Ａ〜Ｉ、及び図９Ａ〜Ｉに示す。図７Ａ〜Ｉは、石灰化の領域の境界を最初に無作為に推定することから始まる輪郭発展の様々な繰返しを示す。図が示すように、繰返しが進むにつれて、境界は、石灰化の領域の輪郭と一致するように適応される。この種の技術は、血管、例えば大動脈に見つかる石灰化の位置を特定し、かつ石灰化を評価するのに有用である。図８Ａ〜Ｉは、境界内の領域の対応する画像を示す。図９Ａ〜Ｉは、背景の残部からの情報を用いて境界内の領域が修復された背景の画像を示す。図９Ｉが示すように、石灰化の領域はもはや見えない。
【００７０】
遮蔽解消品質尺度を決定するのに寄与するアルゴリズム及びファクタに従って、境界が石灰化の実領域を超えないことが、図７Ｉから分かる。これに関して、この遮蔽解消品質尺度を計算するために使用される数学は、原画像と修復後の画像との間の強度の差異を結果的に増加することなく、境界の領域を増大させないようにバイアスされる。
【００７１】
図１０Ａ〜１０Ｄは、上述したセグメント化アルゴリズムの頑健さを示す。図１０Ｂから分かるように、アルゴリズムの始めに提供される初期境界は比較的小さく、関心領域と比較して位置がずれている。しかし、この初期の小さい曲線の上でアルゴリズムを使用することにより、その後、セグメント化に使用することのできる有意義な境界に発展する。
【００７２】
実験５  図１１Ａ〜１１Ｆは、石灰化検出方法によって初期化されたセグメント化の結果を示す。この実験では、「Ｓｈａｐｅ  Ｐａｒｔｉｃｌｅ  Ｇｕｉｄｅｄ  Ｔｉｓｓｕｅ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」にＢｒｕｉｊｎｅが記載した石灰化検出方法を用いて石灰化の領域を検出した後で、図１１Ｂ及び１１Ｅに示した初期輪郭が手動的に適用されている。これらの輪郭は、上記のアルゴリズムで初期境界として使用され、その後、アルゴリズムが実行され、関心領域、この場合は石灰化の領域の縁の位置を確定する境界が得られる。
【００７３】
実験６  この実験は、画像の強度範囲の５０％の標準偏差を有し、ガウスノイズを付加したグリーンランドの域旗を使用する。今回は関数Ｌをｐ＝０．８５と共に使用する。輪郭は旗の円形部を背景の残部と区別する。２つのセグメント化領域は円形、及び円形を無視した背景の矩形である。画像修復は、円形内のセグメント化の領域を修復するために、周囲の残部から情報を取り込む。結果を図１２に示す。ここに遮蔽解消尺度の発達もプロットされる。図が示すように、前景領域の画像修復後に行なわれる計算に基づいて、輪郭がセグメント化された領域と一致するまで、遮蔽解消品質尺度は増大し続ける。
【００７４】
実験７  この最後に提示する実験は、本発明の異なる使用を、例えば写真撮影又は特殊効果に使用される場合を示す。やや複雑な入力画像を、オプティカルフロー推定で頻繁に使用されるＥｔｔｌｉｎｇｅｒ−Ｔｏｒシーケンスからの第３フレームと共に使用する。図１３から分かるように、画像は道路とバスの画像である。この場合、道路は背景画像であり、バスは前景画像である。結果は、従来技術のアルゴリズムで得られるより品質はおそらく低いが、本事例の場合のように背景の平滑度の想定が大きくずれた場合でも、記載した本発明により有意な結果を出すことができることを示す。ここで用いられたパラメータは、λ＝０．５であり、かつｐ＝２−７と、非常に小さい値であった。背景は徐々に再構築され、バスが画像から除去されることが分かる。したがって、この技術は様々な用途に、例えば画像復元又は特殊効果に使用することができることが明らかである。
【００７５】
したがって、これらの実験から、導出された輪郭発展方程式を、前景画像が存在する背景を有する画像をセグメント化するために使用した場合、有効であることが分かる。
【００７６】
添付の特許請求の範囲に記載する本出願の範囲内で、説明しかつ図示した実施形態の変化又は変形を行なうことができることが理解される。
【図面の簡単な説明】
【００７７】
【図１Ａ】画像修復のためにセグメント化が要求される例を示す図である。
【図１Ｂ】画像修復のためにセグメント化が要求される別の例を示す図である。
【図２Ａ】本発明で要求されるセグメント化の例を示す概略図である。
【図２Ｂ】本発明で要求されるセグメント化の例を示す概略図である。
【図３】白地に４つの方形ブロックが背景である第１実験の結果を示す図である。
【図４】セグメント化を可能にするために前景の画像を背景画像から分離させる第２実験の結果を示す図である。
【図５】第１の開始時の輪郭線から画定される第２実験の画像を示す図である。
【図６】遮蔽領域のある背景領域を有する画像から始まり、遮蔽領域がセグメント化された画像で終わる、本発明の様々な段階を示す図である。
【図７】血管の石灰化の領域の形状及び大きさを決定するために使用される本発明の実施例を示す図である。
【図８】境界内の領域の進行過程を例証する図７Ａ〜７Ｉの実施例を示す図である。
【図９】境界内の領域が修復されたときの背景画像を例証する図７Ａ及び７Ｉの実施例を示す図である。
【図１０】誤配置された小さい初期輪郭線から始まる本発明の実施例を示す図である。
【図１１】Ｘ線における石灰化の領域の検出から導出された、最初に手動で配置された輪郭線から始まる本発明の実施例を示す図である。
【図１２】グリーンランドの域旗に適用された場合の本発明の実施結果を示す図である。
【図１３】背景画像からバスの画像を除去するために使用された本発明の実施結果を示す図である。
【図１】
2009512040.tif 000046
【図２Ａ】
2009512040.tif 000047
【図２Ｂ】
2009512040.tif 000048
【図３】
2009512040.tif 000049
【図４】
2009512040.tif 000050
【図５】
2009512040.tif 000051
【図６】
2009512040.tif 000052
【図７Ａ−７Ｉ】
2009512040.tif 000053
【図８Ａ−８Ｉ】
2009512040.tif 000054
【図９Ａ−９Ｉ】
2009512040.tif 000055
【図１０Ａ−Ｄ】
2009512040.tif 000056
【図１１Ａ−Ｆ】
2009512040.tif 000057
【図１２】
2009512040.tif 000058
【図１３】
2009512040.tif 000059
【国際調査報告】
2009512040.tif 000060