(57)【要約】  本明細書で説明されるのは、時系列画像をオーバーレイおよび比較するために非線形データ処理アルゴリズムを利用する画像解析システムである。画像解析システムには、少なくとも１つの画像収集装置、非線形データ処理アルゴリズムを動作させる画像処理装置、および少なくとも１つのデータ出力装置を含むことができる。画像処理装置は、試験画像および基準画像を互いにオーバーレイし、かつそれらの間の比較を実行するように動作可能である。線形パラメーターおよび非線形パラメーターは、オーバーレイを実行する際に、画像処理装置によって処理することができる。非線形データ処理アルゴリズムを用いることによって試験画像を基準画像上へオーバーレイするための方法もまた説明される。
2013536500.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの画像収集装置と、
非線形データ処理アルゴリズムを動作させる画像処理装置であって、
試験画像および基準画像を互いにオーバーレイし、かつそれらの間の比較を実行するように動作可能である画像処理装置と、
少なくとも１つのデータ出力装置と、
を含む画像解析システム。
【請求項２】
前記非線形データ処理アルゴリズムが、粒子群最適化法、ニューラルネットワーク、遺伝的アルゴリズム、およびそれらの任意の組み合わせからなる群から選択される、請求項１に記載の画像解析システム。
【請求項３】
前記画像処理装置が、前記試験画像および前記基準画像をオーバーレイする際に、線形パラメーターおよび非線形パラメーターの両方を処理する、請求項１に記載の画像解析システム。
【請求項４】
前記線形パラメーターおよび前記非線形パラメーターが、前記基準画像に対するｘ−平行移動、前記基準画像に対するｙ−平行移動、前記基準画像に対する画像回転、前記少なくとも１つの画像収集装置のずれ、前記基準画像に対する画像倍率、前記基準画像に対する画像色調、前記基準画像に対する画像ゲイン、およびそれらの任意の組み合わせからなる群から選択される、請求項３に記載の画像解析システム。
【請求項５】
各画像には複数の包含物が含まれ、前記画像処理装置が、各画像を複数のセクターに細分するように、かつ前記複数のセクターのそれぞれのためのマッピング係数セットを決定するように動作可能である、請求項３に記載の画像解析システム。
【請求項６】
前記画像処理装置が、前記試験画像内における前記複数のセクターのそれぞれのための目的関数を最小化するように繰り返し動作可能であり、
前記目的関数が、画像エントロピー、ハミング距離、バンドごとのグレーレベル、およびそれらの任意の組み合わせからなる群から選択される、請求項５に記載の画像解析システム。
【請求項７】
前記画像処理装置が、前記マッピング係数セットの決定後に、前記試験画像における各セクターを前記基準画像における対応セクター上へ変形するように動作可能である、請求項５に記載の画像解析システム。
【請求項８】
各セクターが、アフィン変換または透視変換を用いて変形される、請求項７に記載の画像解析システム。
【請求項９】
前記画像処理装置が、前記非線形パラメーターを処理する前に前記線形パラメーターを処理する、請求項５に記載の画像解析システム。
【請求項１０】
前記線形パラメーターの処理が、前記非線形データ処理アルゴリズムによる前記非線形パラメーターの処理の前に、各セクター用に推定マッピング係数セットを提供する、請求項９に記載の画像解析システム。
【請求項１１】
前記画像処理装置が、コンピューター、グラフィカル処理ユニット、およびそれらの任意の組み合わせからなる群から選択される、請求項１に記載の画像解析システム。
【請求項１２】
前記少なくとも１つのデータ出力装置が、コンピューターモニター、電子記憶媒体、プリンター、およびそれらの任意の組み合わせからなる群から選択される、請求項１に記載の画像解析システム。
【請求項１３】
前記少なくとも１つの画像収集装置がカメラを含む、請求項１に記載の画像解析システム。
【請求項１４】
前記少なくとも１つの画像収集装置が、カメラ、共焦点顕微鏡、磁気検出装置、ハイパースペクトル検出装置、マルチスペクトル検出装置、熱検出装置、偏光計検出装置、放射計測装置、およびそれらの任意の組み合わせからなる群から選択される、請求項１に記載の画像解析システム。
【請求項１５】
少なくとも１つの画像収集装置と、
粒子群最適化法、ニューラルネットワーク、遺伝的アルゴリズム、およびそれらの任意の組み合わせからなる群から選択される非線形データ処理アルゴリズムを動作させる画像処理装置であって、
前記画像処理装置が、試験画像および基準画像を互いにオーバーレイし、かつ線形パラメーターおよび非線形パラメーターの両方を処理することによって、前記試験画像および前記基準画像間の比較を実行するように動作可能であり、
各画像が複数の包含物を含む画像処理装置と、
少なくとも１つのデータ出力装置と、
を含む画像解析システム。
【請求項１６】
前記画像処理装置が、前記非線形パラメーターを処理する前に前記線形パラメーターを処理する、請求項１５に記載の画像解析システム。
【請求項１７】
前記非線形パラメーターだけが、前記非線形データ処理アルゴリズムを用いて処理される、請求項１６に記載の画像解析システム。
【請求項１８】
前記線形パラメーターおよび前記非線形パラメーターが、前記基準画像に対するｘ−平行移動、前記基準画像に対するｙ−平行移動、前記基準画像に対する画像回転、前記少なくとも１つの画像収集装置のずれ、前記基準画像に対する画像倍率、前記基準画像に対する画像色調、前記基準画像に対する画像ゲイン、およびそれらの任意の組み合わせからなる群から選択される、請求項１５に記載の画像解析システム。
【請求項１９】
前記画像処理装置が、各画像を複数のセクターに細分するように、かつ前記複数のセクターのそれぞれのためのマッピング係数セットを決定するように動作可能である、請求項１５に記載の画像解析システム。
【請求項２０】
前記画像処理装置が、前記複数のセクターのそれぞれのための目的関数を最小化するように繰り返し動作可能であり、
前記目的関数が、画像エントロピー、ハミング距離、バンドごとのグレーレベル、およびそれらの任意の組み合わせからなる群から選択される、請求項１９に記載の画像解析システム。
【請求項２１】
前記画像処理装置が、前記複数のセクターのそれぞれのための前記マッピング係数セットを決定した後で、前記試験画像における各セクターを前記基準画像における対応セクター上へ変形するように動作可能である、請求項１９に記載の画像解析システム。
【請求項２２】
各セクターが、アフィン変換または透視変換を用いて変形される、請求項２１に記載の画像解析システム。
【請求項２３】
前記画像処理装置が、コンピューター、グラフィカル処理ユニット、およびそれらの任意の組み合わせからなる群から選択される、請求項１５に記載の画像解析システム。
【請求項２４】
前記少なくとも１つのデータ出力装置が、コンピューターモニター、電子記憶媒体、プリンター、およびそれらの任意の組み合わせからなる群から選択される、請求項１５に記載の画像解析システム。
【請求項２５】
前記少なくとも１つの画像収集装置がカメラを含む、請求項１５に記載の画像解析システム。
【請求項２６】
前記少なくとも１つの画像収集装置が、カメラ、共焦点顕微鏡、磁気検出装置、ハイパースペクトル検出装置、マルチスペクトル検出装置、熱検出装置、偏光計検出装置、放射計測装置、およびそれらの任意の組み合わせからなる群から選択される、請求項１５に記載の画像解析システム。
【請求項２７】
複数の包含物を含む基準画像を取得することと、
前記複数の包含物を含む試験画像を取得することと、
非線形データ処理アルゴリズムを用いることによって、前記試験画像を前記基準画像上へオーバーレイすることと、
オーバーレイが行われた後で、前記試験画像と前記基準画像との間のいずれかの差を示す出力を生成することと、
を含む方法。
【請求項２８】
前記非線形データ処理アルゴリズムが、粒子群最適化法、ニューラルネットワーク、遺伝的アルゴリズム、およびそれらの任意の組み合わせからなる群から選択される、請求項２７に記載の方法。
【請求項２９】
前記非線形データ処理アルゴリズムが、粒子群最適化法を含む、請求項２７に記載の方法。
【請求項３０】
前記複数の包含物が可変表面上に位置する、請求項２７に記載の方法。
【請求項３１】
前記非線形データ処理アルゴリズムを用いる前に、前記基準画像および前記試験画像を複数のセクターに分割することをさらに含む、請求項２７に記載の方法。
【請求項３２】
前記非線形データ処理アルゴリズムを用いる前に、前記基準画像における前記対応セクター上への、前記試験画像における前記セクターの粗アライメントを実行することをさらに含む、請求項３１に記載の方法。
【請求項３３】
線形パラメーターおよび非線形パラメーターの両方が、前記試験画像における前記セクターを前記基準画像における前記対応セクター上へオーバーレイするために用いられる、請求項３２に記載の方法。
【請求項３４】
前記線形パラメーターが、前記非線形パラメーターの前に処理される、請求項３３に記載の方法。
【請求項３５】
前記非線形パラメーターだけが、前記非線形データ処理アルゴリズムを用いて処理される、請求項３４に記載の方法。
【請求項３６】
前記線形パラメーターおよび前記非線形パラメーターが、前記基準画像に対するｘ−平行移動、前記基準画像に対するｙ−平行移動、前記基準画像に対する画像回転、前記画像収集装置のずれ、前記基準画像に対する画像倍率、前記基準画像に対する画像色調、前記基準画像に対する画像ゲイン、またはそれらの任意の組み合わせからなる群から選択される、請求項３３に記載の方法。
【請求項３７】
前記試験画像における前記複数のセクター用のそれぞれのためのマッピング係数セットを決定することをさらに含む、請求項３３に記載の方法。
【請求項３８】
所望の収束程度に到達するまで、オーバーレイが繰り返し実行される、請求項３７に記載の方法。
【請求項３９】
前記所望の収束程度が、前記試験画像内における前記複数のセクターのそれぞれのための目的関数の最小化に基づき、
前記目的関数が、画像エントロピー、ハミング距離、バンドごとのグレーレベル、およびそれらの任意の組み合わせからなる群から選択される、請求項３８に記載の方法。
【請求項４０】
オーバーレイが、固定サイクル数の間、繰り返し実行される、請求項３７に記載の方法。
【請求項４１】
前記非線形データ処理アルゴリズムを用いたオーバーレイの後で、前記試験画像における各セクターを前記基準画像における対応セクター上へ変形する、請求項３１に記載の方法。
【請求項４２】
各セクターが、アフィン変換または透視変換を用いて変形される、請求項４１に記載の方法。
【請求項４３】
前記出力が、選択された物理的属性を有する包含物だけが前記試験画像と前記基準画像との間で変化していると示されるように、フィルタリングされる、請求項２７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１０年７月２０日出願の米国仮特許出願第６１／３６５，９８８号および２０１１年１月２０日出願の米国仮特許出願第６１／４３４，８０６号の優先権の利益を、合衆国法典第３５巻第１１９条の下で主張し、これらの出願は、それぞれ、参照により、その全体において本明細書に援用される。
【０００２】
連邦政府による資金提供を受けた研究開発の記載
該当なし
【０００３】
本発明は、一般に画像解析に関し、特に時間系列画像の自動登録および解析に関する。
【背景技術】
【０００４】
画像における変化を経時的に迅速に検出および定量化することが絶対必要になり得る幅広い分野が存在する。例えば地球遠隔探査、航空宇宙システム、および医療撮像などの分野において、一般的な可変表面にわたる時間依存の重要な局所的変化（例えば、材料ストレスパターン、表面粗さ、包含物の変化など）を探索することは、例えば、目標移動、画像取得装置ジオメトリ、色、照明、および背景クラッタの変化を含む背景因子によって複雑になる可能性がある。これらや他の条件下では、標準的な剛体登録技術は、これらの背景因子に対処して補正することができない場合が多く、それは、適切な画像オーバーレイの実現を妨げる可能性があり、それによって、時系列画像間において可変表面にわたる変化の不正確な評価につながる可能性がある。
【０００５】
本明細書で用いられているように、一般的な可変表面は、一連の観察中に外部または内部ストレスにさらされた場合に、均一には変形しない任意の表面を指す。場合によっては、一般的な可変表面は、例えば、一連の観察における光源照明条件および／または物理化学表面変化などの要因による、色、熱、伝導性、および／または偏光計の時間的変動を有する。一般的な可変表面に関し、外部または内部ストレスの印加は、表面上の包含物が２次元および３次元の両方で影響される可能性があるような非線形的な形で、表面を変形させる可能性がある。すなわち、表面が変形され、かつ表面の測定可能なコントラストが、変形ゆえに表面自体と背景との間で変化する可能性がある場合に、一般的な可変表面上に含まれる包含物は、互いに関して同じ量だけは移動しない可能性がある。本明細書で用いられているように、用語「包含物」は、画像背景と異なる、画像における任意の空間的に位置する特徴を指す。一般的な可変表面上に存在し得る包含物の実例となる例には、限定するわけではないが、建物、岩、木、指紋、皮膚の毛穴、ほくろなどを含むことができる。可変表面によって持ち込まれる困難さに加えて、可変表面上の光源照明および／または化学変化がまた、包含物の外観を表面的に変化させる可能性がある反射特性を変化させ得る表面変化を結果としてもたらす可能性がある。最も一般的な場合に、表面変形および表面物理変化の両方が、包含物に対する実際の変化を示さない表面的なアーチファクトに帰着する場合がある。この種の不均一な空間的な動きおよび外観変化は、画像登録を特に問題あるものにする可能性がある。
【０００６】
基礎となるトポグラフィ変化ゆえに画像を適切に登録できないことは、一連の時系列画像における関心領域の定量化および分類における系統的誤差に帰着する可能性がある。これらの困難は、一連の時系列画像における多数の包含物が、全て観察を必要とする場合に、特に拡大される可能性がある。剛性表面に位置する包含物を含む画像の登録のために、多くの自動アプローチが開発されたが、これらのアプローチは、包含物が一般的な可変表面に位置する場合には、それほど適切ではない場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
可変表面によってもたらされる位置決めの困難さを度外視してさえも、背景の時間的な変動は、それだけで重大な問題になり得る。例えば、可変表面にわたって重ね合わされた印刷パターンもまた、空間的に可変になり得るが、しかし画像における関心のある包含物とは異なる（例えば、関心のある包含物を表す建物複合体を、風に揺れている一面の木々に埋め込むことができ、そこでは木々が、画像において固定して配置されていない時変背景を表す）。画像の効果的なオーバーレイを達成するために、画像登録プロセスは、かかる時変背景を扱うことができる必要がある。
【課題を解決するための手段】
【０００８】
前述のことを考慮すると、時系列画像、特に一般的な可変表面上の時変背景クラッタを含む画像を解析するための効果的なシステムおよび方法が、当該技術分野において著しい利益となるであろう。本発明は、この必要性を満たし、同様に関連する利点を提供する。
【０００９】
いくつかの実施形態において、本明細書で説明する画像解析システムには、少なくとも１つの画像収集装置、非線形データ処理アルゴリズムを動作させる画像処理装置、および少なくとも１つのデータ出力装置が含まれる。画像処理装置は、試験画像および基準画像を互いにオーバーレイし、かつそれらの間の比較を実行するように動作可能である。
【００１０】
いくつかの実施形態において、本明細書で説明する画像解析システムには、少なくとも１つの画像収集装置、非線形データ処理アルゴリズムを動作させる画像処理装置、および少なくとも１つのデータ出力装置が含まれる。画像処理装置は、試験画像および基準画像を互いにオーバーレイし、かつ線形パラメーターおよび非線形パラメーターの両方を処理することによって、試験画像および基準画像間の比較を実行するように動作可能であり、各画像には、複数の包含物が含まれる。非線形データ処理アルゴリズムは、粒子群最適化法、ニューラルネットワーク、遺伝的アルゴリズム、およびそれらの任意の組み合わせからなる群から選択される。
【００１１】
いくつかの実施形態において、本明細書で説明する方法には、複数の包含物を含む基準画像を取得することと、複数の包含物を含む試験画像を取得することと、非線形データ処理アルゴリズムを用いることによって、試験画像を基準画像上へオーバーレイすることと、オーバーレイが行われた後で、試験画像と基準画像との間のいずれかの差を示す出力を生成することと、が含まれる。
【００１２】
上記は、後続の詳細な説明をよりよく理解できるように、本開示の特徴をかなり大まかに概説した。本開示の追加の特徴および利点は、以下で説明するが、それらは、請求項の主題を形成する。
【００１３】
本開示およびその利点のより完全な理解のために、ここで、本開示の特定の実施形態を示す添付の図面に関連して書かれた、以下の説明を参照する。
【図面の簡単な説明】
【００１４】
【図１Ａ】、
【図１Ｂ】異なるカメラの向きおよび照明条件で撮られた、患者の背中にわたる複数のほくろ包含物を含む例示的な画像を示す。
【図１Ｃ】、
【図１Ｄ】異なるカメラの向きおよび照明条件で取得された、患者の背中における単一ほくろ包含物の例示的な画像を示す。
【図２】特定の実施形態において、時系列画像をどのようにオーバーレイできるかを示す例示的な流れ図を示す。
【図３】別の特定の実施形態において、時系列画像をどのようにオーバーレイできるかを示す例示的な流れ図を示す。
【図４Ａ】、
【図４Ｂ】アライメント前後におけるほくろ包含物の例示的な試験画像および基準画像をそれぞれ示す。
【図４Ｃ】図４Ａにおけるミスアライメント画像の例示的な差画像を示す。
【図４Ｄ】図４Ｂにおけるアライメント画像の例示的な差画像を示す。
【図５Ａ】粒子群最適化法を用いた処理前の４つのパラメーター（平行移動、回転、倍率、および背景色）用のマッピング係数の例示的な４Ｄ散布図を示す。
【図５Ｂ】、
【図５Ｃ】、
【図５Ｄ】粒子群最適化法を用いた処理前の、回転、倍率、および平行移動パラメーターの例示的な２Ｄ散布図を示す。
【図５Ｅ】、
【図５Ｆ】、
【図５Ｇ】、
【図５Ｈ】粒子群最適化法を用いた処理後のマッピング係数の収束を示す、図５Ａ−５Ｄのプロットに対応する例示的なプロットを示す。
【発明を実施するための形態】
【００１５】
本開示は、一部は、非線形データ処理アルゴリズムを用いて、時系列画像間の変化を検出し特徴づける画像解析システムに関する。本開示はまた、一部は、非線形データ処理アルゴリズムを用いて、時変背景クラッタを有する画像を含む時系列画像を解析するための方法に関する。
【００１６】
本明細書で用いられているように、用語「パラメーター」は、画像解析システムの入力を指す。本明細書で用いられているように、用語「マッピング係数」は、画像解析システムの出力の１つを指す。場合によっては、線形パラメーターの処理から決定された初期マッピング係数は、包含物の位置における初期推定パラメーターとして、非線形データ処理アルゴリズムに供給することができる。例えば、包含物の位置の推定パラメーターは、剛体アライメント技術に基づいた初期粗アラインメントから決定することができる。有利なことに、包含物の位置の推定解を用いることによって、最終マッピング係数を決定する際に、非線形データ処理アルゴリズムのより迅速な収束をもたらすことができる。マッピング係数には、幾何学的な変化および表面反射特性に起因する、基準画像およびテスト画像にわたる差を最小化する変換係数を含むことができる。
【００１７】
前述のように、時系列画像のオーバーレイおよび解析は、時変背景クラッタと同様に線形および非線形形状効果ならびに撮像条件によって複雑にされ得る。例えば、時変背景クラッタは、例えば、撮像されている表面から、かつ／または検出用に使用されている画像焦点装置内のセンサ雑音から生じる可能性がある。非限定的な例として、体毛および変化する皮膚色素沈着が、皮膚画像の登録を複雑にする可能性がある。平行移動および回転ミスアライメントに加えて、例えば、異なるカメラアングル、照明、倍率などの画像パラメーターが、画像オーバーレイおよび登録プロセスを複雑にする可能性がある。これらの問題は、互いに対する包含物の位置が、可変表面変形ゆえに非線形的な方法で変化し得る可変表面上でさらに悪化する可能性がある。異なる時間に取得された画像において観察できる差の非限定的な例として、図１Ａおよび１Ｂは、異なるカメラの向きおよび照明条件で撮られた患者の背中にわたる複数のほくろ包含物を含む例示的な画像を示し、図１Ｃおよび１Ｄは、異なるカメラの向きおよび照明条件で取得された、背中の単一ほくろ包含物の例示的な画像を示す。図１Ａ−１Ｄに示すように、多数の包含物（ほくろ）のミスアライメントに関連する問題は、一連の画像において、含まれる包含物の数およびそれらの不均一な変形程度を考えれば、特に手ごわいものになり得る。
【００１８】
一連の時系列画像における包含物の数が少ない場合に、例えばポイントアンドステア（ｐｏｉｎｔ−ａｎｄ−ｓｔａｒｅ）または手動オーバーレイなどの従来の方法が、適切になり得る。かかる場合に、画像オーバーレイは、各包含物の画像を個別に平行移動および回転させ、かつ画像を手動または電子的にオーバーレイすることによって実行することができる。しかしながら、包含物および画像の数が増加するにつれて、このアプローチは、法外な時間およびコストがかかることになり得る。かかるオーバーレイプロセスはまた、非線形画像パラメーターを考慮することができない。例示的な非線形画像パラメーターには、限定するわけではないが、例えば、画像収集装置の回転および傾斜（例えば、画像収集装置のずれ）、照明、倍率、画像色調、画像ゲイン、時変背景変化などを含むことができる。例えば、皮膚を撮像する場合に、筋肉組織変化、患者の位置調整における微妙な差、および他の変数が、これらの非線形パラメーターの影響の結果として、画像内の局所的な変形に帰着する可能性がある。これらの要因は、単純な線形に基づいた画像オーバーレイおよび登録技術によっては一般に取り組まれず、これらの技術は、例えば、局所的な回転および画像倍率差を考慮することができない。さらに、一般化された非線形回帰に基づいたモデルは、計算集約的すぎて、ほぼリアルタイムの画像評価を提供することも、時変背景クラッタに取り組むために必要とされる堅牢性も提供することもできない。有利なことに、本明細書で説明するシステムおよび方法は、最初に推定線形オーバーレイを提供することによって、続いてより正確な画像登録および解析を達成するための非線形オーバーレイによって、これらの欠点に取り組むことができる。さらに、本システムおよび方法は、従来の線形処理技術を用いる場合には明らかにならない可能性がある形態学的変化の検出向上を可能にすることができる。
【００１９】
本システムおよび方法のさらなる利点として、単一モダリティ画像収集装置およびマルチモダリティ画像収集装置の両方を用いることができる。マルチモダリティシステムの場合に、少なくとも２つの異なるタイプの画像収集装置を用いて、画像内に位置する包含物の異なる属性を検査することができる。例えば、より効果的でより情報を提供する包含物オーバーレイを開発するために、時系列視覚画像を、時系列熱画像、偏光計画像、Ｘ線画像、磁気画像などと重ね合わせることができる。例えば、単一モダリティ画像収集装置の場合に、包含物における変化は、例えば、領域サイズ差、色差、非対称変化、および境界変化の観点から特徴づけることができる。マルチモダリティ画像収集装置において、これらの変化は、例えば、密度差、化学的相違、磁気差、および／または偏光計の差などの変化でさらに増大される可能性がある。場合によっては、かかる一属性は、撮像されている包含物が固定点（例えば、変化しない別の包含物）に対して位置を確定され得るように、実質的に固定し、それによって地理情報システム（ＧＩＳ）を構成することができる。
【００２０】
本画像解析システムおよび関連方法が、特定の有用性を見い出し得る多数の分野が存在する。特に、本画像解析システムおよび方法は、例えば医療撮像、構造疲労監視、衛星撮像、地質試験、および界面化学監視を含む分野において特に役立つことができる。これらや他の分野において取得された画像が、可変表面に位置する包含物を有する可能性があることが、当業者によってきっと認識されるであろう。医療撮像の分野において、皮膚および下層組織は、異なる弾力性（例えば、体重の増加もしくは減少または筋肉組織の変化による）を示し、かつその表面を空間的に可変にする可能性がある。さらに、変化する皮膚色素沈着および髪カバーは、皮膚画像のオーバーレイを複雑にし得る時変背景クラッタを表す場合がある。衛星撮像および地質試験の分野において、地球表面は、同様に可変であると考えることができる。同様に、曲げることができる表面（例えば、飛行機の翼または構造支柱）は、一目したところ、実質的に剛性であるように見えるが、しかしそれよりむしろ、その上の包含物（例えばリベット）の相対的位置が、経時的に変化し得る程度に可変である場合がある。実施形態において、曲げることができる表面に位置する包含物の相対的位置の変化は、構造疲労を測定する手段として用いることができる。前述の分野において有用性を有すると本発明を説明したが、これらの分野が、実例のためにのみ提示され、限定であると見なされるべきでないことを理解されたい。一般に、本画像解析システムおよび方法は、任意の用途タイプの時系列画像、特に可変表面に位置する包含物を含む時系列画像の解析に適用することができる。
【００２１】
皮膚損傷（「ほくろ」）の形態学的分類およびそれらの経時的な監視は、黒色腫および他のタイプの皮膚癌の検出にとって重要である。医療撮像用に用いられる場合に、本画像解析システムおよび方法は、これらのタイプの皮膚学用途に特に有利になり得る。特に、ほくろの色、形状、およびサイズにおける変化の経時的な観察は、皮膚癌がまだ容易に治療できる間に皮膚癌の早期発見につながる可能性がある。観察は、皮膚科医によって、または患者の自己観察を介して視覚的に実行できるが、典型的な患者は、数百のほくろを有し、それらの全ては経時的に監視する必要があり、それは、外観検査労力を複雑にする。さらに、ほくろの変化が肉眼で見えるようになるときまでに、皮膚癌は、既にその発生点を越えて転移し、処理がはるかに困難になっている可能性がある。皮膚癌の監視に加えて、本画像解析システムおよび方法はまた、例えば、発疹、やけど、および治癒を含む他の皮膚状態の監視用に用いることができる。この点において、例えば皮膚の毛穴などの固定した包含物は、時系列画像を取得する間に実質的に変化しない固定基準点として利用することができる。
【００２２】
皮膚学分野において、潜在的に危険な皮膚損傷をできるだけ早く識別することが絶対必要である。皮膚科医によって現在使用されている方法では、典型的には、皮膚損傷が最も害にならないときである、サイズで約４ｍｍ未満の皮膚損傷の識別および解析が可能にならない。早期発見の重要性は、黒色腫の侵入度（すなわちブレスロー厚さ）が、転移およびしたがって患者の生存率の可能性と直接相関するという事実において強調される。以下の表１に示すように、小さな皮膚損傷の早期発見は、最大の患者生存率を達成するために絶対必要である。
【００２３】
【表１】
2013536500.tif 000003
【００２４】
皮膚のように、他の身体組織および腔が、可変表面を有すると考えることができる。この点において、本画像解析システムおよび方法はまた、例えば、乳房Ｘ線撮影、ならびに例えば結腸、胃、食道および肺撮像などの内部撮像のような表面下撮像に拡張することができる。本画像解析システムおよび方法が、特に医療分野における視覚画像に限定されないことに留意されたい。特に、例えばＰＥＴ、ＳＰＥＣＴ、Ｘ−ＲＡＹ、ＣＴ、ＣＡＴ、ＭＲＩ、および他の類似画像などの画像のオーバーレイおよび比較は、本画像解析システムおよび方法を用いて達成することができる。これらの撮像技術を用いる適切な撮像プロトコルが、当業者には明らかであろう。
【００２５】
本明細書で説明する実施形態において、様々なブロック、モジュール、要素、コンポーネント、方法、およびアルゴリズムが、コンピューターハードウェア、ソフトウェア、およびそれらの組み合わせを用いることによって実現可能であることを理解されたい。ハードウェアおよびソフトウェアのこの互換性を例示するために、様々な例示的なブロック、モジュール、要素、コンポーネント、方法、およびアルゴリズムを、それらの機能の観点から一般的に説明した。かかる機能が、ハードウェアまたはソフトウェアとして実現されるかどうかは、特定の用途およびいずれかの課された設計制約に依存する。少なくともこの理由で、当業者が、特定の用途のために様々な方法で、説明する機能を実現できることを理解されたい。さらに、様々なコンポーネントおよびブロックは、明確に説明される実施形態の趣旨および範囲から逸脱せずに、例えば、異なる順序に配置するか、または異なって分割することができる。
【００２６】
本明細書で説明する様々な例示的なブロック、モジュール、要素、コンポーネント、方法、およびアルゴリズムを実現するために用いられるコンピューターハードウェアには、可読媒体上に記憶された命令、プログラミング、またはコードの１つまたは複数のシーケンスを実行するように構成されたプロセッサを含むことができる。プロセッサは、例えば、汎用マイクロプロセッサ、マイクロコントローラー、グラフィカル処理ユニット、デジタル信号プロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、プログラマブル論理装置、コントローラー、状態機械、ゲート論理、離散ハードウェアコンポーネント、またはデータの計算もしくは他の操作を実行できる任意の類似した適切なエンティティとすることができる。いくつかの実施形態において、コンピューターハードウェアには、さらに、例えば、メモリ［例えばランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、リードオンリーメモリ（ＲＯＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、消去可能ＰＲＯＭ］、レジスタ、ハードディスク、取り外し可能ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、または任意の他の類似した適切な記憶装置などの要素を含むことができる。
【００２７】
本明細書で説明する非線形データ処理アルゴリズムおよび他の実行可能なシーケンスは、メモリに含まれる１つまたは複数のコードシーケンスで実行することができる。いくつかの実施形態において、かかるコードは、別の機械可読媒体からメモリに読み出すことができる。メモリに含まれる命令シーケンスの実行によって、本明細書で説明するプロセスステップをプロセッサに実行させることができる。多重処理機構における１つまたは複数のプロセッサもまた、メモリにおける命令シーケンスを実行するために用いることができる。さらに、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路を用いて、本明細書で説明する様々な実施形態を実行することができる。したがって、本実施形態は、ハードウェアおよびソフトウェアのどんな特定の組み合わせにも限定されない。
【００２８】
本明細書で用いられているように、機械可読媒体は、実行のために命令をプロセッサに直接または間接的に供給する任意の媒体を指す。機械可読媒体は、例えば、不揮発性媒体、揮発性媒体、および伝送媒体を含む多くの形態を取ることができる。不揮発性媒体には、例えば光学および磁気ディスクを含むことができる。揮発性媒体には、例えばダイナミックメモリを含むことができる。伝送媒体には、例えば同軸ケーブル、ワイヤ、光ファイバ、およびバスを形成するワイヤを含むことができる。機械可読媒体の一般的な形態には、例えばフロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の類似の磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤ、他の類似の光学媒体、パンチカード、紙テープおよびパターン化された穴を備えた類似の物理媒体、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ならびにフラッシュＥＰＲＯＭを含むことができる。
【００２９】
いくつかの実施形態において、本明細書で説明する画像解析システムには、少なくとも１つの画像収集装置、非線形データ処理アルゴリズムを動作させる画像処理装置、および少なくとも１つのデータ出力装置が含まれる。画像処理装置は、試験画像および基準画像を互いにオーバーレイし、かつそれらの間の比較を実行するように動作可能である。
【００３０】
本明細書で用いられているように、「非線形データ処理アルゴリズム」は、包含物を含む２以上の画像、特に、変化する背景を有し、かつ表面変形にさらされる画像をオーバーレイする際に用いられる幾何学的変換を特徴づけるためのアルゴリズムクラスを指す。場合によっては、非線形データ処理アルゴリズムは、包含物の平行移動または回転座標によって説明されないパラメーター（例えばスペクトル、熱、Ｘ線、磁気、偏光計パラメーターなど）を利用することができる。かかる幾何学的変換には、線形平行移動マッピングと同様に、例えば画像回転、ずれ、倍率などの高次元マッピングの両方を含むことができる。さらに、非線形データ処理アルゴリズムは、試験画像と基準画像との間の反射差および色差に対処するために、画像背景の正規化係数推定値を提供することができる。さらに、非線形データ処理アルゴリズムには、幾何学的変換を実行する前に実行できる様々な前処理動作を含むことができる。例示的な前処理動作には、例えば、画像および空間画像鮮明化の形態学的フィルタリングを含むことができる。いくつかの実施形態において、画像は、非線形データ処理アルゴリズムを適用する前に、複数のセクターに細分することができる。
【００３１】
例示的な非線形データ処理アルゴリズムには、例えば、粒子群最適化法、ニューラルネットワーク、遺伝的アルゴリズム、アンシャープマスキング、画像分割、形態学的フィルタリング、およびそれらの任意の組み合わせを含むことができる。これらのタイプの非線形データ処理アルゴリズムは、当業者にはよく知られている。後続の説明におけるある詳細は、粒子群最適化法に関するが、粒子群最適化法が、上記のアルゴリズムを含む任意の適切な非線形データ処理アルゴリズムと取り替えるか、またはそれと組み合わせて使用可能であることを理解されたい。
【００３２】
いくつかの実施形態において、非線形データ処理アルゴリズムは、粒子群最適化法とすることができる。要するに、粒子群最適化は、所与の品質尺度に関して候補解の改善を繰り返し求めることによって、問題を最適化する計算手法である。粒子群最適化手法には、状態空間内における各粒子用の状態ベクトルに関係する単純な数式に従って、各粒子用の候補解の方へ粒子集団（例えば、状態ベクトルである包含物であって、モデルへと供給されている様々なパラメーターによって説明される包含物）を移動させることが含まれる。本明細書で用いられているように、「状態ベクトル」は、基準画像と試験画像との間の差を最小化する、入力パラメーター（線形パラメーターおよび非線形パラメーターの両方）セット用の潜在的な候補解を示す。例えば、基準画像と試験画像との間の差が、回転および増幅の差に関連するだけである場合に、２パラメーター状態ベクトルが、粒子群における各粒子を示すために使用可能である。関連する２次元状態空間およびより高次元の状態空間もまた、本明細書で説明する実施形態によって考慮される。
【００３３】
粒子群の各粒子は、例えば、例示的な２次元状態空間において、一意の回転および倍率パラメーターに対応する一意の位置を有する。粒子が、この２次元状態空間を通って移動するときに、パラメーターを用いて試験画像を変形させることができ、次にこの試験画像を基準画像と比較することができる。実施形態において、試験画像の変形は、各画素を、元の目標空間から新しい位置へマッピングし、かつ次に収束をチェックするために変形画像のリサンプリングを実行することによって行うことができる。この比較は、例えば、粒子群最適化法によって用いられる目的関数（例えば、微分エントロピー、ハミング距離等）などのいくつかの異なる形態を取ることができる。比較が実行された後で、いくつかの粒子は、基準画像とよりよく一致する変形画像における位置を有することができる。粒子群最適化プロセスにおいて、粒子の移動は、その最もよく知られた局所的位置によって影響されるが、この局所的位置は、特定の繰り返し中に計算される目的関数の値によって影響される。各粒子はまた、状態空間における最もよく知られた位置の方へ案内されるが、これらの最もよく知られた位置は、よりよい位置が他の粒子によって見つけられると絶えず更新される。すなわち、所与の粒子用の繰り返し決定される位置は、（１）任意の前の繰り返し中に粒子の最小目的関数値を与える粒子の位置、および（２）粒子群全体にわたる目的関数値の最小化によって提供されるような、粒子群によって識別された最適位置によって影響される。各繰り返しは、粒子位置用の大域的最適解の方へ粒子群を移動させると期待される。このプロセスは、マッピング差を最小化するために必要とされるだけの数のパラメーターに一般化することができる。
【００３４】
粒子群最適化法は、画像ペアにわたる時変環境に対処するための特に有用な非線形データ処理アルゴリズムになり得る。包含物および背景の特徴を同時に評価することができる。なぜなら、試験画像および基準画像の各画素を比較できるからである。試験画像が、群の各粒子によって変形されるときに、目的関数を計算および記録することができる。一般に、包含物は、固定基準を形成し、この固定基準をめぐって、目的関数は、粒子群が展開するときに最小化され得る。時変背景は、目的関数の測定値にランダムノイズを伝達する可能性があるが、それは、画像内における関心のある包含物のマッピング係数の方へ収束する連続的繰り返しを通して対処することができる。
【００３５】
様々な実施形態において、本画像処理システムおよび方法は、期間にわたって複数の包含物の形状、サイズおよび境界条件における変化を検出することができる。様々な実施形態において、かかる変化の検出には、基準画像の取得、および次に、その後の少なくとも１つの試験画像の取得を含むことができる。いくつかの実施形態において、試験画像における複数の包含物の初期粗アラインメントは、基準画像における複数の包含物に基づいて実行することができる。複数の包含物の初期粗アラインメントを実行することによって、包含物をアライメントする場合に非線形データ処理アルゴリズムのより迅速な収束を実現することができる。いくつかの実施形態において、粗アラインメントは、手動で実行することができる。他の実施形態において、粗アラインメントを実行するために、ハイブリッドの目標物／強度に基づいた登録方法を用いて、各画像にわたる連絡点を識別することができる。例えば、撮像されている表面上の不変包含物は、画像アラインメントを実行するためのマーカとして確立することができる。いくつかの実施形態において、粗アラインメントを実行する際に、光学整合フィルタを使用することができる。本明細書で説明する実施形態において、基準画像における包含物が固定して保持されるのに対して、試験画像における包含物が、非線形データ処理アルゴリズムを用いて、それらの最適化された位置へ変換されることに留意されたい。
【００３６】
いくつかの実施形態において、アフィン変換または透視変換（すなわち、一般的な３次元変換）が、非線形データ処理アルゴリズムの利用中または利用後に使用可能である。いくつかの実施形態において、試験画像を基準画像上へオーバーレイする際に、高次元モデルの一般化を使用することができる。前述の変換は、以下でより詳細に説明するように、試験画像および基準画像における非線形パラメーターに対処し、かつ試験画像のセクターを基準画像上へ変形できるようにすることができる。当業者には周知のように、アフィン変換には、包含物の幾何学的空間変換（例えば、回転、スケーリング、および／またはずれ）ならびに平行移動（移動）が含まれる。同様に、一般的な透視変換を用いて、高次元表面トポグラフィを扱うことができる。
【００３７】
いくつかの実施形態において、画像処理装置は、各画像を複数のセクター細分するように、かつ複数のセクターのそれぞれのためにマッピング係数セットを決定するように動作することができる。いくつかの実施形態において、画像処理装置は、各セクター用のマッピング係数セットを決定した後で、試験画像における各セクターを基準画像における対応セクター上へ変形し、それによって、そこにおける包含物をオーバーレイするように動作することができる。いくつかの実施形態によれば、試験画像における各セクターを基準画像における対応セクター上へ変形することによって、そこにおける包含物をオーバーレイし、差に関して比較することができる。
【００３８】
いくつかの実施形態において、画像処理装置は、試験画像および基準画像をオーバーレイする際に、線形パラメーターおよび非線形パラメーターの両方を処理することができる。いくつかの実施形態において、画像処理装置は、試験画像における包含物で発生する形態学的変化を基準画像に対して決定するように動作することができる。いくつかの実施形態において、これらの変化は、包含物用のシグネチャベクトルとして列挙することができる。シグネチャベクトルの属性には、例えば、空中サイズ、包含物の空間的非対称性、包含物の境界特徴、色変化などにおける変化を含むことができる。いくつかの実施形態において、画像処理装置は、シグネチャベクトルの各要素の視覚的表現か、または各包含物にわたって存在する変化のタイプおよび大きさを表現する地理情報システム（ＧＩＳ）情報マップとして、シグネチャベクトルの要素の組み合わせ表現を提供するように動作することができる。
【００３９】
本明細書で用いられているように、「線形パラメーター」は、試験画像と基準画像との間の線形平行移動を示すモデリング係数である。線形パラメーターには、３次元空間、特にｘ、ｙおよびｚ座標における包含物の実際の位置を示すベクトル量が含まれる。本明細書で用いられているように、「非線形パラメーター」は、例えば、回転、倍率、ずれなどを含む、非線形データ処理アルゴリズムにおいて用いられるモデリングパラメーターである。集合的には、線形パラメーターおよび非線形パラメーターは、２次元および３次元空間における包含物の明らかな実際の位置または外観を変更することができる。
【００４０】
いくつかの実施形態において、画像処理装置は、非線形パラメーターを処理する前に線形パラメーターを処理することができる。一般に、状態ベクトルの線形パラメーターは、計算上、取り組むのがより簡単で、各包含物の位置用のよりよい初期解を達成するために使用することができる。初期解は、非線形パラメーターが処理されるときに非線形データ処理アルゴリズムに供給することができる。続いて、非線形パラメーターは、試験画像におけるセクターを基準画像における対応セクター上へマッピングするための最適な線形位置を「微調整」するように処理することができる。これによって、非線形補正の向上をもたらすことができる。いくつかの実施形態において、線形パラメーターおよび非線形パラメーターの両方とも、非線形データ処理アルゴリズムの各繰り返しにおいて処理することができる。いくつかの実施形態において、線形パラメーターは、非線形データ処理アルゴリズムを用いる前に、別個に処理することができる。他の実施形態において、線形パラメーターだけが、非線形データ処理アルゴリズムによって最初に処理され、非線形パラメーターは、一時的に無視される。かかる実施形態において、包含物の位置用の所望の収束程度に達した後で（例えば、基準画像および試験画像のセクター間の微分エントロピーが最小化された場合に）、非線形パラメーターを、線形パラメーターと別個にかまたは組み合わせて処理することができる。有利なことに、線形パラメーターのかかる初期処理は、処理速度を向上させることができる。さらに別の実施形態において、非線形パラメーターは、包含物の位置用の初期解が非線形データ処理アルゴリズムに供給される前に、非線形データ処理アルゴリズムとは別個の処理アルゴリズムによって最初に処理することができる。
【００４１】
いくつかの実施形態において、非線形パラメーターだけが、非線形データ処理アルゴリズムを用いて処理される。試験画像におけるセクターを基準画像における対応セクター上へ平行移動しアライメントする場合に、線形パラメーターは、上記のように、標準画像処理技術を通して何度も効果的に取り組むことができる。しかしながら、かかる標準技術は、画像に関連する非線形パラメーターに取り組む場合に、非効率的になり得る。前述のように、本実施形態において用いられる非線形データ処理アルゴリズムは、非線形データ処理アルゴリズムにおいて用いられる幾何学的変換に関連する非線形パラメーターへの取り組みに特に熟達することができる。さらに、各セクター用の線形推定値を非線形データ処理アルゴリズムに使用させることによって、非線形パラメーターが処理される場合に、非線形データ処理アルゴリズムのより迅速な収束を実現することができる。いくつかの実施形態において、非線形パラメーターだけを非線形データ処理アルゴリズムに処理させることによって、収束率は、ほぼ２倍にすることができる。いくつかの実施形態において、収束率の向上は、さらに大きくすることができる。
【００４２】
いくつかの実施形態において、試験画像および基準画像のオーバーレイは、固定サイクル数の間、繰り返し実行することができる。他の実施形態において、試験画像および基準画像のオーバーレイは、最適化を通して所望の収束程度に到達するまで、非線形データ処理アルゴリズムを用いて繰り返し実行することができる。いくつかの実施形態において、収束は、試験画像内の目的関数が最小化されるかまたは目的関数の差が、繰り返しの間で最小化された場合に、決定することができる。すなわち、かかる実施形態において、収束は、試験画像と基準画像との間の誤差（繰り返しの間に目的関数における変化によって測定されるような）が最小化された場合に、決定することができる。例示的な目的関数には、例えば、画像エントロピー、ハミング距離、バンドごとのグレーレベル、相互情報量推定、およびそれらの任意の組み合わせを含むことができる。これらの誤差最小化技術は、当業者には周知である。いくつかの実施形態において、非線形データ処理アルゴリズムは、マッピング係数を調整することによって各セクターにわたる全体的最小値を見つけるために用いることができる。ひとたびマッピング係数用の最適値が決定されると、どんな残りの差も、画像内の包含物における形態学的変化の点から、または残存アライメント誤差によって特徴づけることができる。有利なことに、非線形パラメーターを含むことによって、よりよい登録、および試験画像および基準画像内における対応セクター間の変化の敏感な検出を提供することができる。登録に影響を及ぼすために線形パラメーターだけが処理される場合に、より高レベルの系統的誤差が導入される可能性がある。
【００４３】
いくつかの実施形態において、処理は、連続的繰り返しにおけるマッピング係数推定値および／または目的関数推定値が、ユーザー定義の値未満の差になるまで、実行することができる。所望の収束程度は、画像解析システムが用いられる目当ての用途に依存して変化することを理解されたい。いくつかの用途は、より厳しい収束を要求する可能性があり、一方で他の用途は、それほど要求しない。
【００４４】
非線形データ処理アルゴリズムにおいてエントロピー差分アプローチを用いる場合に、対応セクターを試験画像および基準画像から取り去ることによって、それらの間の微分エントロピーに関する情報を提供し、かつマッピング係数が調整される場合に、オーバーレイ一致度の尺度を提供することができる。いくつかの実施形態において、試験画像および基準画像におけるセクターは、サイズにおいて実質的に同一である。他の実施形態において、試験画像におけるセクターは、基準画像におけるセクターより大きくすることができる。試験画像におけるセクターをより大きくすることの利点には、線形パラメーターが最初に処理された後で残っている、セクター位置におけるどんな残存誤差も、非線形パラメーターが非線形データ処理アルゴリズムを用いて処理される場合に適切に補償できるようにすることを含むことができる。試験画像および基準画像内における対応セクター間に完全なオーバーレイが存在する場合に、エントロピー差は、ゼロである。最適なオーバーレイが達成された後で、どんな非ゼロエントロピー差も、包含物（単複）における形態学的変化を経時的に表すか、または非線形データ処理アルゴリズムからの残存アライメント誤差を表す。
【００４５】
ひとたび試験画像および基準画像の満足なオーバーレイが達成されると、次に標準的な画像変化比較法を実行することができる。いくつかの実施形態において、画像処理装置は、オーバーレイが実行された後で、各包含物用に、試験画像と基準画像との間のどんな差も決定するように動作可能である。代替実施形態において、オーバーレイが実行された後で、包含物ごとの画像比較を視覚検査によって実行することができる。いくつかの実施形態において、画像比較は、領域または画素ごとに、画像処理装置（例えばコンピューターまたはグラフィカル処理ユニット）によって実行することができる。この点において、オーバーレイ効率および差出力の正確な決定に影響する可能性がある要因には、例えば、各包含物に関する、全体的または局所的な背景変化および局所的な表面変形を補正する能力が含まれる。
【００４６】
いくつかの実施形態において、試験画像および基準画像を取得する順序は、任意の順序で行うことができると理解されたい。すなわち、様々な実施形態において、試験画像は、基準画像の前または後で取得することができる。本明細書で説明するプロセスは、取得順序にかかわらず、または画像の役割が変化されたとしても、マッピング係数を提供することができる。
【００４７】
図２は、特定の実施形態において、時系列画像をどのようにオーバーレイできるかを示す例示的な流れ図を示す。図示の実施形態において、非線形データ処理アルゴリズムは、粒子群最適化法である。動作２００において、基準画像が、第１の時間に取得される。目的関数情報２０３を提供する動作２０２において合成画像集団を生成するために、動作２０１において粒子群モデルを適用することができ、目的関数情報２０３は、後で試験画像を解析するために用いることができる。この動作は、状態空間の初期トポグラフィ評価を提供することができる。基準画像の取得後の第２の時間に、試験画像が、動作２０４で取得される。目的関数情報２０３と共に、試験画像における各包含物用の線形パラメーターおよび非線形パラメーターを用いて、収束チェック２０５が、試験画像および基準画像における包含物オーバーレイの適合度を試験するために適用される。画像間の比較は、全体画像にわたって、または全体画像内のサブ画像セクター間で行うことができる。目的関数情報２０３には、試験画像（またはセクター）と基準画像（またはセクター）との間の微分エントロピーを含むことができる。オーバーレイが所望の程度に収束しなかった場合に、粒子群モデルを再び適用し、収束チェックを繰り返すことができる。試験画像における包含物のパラメーターは、各包含物用の適合度をさらに評価する際に使用される目的関数情報２０３の一部になる。したがって、ますます多くの繰り返しが実行されるにつれて、オーバーレイの基礎となるより多くの目的関数情報２０３が存在する。オーバーレイが所望の程度に収束した後で、試験画像および基準画像における包含物のオーバーレイは、動作２０６で仕上げられる。動作２０６には、いくつかの実施形態において幾何学的変換（例えば、アフィン変換または透視変換）を用いた、基準画像における包含物を含むセクターの変形を含むことができる。その後、試験画像と基準画像との間の包含物における変化は、動作２０７で評価することができ、各包含物用の差を示す出力は、動作２０８で生成することができる。いくつかの実施形態において、全ての包含物は、出力において示される。他の実施形態において、出力は、選択された物理的属性（例えば、サイズ、色、および／またはアスペクト割り当て）を有する包含物だけが、試験画像と基準画像との間で変化していると示されるように、フィルタリングすることができる。
【００４８】
図３は、別の特定の実施形態において、時系列画像をどのようにオーバーレイできるかを示す例示的な流れ図を示す。図３に示すように、基準画像データおよび試験画像データは、動作３０１および３０４でそれぞれ収集し、動作３０２および３０５でセクターに分割することができる。次に、画像の形態学的フィルタリングを動作３０３および３０６において行うことができ、それによって、画像から背景クラッタを除去することができる。その後、動作３０７において、基準画像および試験画像の「素早い」区別を実行することができる。試験画像および基準画像の空間画像鮮明化は、動作３０８において実行することができる。次に、線形画像パラメーターの処理を利用し、動作３０９において画像オーバーレイの各セクター用の平行移動推定値を生成することができる。続いて、動作３１０において各セクター用にセクターの平行移動ベクトル評価を生成することができ、その後、動作３１１において元の試験画像の試験セクター再ダイシングが続く。推定平行移動差に基づいて、修正された試験画像分割を動作３１２において行うことができる。試験画像および基準画像の平行移動オーバーレイ用の所望の収束程度を達成するために、前述の動作のいずれも繰り返し実行することができる。
【００４９】
平行移動パラメーターを処理することによって満足なオーバーレイが達成された後で、動作３１３において粒子群最適化法を用いて、様々なセクター内における包含物の位置をさらに洗練することができる。その後、動作３１４において試験画像および基準画像を登録することができ、動作３１５において画像における変化評価を実行することができる。再び、所望の収束程度を達成するために、非線形パラメーターを処理するための動作のいずれかをまた繰り返し処理することができる。出力は、動作３１６において出力される変化マップの形態で生成することができる。
【００５０】
非限定的な例として、図４Ａ−４Ｄは、本画像解析システムおよび方法を用いたアライメント前後における例示的な一連の画像と、各場合における対応する差画像と、を示す。図４Ａおよび４Ｂは、アライメント前後におけるほくろ包含物の例示的な試験画像および基準画像をそれぞれ示す。図４Ｃは、図４Ａにおけるミスアライメント画像の例示的な差画像を示す。図４Ｄは、図４Ｂにおけるアライメント画像の例示的な差画像を示す。ミスアライメントされた場合に、図４Ｃの差画像は、画像解析システムによって、重要な変化として解釈される可能性がある。しかしながら、アライメントされた場合に、図４Ｄの差画像は、画像解析システムによって、重要な変化として解釈されない可能性がある。この点において、図４Ｃの差画像は、医者によるさらなる解析を必要とするであろう偽陽性結果を表す可能性がある。より正確なオーバーレイを実行することによって、本画像解析システムおよび方法は、さらなる臨床分析を必要とする偽陽性結果の数を減少させることができる。
【００５１】
図５Ａは、粒子群最適化法で処理する前の４つのパラメーター（平行移動、回転、倍率、および背景色）用のマッピング係数の例示的な４Ｄ散布図を示す。図５Ｂ−５Ｄは、粒子群最適化法で処理する前の回転、倍率、および平行移動パラメーターの例示的な２Ｄ散布図を示す。図５Ｅ−５Ｈは、粒子群最適化法で処理した後におけるマッピング係数の収束を示す、図５Ａ−５Ｄのプロットに対応する例示的なプロットを示す。
【００５２】
本画像解析システムおよび方法に関連して様々な画像収集装置を用いることができる。いくつかの実施形態において、画像収集装置は、写真などの視覚画像を取得することができる。例えば、いくつかの実施形態において、画像収集装置は、カメラとすることができる。他の実施形態において、視覚画像収集装置以外の画像収集装置を用いることができる。例えば、いくつかの実施形態において、共焦点顕微鏡、磁気撮像装置（例えばＭＲＩ）、ハイパースペクトル撮像装置、マルチスペクトル撮像装置、熱検出装置、偏光計検出装置、放射計測装置、および任意の他の同様の検出装置を用いることができる。すなわち、本画像解析システムおよび方法は、視覚画像内に含まれる包含物の解析に限定されない。いくつかの実施形態において、試験画像における包含物を基準画像における包含物とオーバーレイする際に、１を超える画像収集装置を用いることができる。例えば、非限定的な実施形態において、視覚画像および熱画像の組み合わせを用いて、より正確なオーバーレイを生成することが可能である。特に、この点において、視覚画像は、試験画像と基準画像との間でそれほど変化されない可能性があるが、しかし包含物の熱特性は、それら２つの間で変化される可能性がある。視覚および非視覚撮像技術または様々な非視覚撮像技術間の他の組み合わせが、当業者には想像可能である。
【００５３】
いくつかの実施形態において、本画像解析システムおよび方法は、少なくとも１つのデータ出力装置を介して出力を生成することができる。適切なデータ出力装置には、例えば、コンピューターモニター、プリンター、電子記憶装置などを含むことができる。いくつかの実施形態において、画像処理装置は、試験画像および基準画像における包含物のいずれかに関して、試験画像と基準画像との間のいずれかの著しい変化を強調する差画像を、データ出力装置で生成することができる。
【００５４】
画像差分に加えて、試験画像と基準画像との間の他の比較を実行して、それらの間の変化を解析することができる。画像差分は、スカラ量である。同様に、画像比較においてベクトル量を使用することができる。例えば、試験画像における形態学的変化は、状態ベクトルの要素が、包含物サイズ、色、ジオメトリ、および境界特性の変化に対応する状態ベクトルの形態で表すことができる。次に、この情報は、２次元画像平面が各ベクトル成分の大きさを表す地理情報システム（ＧＩＳ）の形態で、本システムのユーザーに提示することができる。
【００５５】
いくつかの実施形態において、本明細書で説明する画像処理装置には、コンピューターを含むことができる。いくつかの実施形態において、画像処理装置は、グラフィカル処理ユニットを利用することができる。かかるグラフィカル処理ユニットは、コンピューターの一部とすることができ、またはそれらは、必要に応じて、スタンドアロンモジュールとすることができる。コンピューターおよびグラフィカル処理ユニットは、前述のコンピューターハードウェア、ソフトウェア、または当該技術分野において周知の他の類似の処理コンポーネントのいずれかを利用することができる。
【００５６】
いくつかの実施形態において、本明細書で説明する画像解析システムには、少なくとも１つの画像収集装置、粒子群最適化法を動作させる画像処理装置、および少なくとも１つのデータ出力装置が含まれる。画像処理装置は、試験画像および基準画像を互いにオーバーレイし、かつ線形パラメーターおよび非線形パラメーターの両方を処理することによって、試験画像および基準画像間の比較を実行するように動作可能であり、この場合に各画像には、複数の包含物が含まれる。いくつかの実施形態において、試験画像および基準画像は、複数のセクターに細分することができ、各セクターには、少なくとも１つの包含物が含まれる。
【００５７】
いくつかの実施形態において、複数の包含物を含む画像をオーバーレイおよび解析する方法が、本明細書で説明される。いくつかの実施形態において、本明細書で説明する方法には、複数の包含物を含む基準画像を取得することと、複数の包含物を含む試験画像を取得することと、非線形データ処理アルゴリズムを用いることによって、試験画像における複数の包含物を基準画像における複数の包含物上へオーバーレイすることと、オーバーレイが行われた後で、試験画像と基準画像との間における、各包含物用のいずれかの差を示す出力を生成することと、が含まれる。いくつかの実施形態において、複数の包含物は、可変表面上に位置する可能性がある。他の実施形態において、複数の包含物は、剛性表面上に位置する可能性がある。
【００５８】
いくつかの実施形態において、方法には、さらに、非線形データ処理アルゴリズムを用いる前に、基準画像における複数の包含物上への、試験画像における複数の包含物の粗アライメントの実行を含むことができる。いくつかの実施形態において、粗アライメントの実行は、さらに、少なくとも１つの画像収集装置および撮像されている部位を標準的な向きに配置することによって促進することができる。例えば、撮像されている患者は、画像から画像へと特定の向きに立つかまたは座ることを要請される可能性がある。画像収集装置（単複）および撮像されている部位の標準的な向きを用いることによって、平行移動型の誤差および画像処理装置のアライメント型誤差を最小化することにより試験画像における複数の包含物を、それらの「正確な」位置へとできるだけ近く向けることが可能になる。
【００５９】
いくつかの実施形態において、本方法には、基準画像を複数のセクターに分割することを含むことができる。この動作を実行することによって、試験画像における対応セクターの解析の前に、画像収集装置（単複）用の最適な向きパラメーターを各基準セクター用に決定することができる。したがって、試験画像における各包含物に関する局所的なトポグラフィは、試験画像を解析するための非線形データ処理アルゴリズムの適用の前に、最初に評価することができる。いくつかの実施形態において、セクターは、サイズを均一にすることができる。いくつかの実施形態において、セクターは、サイズを可変にすることができる。いくつかの実施形態において、各セクターは、少なくとも１つの包含物を含むことができる。いくつかの実施形態において、セクターは、それらが各包含物を中心に局所ごとにかなり厳密であるように、全体的な画像空間に比べて小さい。したがって、小さなセクターを有することによって、剛体アライメント技術は、試験画像における各包含物に局所ごとに適用することができる。
【００６０】
いくつかの実施形態において、本方法には、さらに、線形パラメーターを用いて基準画像を解析し、試験画像用の初期トポグラフィ解を決定することを含むことができる。上記のように、試験画像用の初期トポグラフィ解の決定によって、非線形データ処理アルゴリズムの収束率を向上させることができる。
【００６１】
いくつかの実施形態において、本方法には、さらに、試験画像および／または基準画像における包含物用のマッピング係数を決定することを含むことができる。いくつかの実施形態において、線形パラメーターは、非線形パラメーターの前に処理することができる。いくつかの実施形態において、非線形パラメーターだけが、非線形データ処理アルゴリズムを用いて処理される。いくつかの実施形態において、線形パラメーターの初期最適化は、非線形データ処理アルゴリズムに送って、非線形パラメーターで処理することができる。いくつかの実施形態において、線形パラメーターおよび非線形パラメーターの両方を用いて、試験画像におけるセクターを基準画像における対応セクター上にオーバーレイすることができる。
【００６２】
いくつかの実施形態において、オーバーレイは、所望の収束程度に到達するまで、繰り返し実行することができる。いくつかの実施形態において、オーバーレイは、固定サイクル数が行われるまで、繰り返し実行することができる。いくつかの実施形態において、所望の収束程度は、連続的繰り返しにおいて推定されるマッピング係数における変化の速度または量に基づくことができる。いくつかの実施形態において、所望の収束程度は、試験画像内における複数のセクター用の目的関数の最小化、または連続的繰り返し間の目的関数の差に基づくことができる。いくつかの実施形態において、所望の収束程度は、試験画像および基準画像をオーバーレイした後で生成された差画像から取得された目的関数の最小化に基づくことができる。
【００６３】
いくつかの実施形態において、非線形データ処理アルゴリズムを用いたオーバーレイの後で、本方法には、さらに、試験画像の各セクターを基準画像の対応セクター上へ変形することを含むことができる。いくつかの実施形態において、各セクターは、アフィン変換または透視変換を用いて変形することができる。
【００６４】
いくつかの実施形態において、本方法の出力は、フィルタリングすることができる。いくつかの実施形態において、出力は、選択された物理的属性を有する包含物だけが、試験画像と基準画像との間で変化していると示されるように、フィルタリングすることができる。
【００６５】
本発明の様々な実施形態の動作に実質的に影響しない修正もまた、本明細書で提供する本発明の定義内に含まれることが分かる。開示した実施形態に関連して本発明を説明したが、当業者は、これらの実施形態が、単に本発明の実例であることを容易に理解されよう。本発明の趣旨から逸脱せずに、様々な修正をなし得ることを理解されたい。本発明が、本明細書における教示の利益を有する当業者に明白な、異なるがしかし均等な方法で修正および実行可能であるように、上記で開示した特定の実施形態は、単に実例である。さらに、添付の特許請求の範囲に記載する場合のほか、本明細書に示す構成または設計の詳細に対する限定は、意図されていない。したがって、上記で開示した特定の例示的な実施形態が、変更、組み合わせ、または修正可能であり、かかる全ての変形が、本発明の範囲および趣旨内であると考えられるのは明らかであろう。構成および方法が、様々なコンポーネントまたはステップを「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｃｏｎｔａｉｎｉｎｇ）」、または「含む（ｉｎｃｌｕｄｉｎｇ）」観点から説明されているが、構成および方法はまた、様々なコンポーネントおよび動作「から実質的になる」または「からなる」場合がある。上記で開示する全ての数および範囲は、ある量だけ変化することができる。下限および上限を備えた数値範囲が開示される場合はいつでも、より広い範囲内に入る任意の数および任意の部分範囲が特に開示される。また、特許請求の範囲における用語は、特許権所有者によって分かりやすく明確に別段の定義がない限り、明白な通常の意味を有する。本明細書、および参照によって本明細書に援用され得る１つまたは複数の特許または他の文献における単語または用語の使用に矛盾がある場合に、本明細書と一致する定義が採用されるべきである。
【図１Ａ】
2013536500.tif 000004
【図１Ｂ】
2013536500.tif 000005
【図１Ｃ】
2013536500.tif 000006
【図１Ｄ】
2013536500.tif 000007
【図２】
2013536500.tif 000008
【図３】
2013536500.tif 000009
【図５Ａ】
2013536500.tif 000010
【図５Ｂ】
2013536500.tif 000011
【図５Ｃ】
2013536500.tif 000012
【図５Ｄ】
2013536500.tif 000013
【図５Ｅ】
2013536500.tif 000014
【図５Ｆ】
2013536500.tif 000015
【図５Ｇ】
2013536500.tif 000016
【図５Ｈ】
2013536500.tif 000017
【手続補正書】
【提出日】平成25年4月10日(2013.4.10)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
【図１Ａ−１Ｂ】異なるカメラの向きおよび照明条件で撮られた、患者の背中にわたる複数のほくろ包含物を含む例示的な画像を示す。
【図１Ｃ−１Ｄ】異なるカメラの向きおよび照明条件で取得された、患者の背中における単一ほくろ包含物の例示的な画像を示す。
【図２】特定の実施形態において、時系列画像をどのようにオーバーレイできるかを示す例示的な流れ図を示す。
【図３】別の特定の実施形態において、時系列画像をどのようにオーバーレイできるかを示す例示的な流れ図を示す。
【図５Ａ】粒子群最適化法を用いた処理前の４つのパラメーター（平行移動、回転、倍率、および背景色）用のマッピング係数の例示的な４Ｄ散布図を示す。
【図５Ｂ−５Ｄ】粒子群最適化法を用いた処理前の、回転、倍率、および平行移動パラメーターの例示的な２Ｄ散布図を示す。
【図５Ｅ−５Ｈ】粒子群最適化法を用いた処理後のマッピング係数の収束を示す、図５Ａ−５Ｄのプロットに対応する例示的なプロットを示す。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】削除
【補正の内容】
【国際調査報告】
2013536500.tif 000018