(57)【要約】【解決手段】  画像をセグメント化する方法及びシステムであって、１以上の指数を使用して、画像ピクセルを複数のサブセットに分類し、１以上の指数の対数尤度関数を決定し、決定された１以上の指数の対数尤度関数に基づいて、１以上のマップを生成する。【選択図】  図１１
2010500655.tif 000002
【特許請求の範囲】
【請求項１】
画像をセグメント化する方法であって、
複数のピクセルを含む画像を提供し、
１以上の指数を使用して、ピクセルを複数のサブセットに分類し、
１以上の指数の対数尤度関数を決定し、
決定された１以上の指数の対数尤度関数に基づいて、１以上のマップを生成するステップを含む、画像のセグメント化方法。
【請求項２】
前記サブセットが、背景ピクセル、前景ピクセル、及び不確定のピクセルを含む、請求項１記載の画像のセグメント化方法。
【請求項３】
１以上の指数が１以上の特徴を含む、請求項１記載の画像のセグメント化方法。
【請求項４】
前記指数が少なくとも形状指数、正規化曲率指数及び強度値を含む、請求項３記載の画像のセグメント化方法。
【請求項５】
指数の少なくとも１つが形状指数を含む、請求項１記載の画像のセグメント化方法。
【請求項６】
形状指数が以下の数式を含む曲率ベース特徴を含む、請求項５記載の画像のセグメント化方法。
【数１】
2010500655.tif 000016
【請求項７】
１以上の指数が正規化曲率指数を含む、請求項１記載の画像のセグメント化方法。
【請求項８】
正規化曲率指数が以下の数式を含む曲率ベース特徴を含む、請求項７記載の画像のセグメント化方法。
【数２】
2010500655.tif 000017
【請求項９】
１以上の指数が強度値を含む、請求項１記載の画像のセグメント化方法。
【請求項１０】
決定するステップが１以上の指数の対数尤度関数を推定することを含む、請求項１記載の画像のセグメント化方法。
【請求項１１】
ピクセルが、３以上の指数を使用して分類され、
対数尤度関数を決定するステップが、３つの指数中の２つを使用して、対数尤度関数を決定するステップを繰り返して、３つ目の指数の対数尤度を推定することを含む、請求項１０記載の画像のセグメント化方法。
【請求項１２】
３つのサブセットが、背景ピクセル、前景ピクセル及び不確定のピクセルを含む、請求項１１記載の画像のセグメント化方法。
【請求項１３】
対数尤度は、１以上の指数に対して推定し、少なくとも部分的には１以上の決定境界を推定する、請求項１１記載の画像のセグメント化方法。
【請求項１４】
１以上の決定境界は、１以上の対数尤度関数に対して、１以上の単調型制約を提供することに用いられる、請求項１３記載の画像のセグメント化方法。
【請求項１５】
１以上のマップが確率マップを含む、請求項１記載の画像のセグメント化方法。
【請求項１６】
前記画像が生物材料の画像を含む、請求項１記載の画像のセグメント化方法。
【請求項１７】
前記生物材料が生物組織を含む、請求項１６記載の画像のセグメント化方法。
【請求項１８】
前記生物組織が１以上の細胞構造を含む、請求項１６記載の画像のセグメント化方法。
【請求項１９】
前記細胞構造が１以上の塊状構造及びリッジ状構造を含む、請求項１８記載の画像のセグメント化方法。
【請求項２０】
請求項１記載の方法を実現するシステムであって、
少なくとも一時的に画像を記憶する記憶装置と、
１以上の指数を使用して、ピクセルを複数のサブセットに分類し、１以上の指数の対数尤度関数を決定し、決定された１以上の指数の対数尤度関数に基づいて、１以上のマップを生成する処理装置と
備えるシステム。
【請求項２１】
前記画像が１以上の細胞構造を含む、請求項２０記載のシステム。
【請求項２２】
前記細胞構造が塊状構造及びリッジ状構造を含む、請求項２０記載のシステム。
【請求項２３】
１以上の塊状構造が核の少なくとも一部を含み、
１以上のリッジ状構造が膜の少なくとも一部を含む、請求項２２記載のシステム。
【請求項２４】
１以上のマップが１以上の塊状構造及びリッジ状構造のマップである、請求項２１記載のシステム。
【請求項２５】
塊状構造及びリッジ状構造のマップが確率マップである、請求項２４記載のシステム。
【請求項２６】
前記画像が血管構造を含む、請求項２０記載のシステム。
【請求項２７】
画像をセグメント化する方法であって、
複数のピクセルを含む画像を提供し、
１以上の指数を使用して、ピクセルを複数のサブセットに分類し、
１以上の指数の対数尤度関数を決定し、
決定された１以上の指数の対数尤度関数に基づいて、１以上の確率マップを生成するステップを含む、画像のセグメント化方法。
【請求項２８】
前記サブセットが背景ピクセル、前景ピクセル及び不確定のピクセルを含む、請求項２７記載の画像のセグメント化方法。
【請求項２９】
請求項２７記載の方法を実現するシステムであって、
少なくとも一時的に画像を記憶する記憶装置と、
１以上の指数を使用して、ピクセルを複数のサブセットに分類し、１以上の指数の対数尤度関数を決定し、決定された１以上の指数の対数尤度関数に基づいて、１以上の確率マップを生成する処理装置と、
含む、システム。
【請求項３０】
前記画像が、細胞構造、血管構造及び神経構造からなる群から選択される１以上の構造を含む、請求項２９記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像の処理及び解析に関する。
【背景技術】
【０００２】
リッジ状及び塊状構造のセグメンテーションは、医療及び生命科学分野の撮像応用に用いられるセグメンテーションのタスクの一つである。このような応用は、通常医学的応用において血管、気管支分岐系、骨、及び小節を検出し、顕微鏡応用においてニューロン、核及び膜構造を検出する。多チャンネルのデジタル画像を複数のセグメント（領域／コンパートメント）に分割することは、例えば、分子細胞生物学、分子病理学、及び薬学研究において、１以上のバイオマーカーを定量化するステップの一つである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第５８８８７４３号明細書
【特許文献２】米国特許第５９９５６４５号明細書
【特許文献３】米国特許第６１６０６１７号明細書
【特許文献４】米国特許第６１９５４５１号明細書
【発明の概要】
【課題を解決するための手段】
【０００４】
この方法及びシステムは、画像のリッジ状構造及び塊状構造の確率マップを生成することに適する尤度関数の推定量を提供する。この確率マップは、０及び１の確率値を使用して、画像の異なる形状のセグメント情報をエンコードするに用いられる。この方法の１以上の実施例は、曲率と強度とに基づいた特徴の経験尤度関数を繰り返して推定する。幾何学的制約は、曲率特徴を利用して、例えば組織の蛍光像における核又は膜構造を検出する。この方法は、ノンパラメトリックのように設定され、且つデータから分布関数を得ることができる。この方法は、塊状構造とリッジ状構造の任意の混合構造を解析することができるので、従来のパラメトリック手法に比べて改善されたものである。これは、リッジ状構造と塊状構造とを含む上皮組織の核画像のような組織像において、その応用価値が非常に高い。
【０００５】
画像をセグメント化する一つの方法は、通常、複数のピクセルを含む画像を提供し、１以上の指数を用いて、このピクセルを複数のサブセットに分類し、１以上の指数の対数尤度関数を決定し、決定された１以上の指数の対数尤度関数に基づいて、確率マップのような１以上のマップを生成するステップを含む。サブセットは、背景ピクセル、前景ピクセル、及び不確定のピクセルを含む。指数は、例えば形状指数、正規化曲率指数、又は強度値のような１以上の特徴を含むが、これに限定されない。
【０００６】
決定するステップには、１以上の指数の対数尤度関数を推定することを含み、３つの指数に限定されないが、３以上の指数を使用してピクセルを分類するが、対数尤度関数を決定するステップは、３つの指数中の２つの指数を使用して、対数尤度関数を決定するステップを繰り返して、３つ目の指数の対数尤度を推定する。これらの指数は１以上のクラス条件付き確率を推定することに用いられ、且つ３つ目の特徴集合の対数尤度を推定することに用いられる。ここで、対数尤度は、１以上の指数に対して推定され、少なくとも部分的には１以上の決定境界を推定する。１以上の決定境界は、１以上の対数尤度関数に１以上の単調型制約を提供する。
【０００７】
画像には生物材料の画像を含む。この生物材料として、例えば１以上の細胞構造を含む生物組織のようなものがあるが、これに限定されない。ここで、細胞構造は１以上の塊状構造とリッジ状構造とを含む。
【０００８】
画像をセグメント化する一つのシステムは、通常、少なくとも一時的に画像を記憶する記憶装置と、１以上の指数を用いてピクセルを複数のサブセットに分類し、１以上の指数の対数尤度関数を決定し、且つ決定された１以上の指数の対数尤度関数に基づいて１以上のマップを生成する処理装置とを含む。画像は、塊状構造とリッジ状構造とを含むが、これに限定されない。例えば、１以上の塊状構造は、核の少なくとも一部を含み、１以上のリッジ状構造は膜の少なくとも一部を含む。１以上のマップは、１以上の塊状構造とリッジ状構造の確率マップである。画像は、細胞構造、血管構造、及び神経構造からなるグループから選択される１以上の構造を含むが、これに限定されない。
【０００９】
本発明に係る特徴、態様、及び効果は、添付した図面に基づいて具体的に説明することにより、より一層明確になる。
【図面の簡単な説明】
【００１０】
【図１】球面座標系を用いて固有値と強度とを示す図面である。
【図２】図２ａは、一つの実施例を示す網膜画像の図面である。
【００１１】
図２ｂは、図２ａに示した図面に対して、形状指数と正規化曲率指数とに基づいて、セグメント化した前景ピクセルを示す図面である。
【００１２】
図２ｃは、図２ａに示した図面に対して、形状指数と強度に基づいて、セグメント化した前景ピクセルを示す図面である。
【００１３】
図２ｄは、図２ａに示した図面に対して、強度と正規化曲率指数に基づいて、セグメント化した前景ピクセルを示す図面である。
【００１４】
図２ｅは、図２ａに示した図面の推定された確率マップを示す図面である。
【００１５】
図２ｆは、図２ａに示された画像に対して、確率値が０．５以上で、背景になるより血管になるピクセルを示した図面である。
【図３】図３ａ〜図３ｆは、図２ａに示された網膜画像の推定されたクラス条件付き分布と対数尤度関数を示す図面であり、ａ）は強度の分布関数を示し、ｃ）は正規化曲率指数を示し、ｅ）は形状指数を示す。図３ａ、３ｃ及び３ｅで、前景ピクセル、背景ピクセル、及び全てのピクセルの分布は、それぞれ点線、破線、実線により示されている。図３ｂは強度に基づいて推定された対数尤度関数を示し、図３ｄは正規化曲率指数を示し、図３ｆは形状指数を示す。
【図４】図４ａは図２ａに示した網膜画像で、図４ｂ〜図４ｄと比較するために再び示されている。
【００１６】
図４ｂは図４ａに示した画像の閾値Ｔより高い強度値を有するセグメント化されたピクセルを示す図面である。
【００１７】
図４ｃは、図４ａに示した画像の閾値Ｔが５％減少された時、セグメント化されたピクセルを示す図面である。
【００１８】
図４ｄは、図４ａに示した画像の閾値Ｔが５％増加された時、セグメント化されたピクセルを示す図面である。
【図５】図５ａは、膜マーカーの画像と、本実施例で使用された２つの特徴に基づいて推定された前景サブセット（白色）及び背景サブセット（黒色）とを示す図面である。
【００１９】
図５ｂは、図５ａに示された画像の形状指数と正規化曲率指数に基づいてセグメント化された前景ピクセルを示す図面である。
【００２０】
図５ｃは、図５ａに示された画像の形状指数と強度に基づいてセグメント化された前景ピクセルを示す図面である。
【００２１】
図５ｄは、図５ａに示された画像の強度と正規化曲率指数に基づいてセグメント化された前景ピクセルを示す図面である。灰色は、前景サブセットと背景サブセットの何れにも含まれない不確定のピクセルを示す。
【００２２】
図５ｅは、図５ａに示された画像の推定された確率マップを示す図面である。
【００２３】
図５ｆは、図５ａに示された画像に対して、図面確率値が０．５以上で、背景になるより血管になるピクセルを示した図面である。
【図６】図６ａ〜６ｆは、図５ａに示された膜画像の推定されたクラス条件付き分布と対数尤度関数とを示す図面であり、ａ）は強の分布関数を示し、ｃ）は正規化曲率指数を示し、ｅ）は形状指数を示す。図６ａ、６ｃ及び６ｅにおいて、前景ピクセル、背景ピクセル、及び全てのピクセルの分布は、それぞれ点線、破線、実線により示されている。図６ｂは強度に基づいて推定された対数尤度関数を示し、図６ｄは正規化曲率指数を示し、図６ｆは形状指数を示す。
【図７】図７ａは、核マーカーの画像と、本実施例で使用された２つの特徴に基づいて推定された前景サブセット（白色）と背景サブセット（黒色）とを示す図面である。
【００２４】
図７ｂは、図７ａに示された画像の形状指数と正規化曲率指数とに基づいてセグメント化された前景ピクセルを示す図面である。
【００２５】
図７ｃは、図７ａに示された画像の形状指数と強度とに基づいてセグメント化された前景ピクセルを示す図面である。
【００２６】
図７ｄは、図７ａに示された画像の強度と正規化曲率指数とに基づいてセグメント化された前景ピクセルを示す図面である。灰色は、前景サブセット及び背景サブセットの何れにも含まれない不確定のピクセルを示す。
【００２７】
図７ｅは、図７ａに示された画像の経験対数尤度関数より推定された確率マップを示す図面である。
【００２８】
図７ｆは、図７ａに示された画像のパラメトリック対数尤度関数より推定された確率マップを示す図面である。
【図８】図８ａ〜８ｆは、図７ａに示された核画像の推定されたクラス条件付き分布と対数尤度関数を示す図面であり、ａ）は強度の分布関数を示し、ｃ）は正規化曲率指数を示し、ｅ）は形状指数を示す。図８ａ、８ｃ及び８ｅにおいて、前景ピクセル、背景ピクセル、及び全てのピクセルの分布は、それぞれ点線、破線、実線により示されている。図８ｂは、強度に基づいて推定された対数尤度関数を示し、図８ｄは正規化曲率指数を示し、図８ｆは形状指数の経験対数尤度関数及び模型ベース対数尤度関数を示し、それぞれ実線と破線により示されている。
【図９】図９ａは、膜、核及びｃ−Ｍｅｔマーカーの生画像の強度を示す図面である。
【００２９】
図９ｂは、図９ａで示された画像の膜、上皮核、間質核、及び細胞質の検出されたコンパートメントを示す図面である。
【図１０】図１０ａは、網膜画像の生画像の強度の一例を示す図面である。
【００３０】
図１０ｂは、図１０ａに示された画像の検出された血管網を示す図面である。
【図１１】図１１は、システムの一つの実施例を示す図面である。
【発明を実施するための形態】
【００３１】
バイオマーカーの定量は、各ピクセルを明確に決定することなく、ある領域に属するピクセルの尤度を算出することにより完成することができる。例えば、膜のピクセルを識別する代わりに、膜になるピクセルの尤度を演算することができ、この尤度は、本質的に膜になるピクセルの確率である。このような確率マップは、各チャンネルにより提供された強度と幾何学情報とを用いて計算される。画像における膜構造及び核構造の確率マップを算出する尤度関数の推定方法は既に知られている。初期の幾何学的制約から始まると、このアルゴリズムは、曲率ベース特徴と強度ベース特徴の経験尤度関数を繰り返して推定する。分布関数はデータから得られる。これは、既存のパラメトリック手法と異なり、塊状構造とリッジ状構造との任意の混合を処理することができる。そのアプリケーションとして、組織像のような上皮組織の核画像は、リッジ状構造と塊状構造とを含む。組織画像における膜構造綱は、他の実施例であって、リッジの交差により部分的な塊状構造を形成する。膜構造と核構造との正確なセグメンテーションは、高いレベルのスコアリングと統計解析応用のための基礎となっている。例えば、各セグメント化されたコンパートメントにおけるターゲットタンパク質の分布は、タンパク質の特異的経路が明らかになるように定量化される。そしてこの経路は臨床成績に関連している。
【００３２】
網膜画像はこの実施例を説明することに用いられ、説明した方法とシステムの１以上のステップを説明することのみに用いられる。この実施例で示された方法のステップは、網膜の長い血管構造に関連しているが、このステップは、同じように他の組織と生物構造に適応することができる。
【００３３】
ヘッシアン行列の固有値は、この実施例においてリッジ状構造と塊状構造とを検出するために用いられる。この固有値は、それらの不変特性が変化を抑えるため、本実施例で使用されたが、他の既存の特徴検出アルゴリズムを用いることもできる。画像Ｉ（ｘ、ｙ）のヘッシアンは下記の数式１のように定義される。
【００３４】
【数１】
2010500655.tif 000003
ヘッシアン行列の固有値（λ１（ｘ、ｙ）≦λ２（ｘ、ｙ））は、数値的に計算されることもでき、ヘッシアン行列の原理により分析的に得られることもできる。
【００３５】
【数２】
2010500655.tif 000004
固有値は、画像の曲率情報をエンコードし、且つリッジタイプの膜構造又は塊状タイプの核構造を検出することに有用なキューを提供する。しかし、固有値は画像の輝度によって決められる。以下は、画像の輝度とは関係ない曲率ベース特徴の２つの実施例である。
【００３６】
【数３】
2010500655.tif 000005
これを、それぞれ形状指数及び正規化曲率指数とする。これは、極座標系（図１に示されている）で固有値を定義することと略同じである。この変形例も、−３π／４≦θ（ｘ、ｙ）≦π／４及び０≦φ（ｘ、ｙ）≦π／２の境界領域を生ずる。
【００３７】
画像の強度Ｉ（ｘ、ｙ）は著しい情報源である。しかし、異なる画像間及び同じ画像内における輝度変化のため、これらの変化に合わせるように、正確な強度閾値及びパラメータを決定することが困難である。図３ａ（実線）で網膜画像（図２ａ）の強度ヒストグラムが示されている。強度の激しい変化のため、ヒストグラムは決して明らかな二峰性分布ではない。簡単な閾値化テストでこのような強度変化を示している。図４ｂは一定の閾値より大きい強度値を有するセグメント化されたピクセルを示す。図４ｃ及び４ｄは、閾値が５％減少又は増加することによりセグメンテーションに生じた激しい変化を示す。
【００３８】
既知の幾何学的なキューを用いて、形状指数と正規化曲率指数とに基づいた初期のセグメンテーションは、画像ピクセルを背景、前景、及び不確定である３つのサブセットに分ける。不確定サブセットは、背景サブセット又は前景サブセットに含まれない全てのピクセルを含む。これらのサブセットにより、背景及び前景の強度分布、並びに強度の対数尤度関数を推定することができる。この実施例で用いられたアルゴリズムは、一回に３つの特徴中の２つを利用して、残りの特徴の分布を推定するように繰り返し続ける。通常、３回の繰り返しは一つの集合に充分である。以下で説明したように、これらの対数尤度関数はこの実施例と組み合わせて全体の尤度関数を決定する。前景になるピクセルの確率を示す確率マップが計算される。
【００３９】
数式３と数式４により定義された強度及び特徴のベクトルが独立である仮定に基づいて、対数尤度関数を推定する。これらの数式は、絶対値を測定することではなく、比率を測定することである。この数式におけるアークタンジェント操作により、これらの測定を有界の空間に揃える。全体の画像の輝度が増加され又は減少されても、このメトリックは変化しない。アルゴリズムは、リッジ状又は塊状構造の既知の形状に基づいて決定された初期の対数尤度から始まって、３つの特徴集合の中の２つを使用して、各ピクセル（前景、背景、又は不確定）のクラスへの帰属関係を推定し、このピクセルのクラスを使用して、クラス条件付き確率、及び３つ目の特徴の対数尤度を推定する。一定の回数又は対数尤度関数の集合を得るまで、この手順を繰り返す。
【００４０】
以下の表は、この方法及びシステムに用いられるアルゴリズムの実施例を示す。ステップＡで、３つの特徴の中の２つに基づいて、クラスへの帰属関係が決定される。前景ピクセルＳＦと背景ピクセルＳＢとの結合は、全てのピクセルのサブセットである。言い換えると、サブサンプルは、クラスへの帰属関係が確かに決定されたデータセットから得られる。この実施例では、この点だけが他の特徴の対数尤度関数を推定することに用いられる。ステップＢで、ステップＡで使用されていない特徴の方向に従って、決定境界を推定する。この決定境界は対数尤度関数の推定に必要しないが、一部の対数尤度関数の単調型制約を執行することに用いられる。ステップＣで、クラス条件付き関数中の一つの関数として対数尤度関数を推定する。強度及び正規化曲率指数に対して、単調型制約を執行する。この実施例では、これは、例えば強度特徴に対して、更に明るいピクセルが前景になる可能性が高いことを暗示する。
【００４１】
【表１】
2010500655.tif 000006
この実施例で初期対数尤度関数は以下の通り定義される。
【００４２】
【数４】
2010500655.tif 000007
式中、Ｕは単位階段関数で、εｉは各特徴の尤度閾値である。これらの初期対数尤度を使用して、ステップＡの集合は、下記の集合に相当する。
【００４３】
【数５】
2010500655.tif 000008
異なる幾何学的な構造に対して、これらのパラメーターは簡単に得られる。例えば、黒い背景における明るい塊状に対して、両者の固有値とも負数であるので、両者間の角度は−π／２より小さい。この角度はより大きい固有値に関連し、−３π／２が有界になる。リッジの余白部は小さい角度Δ１及びΔ２に配置され、真っすぐなリッジに対して、これらは同じである。初期の集合に対して、サブサンプルは、θ≧０から観察された背景ピクセルから得る。ノイズのため、背景ピクセルは、何れの曲率指数を有することができる。しかし、この実施例では、正の極値である曲率を有するサブセットのみ、背景ピクセルの強度分布を推定することを満足できる。正規化曲率指数φＭの初期閾値を、全ての正規化曲率指数値の中央値に設置する。
【００４４】
図２ｂは、図２ａに示す画像の形状指数と正規化曲率指数とを使用して算出された初期の背景（黒色）、前景（白色）、及び不確定（灰色）のサブセットを示している。これらの初期サブセットは、通常完成したものではなく（たくさんの虚偽な負数を有する）、虚偽の正数が殆どない。しかし、これらは残りの特徴（強度）の分布を推定することに十分する情報を提供する。これらのサブセットから、背景及び前景の強度のクラス条件付き分布関数及び対数尤度関数が推定され、且つそれぞれ図３ａで破線及び点線により示されている。推定された初期の集合ＳＦ及びＳＢを提供して、前景Ｐ（Ｉ（ｘ，ｙ）／（ｘ，ｙ）∈ＳＦ）及び背景Ｐ（Ｉ（ｘ，ｙ）／（ｘ，ｙ）∈ＳＢ）のクラス条件付き強度の分布を推定する。図３ａ、図６ａ、及び図８ａで示された点線と破線は、それぞれ図２ｂ、図５ｂ、及び図７ｂで示された初期サブセットからの塊状画像及びリッジ状画像の推定された強度分布を示す。
【００４５】
次に、形状指数の初期の対数尤度関数、及び推定された強度の対数尤度関数を提供し、図２ｃで示されたように、背景／前景のサブセットを再算出する。これらのサブセットを使用して、正規化曲率指数のクラス条件付き分布関数（図３ｃ）及び対数尤度関数（図３ｄ）を推定する。本実施例で正規化曲率指数の対数尤度関数に対して単調性制約が実施され、提供された強度値に対して、前景が背景より高い曲率を有することを意味する。図５ｃと図７ｃは、それぞれ図５ａと図７ａで示された膜構造と核構造の強度と形状指数から得られたサブセットを示している。クラス条件付き強度の関数は図６ｃと図８ｃに示され、対数尤度関数は図６ｄと図８ｄに示されている。
【００４６】
繰り返した実施例において、形状指数に対して同じ手順を重複する。強度と正規化曲率指数との推定された対数尤度関数は図２ｄの背景／前景のサブセットを形成することに用いられる。この後、これらのサブセットに基づいて、それぞれ図３ｅと図３ｆに示されたクラス条件付き関数と対数尤度関数とが推定される。血管のピクセルに関して、図３ｅの−π／２における著しいピークは、予想通りである。これは、血管に関するこの実施例では、一つの固有値は０で、他の一つの固有値は負数であるためのである。０における小さいピークは、画像の明るい領域に隣接している２つの血管間にある谷間タイプの構造によるものである。図５ｄと図７ｄは膜画像と核画像とのサブセットを示す。これらのサブセットを用いて推定された関数は、図６ｅ〜６ｆ及び図８ｅ〜８ｆで示されている。膜のクラス条件付き関数（図６ｅ）において、前景のピークは−π／２より少し小さい角度にあり、前景のクラス条件付き関数は、背景のクラス条件付き関数より、−π／２より小さい全ての値が著しい高い。初期は異なるが、本実施例では核のクラス条件付き関数は、膜の分布関数に類似して集まっている。これは、上皮核における相当量のリッジ状構造のためである。塊状とリッジとの混合比例が異なるが、この実施例で使用されたアルゴリズムは、データから尤度密度を得る。単調性制約は、アルゴリズムの集合を安定化するために用いる。
【００４７】
単調性制約は最初に決定境界を推定することにより実施される。強度のための最適の強度閾値と正規化曲率指数とは、事後確率（ＭＡＰ）を最大化することにより推定される。
【００４８】
【数６】
2010500655.tif 000009
この実施例は、背景と前景の先験分布が同じである時の誤差基準を最小化することに目的がある。この実施例からクラス条件付き分が推定された後、決定閾値は、パラメトリックの近似値ではなく、一次元の完全なサーチにより決定される。強度と正規化曲率指数の範囲で決定境界が一つである時、形状指数の特徴では複数の境界があり得る。従って、この実施例で形状指数の対数尤度関数では単調性制約が実施されてない。
【００４９】
小さい分子と分母に対して、本実施例のステップＣで対数尤度関数が推定されたが、この数式は不明確又は不安定になることがある。従って、改善された経験対数尤度関数が、下記のような非減少の制約により定義された。
【００５０】
【数７】
2010500655.tif 000010
上記実施例の数式において、指数ｋは最初の２つの特徴のために定義され、それら全てのためのものではなく、形状指数が除いている。血管、膜、及び核構造に対する非減少の経験強度対数尤度関数は、図３ｂ、図３ｄ、図６ｂ、図６ｄ、図８ｂ、及び図８ｄに示されている。この実施例に用いられたアルゴリズムは、ある停止基準を満たすまで、全ての特徴のためにステップＡ〜Ｃを繰り返す。この方法とシステムはこの基準に限定されない。異なる停止基準を定義することができ、例えば推定された決定境界における比率の変化を停止基準とすることができるが、これに限定されない。この実施例のアルゴリズムは、膜と核の画像に用いられた場合、３回反復することに集まる傾向がある。従って、この実施例で３回反復した。
【００５１】
この方法及びシステムは、本明細書により提供された解析ツールにより様々な異なる画像を何れの数とタイプに処理及び解析することに用いられる。この方法及びシステムは、特に塊状及び／又はリッジ状構造、又は少なくとも一部に形状、幾何学的な及び／又は地形的な特徴に基づいて、別の構造から区別できる他の類似する構造を含む画像を分析することに有用である。例えば、このような画像には、生物構造と組織の画像が含まれるが、これに限定されない。例えば、この方法とシステムは、血管特徴と、神経特徴と、細胞及びサブ細胞特徴とを含む構造と組織を区別することに有用である。
【００５２】
特徴が独立である仮定を再び構築し、それぞれの対数尤度関数から、共有の対数尤度関数を算出することができる。
【００５３】
【数８】
2010500655.tif 000011
前景になるピクセルの確率を示す確率マップは、下記のように共有の対数尤度関数により計算される。
【００５４】
【数９】
2010500655.tif 000012
図２ｅ、図５ｅ、及び図７ｅは、それぞれ血管、膜、及び核の画像の推定された確率マップを示す。この実施例では、図３ｂに示されたように、以前に決定した閾値を最適の決定境界として使用する。例えば決定基準として０．５を使用し、確率マップを閾値化することにより、二対の決定マップを計算することができる（図２ｆ、図５ｆ）。
【００５５】
血管及び膜構造の推定された二元決定マップが正確なセグメンテーションの境界を含むと、核の決定マップは過度にセグメント化された領域になる傾向がある。これは、核の周りで大量の光散乱があるためであり、特に上皮核と内部の環状上皮核との間に密集された大量の光散乱のためであり、内部の環状上皮核で散乱光により対応する明るい領域を生じる。隣の核と内部の環状核との間の領域で、高い曲率と高い強度を有するので、これらの領域は形状指数のクラス条件付き推定に悪い影響を及ぼす。予想外の幾何学的な構造が重視されないモデルベース尤度関数は、核の対数尤度関数に適している。図８ｆの破線は、２つのガウス関数和を模型とした関数を示し、その中でそれらのパラメーターは−π／２より小さく、且つ固定した下限をｅ−５に設定したデータ値から得られる。図７ｆに結果とした確率マップが示されている。接続された組成の解析及び開口充填アルゴリズムが凹んだ上皮核の隙間に挿入される。記入値として確率値を０．５（図７ｆで灰色）に設置し、二元決定マップで核ピクセルとして定義される。定量のタスクに基づいて、経験尤度関数又はモデルベース尤度関数を使用することができる。この実施例で、モデルベース関数を使用し、これは独立した核セグメントを生ずることができるためである。この独立した核セグメントは、上皮核を検出する下記の実施例で、間質核から上皮核を区別することに使用されることができる。
【００５６】
多数の分子マーカーは、上皮核又は間質核をターゲットとする。現在の分子像実践において、ケラチンのようなバイオマーカーを使用して、間質組織から上皮組織を区別する。しかしながら、この実施例では、曲率ベース方法は、マーカーに対して間質組織から上皮組織を区別する要求がなくなる。その結果、染色加工がより簡単になり、且つ、生物的資源及び光学的資源が他のターゲットにも多重に使用されることができる。この計算アルゴリズムの例は、１以上の実施例に用いられ、上皮核がそれを囲む膜構造を有する技術を利用した。上皮組織の核は、間質組織の核より大きい且つより一層密集されている。
【００５７】
上皮核と間質核との間の形態学的な区別は、図解のみのこの実施例で、核、細胞質、及び膜の集合の上位集合を識別することにより明確になる。例えば上位集合を示すＳ（ｘ、ｙ）を検出されたコンパートメントの和集合とする。
【００５８】
【数１０】
2010500655.tif 000013
式中、ｃ（ｘ、ｙ）、Ｍ（ｘ、ｙ）及びＮ（ｘ、ｙ）は、細胞質、膜及び核のピクセルを示す。この実施例で、細胞質は、膜と核のピクセルにより制限された小さい領域の集合の和集合とする。間質核は、膜構造を通じて接続されていなく、且つ希薄に分布されているので、Ｓ（ｘ、ｙ）の接続される組成の解析により、間質核を検出することができる。上皮マスクＥ（ｘ、ｙ）は、Ｓ（ｘ、ｙ）の接続された巨大な組成の和集合として生成する。この実施例のサンプル画像において、接続された組成が８００ピクセル以上であると、上皮マスクの一部とする。核セットは、マスキングにより、上皮核（Ｎｅ（ｘ、ｙ））と間質核（Ｎｓ（ｘ、ｙ））に分離される。
【００５９】
【数１１】
2010500655.tif 000014
図９ｂは算出された膜、上皮核、間質核、及び細胞質の異なる領域を示している。図９ｂで示されている上皮核は、間質核から明確に区別されている。
【００６０】
前に説明した通りに、この方法及びシステムは、様々な応用に適用することができる。このような応用として、組織マイクロアレイのデジタル画像をセグメント化することが、その一つの例である。この実施例で、多チャンネルのデジタル画像は、１以上のバイオマーカーを定量する一つのステップで、複数の領域（セグメント／コンパートメント）にセグメント化された。この実施例で、定量は、各ピクセルを明確に決定することではなく、ある領域に属する所定のピクセルの尤度を決定することにより完成する。例えば、膜のピクセルを識別する代わりに、膜になるピクセルの尤度を算出する。この尤度は、所定のピクセルが膜の領域に属する確率を示す。この領域の確率マップは、各チャンネルの強度と幾何学情報を用いて算出することができる。例えば、図９ａは、核染色（Ｄａｐｉ）、膜染色（Ｐａｎ−カドヘリン）、ターゲットタンパク質（ｃＭｅｔ）を示す多チャンネル画像の測定された強度を示している。この確率マップは、それぞれ図７ｆと図５ｅで示されている核と膜に対して算出されたものである。この画像における輝度は、確率値を示し、白色は確率値が１であることを示し、黒色は確率値が０であることを示し、灰色による影は、確率値に比例している。各ピクセルの確定は、確率マップを閾値化することにより、簡単に決定することができる。このような決定は、間質核から上皮核を分離し、細胞質を検出することに用いられる。細胞質も１と０の確率マップとして示されることができる。図９ｂは、算出された膜、上皮核、間質核、及び細胞質の異なる領域を示している。背景と余分な細胞マトリクスは黒色で示されている。
【００６１】
異なる領域間におけるターゲットタンパク質の転位は、確率マップにより定量することができる。各領域におけるターゲットタンパク質（ｃＭｅｔ）の分布は、確率分布関数（ＰＤＦ）により示されることができる。例えば、膜におけるｃＭｅｔのＰＤＦは、膜の確率マップが重量を決定するｃＭｅｔの重量の経験分布である。転位スコアは、１以上又は組み合わせた領域に基づいて生成する。この実施例で、五つの領域（膜、上皮核、間質核、細胞質、及び余分な細胞マトリクス）を有する。この実施例で、転位スコアは、対応するＰＤＦ間の正規化平均差と定義される。この転位スコアは、臨床成績を反映すること、又は平均余命との関連を観察することに用いることができる。
【００６２】
説明した通りに、この方法及びシステムは、様々な画像の解析に用いられる。この実施例で、顕微鏡画像は、蛍光補正ターゲットを用いて予めに補正されることができる。網膜画像のような画像に対して、このような補正を行うことができない。しかし、照明補正技術を使用してこのような変化を校正することができる。一般に使用される照明補正技術として、以下の通り定義された準同形フィルタリングがある。
【００６３】
【数１２】
2010500655.tif 000015
式中、Ｉ’（ｘ、ｙ）は補正された新しい画像で、Ｇ（ｘ、ｙ）はガウシアンフィルタで、＊は畳み込み演算である。補正された強度で画像を更新すると、強度が大きい変化した画像は、説明したものと同じアルゴリズムを使用して、更に正確にセグメント化されることができる。準同形フィルタリングで説明された副作用を排除すると、最初の強度値から、形状指数と正規化曲率指数とを一層良く計算することができる。図１０は、補正された強度値用いた網膜画像のセグメンテーション結果を示している。
【００６４】
ここで、本発明の一定の特徴が図示され且つ説明されているが、当業者であれば、様々な改善及び変更をすることができる。従って、添付した特許請求の範囲は、本発明の精神範囲に含まれる全ての改善と変更をカバーすると理解すべきである。
【００６５】
自動システム１０（図１１）は、この方法を実行するためのものであり、通常、少なくとも一時的に１以上の画像を記憶する記憶装置１２と、処理装置１４とを含む。処理装置１４は、１以上の指数を使用してピクセルを複数のサブセットに分類し、１以上のサブセットの強度分布及び対数尤度関数を決定し、且つ決定された１以上のサブセットの対数尤度関数に基づいて、１以上のマップを生成する。この画像には、塊状構造及びリッジ状構造を含むが、これに限定されない。例えば、１以上の塊状構造に、核の少なくとも一部を含み、１以上のリッジ状構造には膜の少なくとも一部を含む。１以上のマップは、１以上の塊状構造及びリッジ状構造の確率マップである。この画像は、細胞構造、血管構造、及び神経構造からなる群から選択される１以上の構造を含むが、これに限定されない。
【００６６】
記憶装置は、ＣＰＵ（セントラルプロセッシングユニット）のＲＯＭ（リードオンリーメモリ）、ＲＡＭ（ランダムアクセスメモリ）、又はＤＲＡＭ（ダイナミックランダムアクセスメモリ）のような処理装置に使われる何れの適当なハードドライブメモリ、ＤＶＤ又はＣＤのような何れの適当なディスクドライブメモリ、ジップドライブ、又はメモリカードを含むことができるが、これは必須ではない。この記憶装置は、処理装置又は画像を表示する手段から遠く離れて配置され、何れかの適する接続装置又は通信ネットワークを通じてアクセスすることができる。この通信ネットワークとして、例えば、ローカルエリアネットワーク、ケーブルネットワーク、衛星ネットワーク、又はインターネットがあるが、これに限定されなく、且つ有線でも良く、無線でも良い。この処理装置又はＣＰＵには、マイクロプロセッサ、マイクロコントローラ、及びデジタルシグナルプロセッサ（ＤＳＰ）が含まれる。
【００６７】
一つの実施例では、記憶装置１２と処理装置１４とは、解析デバイスの構成部品として、組み込むことができる。解析デバイスとして、一つのシステムにおいて組織マイクアレイ（ＴＭＡｓ）に対して染色し撮像し、更にこの画像を解析するハイスループット自動システムのようなものがある。システム１０は、更に１以上の画像を表示する表示手段１６と、インタラクティブビューア１８と、バーチャル顕微鏡２０と、及び／又は、通信ネットワーク２４を通じて１以上の画像又は何れの関連するデータ又は解析情報を１以上のリモートロケーション２６に送信する送信手段２２とを含む。
【００６８】
表示手段１６は、デジタル画像を表示することができる適当なデバイスを含むことができ、例えば、ＬＣＤ又はＣＲＴが組み込まれたデバイスのようなものが含まれるが、これに限定されない。送信手段２２は、通信ネットワークを通じて、デジタル情報を送信する適当な手段を含むことができる。通信ネットワークとして有線又は無線デジタル通信システムが含まれるが、これに限定されない。このシステムは、更に１以上の染色を塗布する自動装置２８と、デジタル画像装置３０とを含むことができる。デジタル画像装置３０として、励振源３２を含んで、ＴＭＡｓのデジタル画像を取得することができるイメージング型顕微鏡があるが、これに限定されない。このような画像デバイスは、更に自動的に焦点を合わせることができ、且つ処理過程に必要する焦点特徴を維持し且つ探知することができる。
【図１】
2010500655.tif 000018
【図２】
2010500655.tif 000019
【図３】
2010500655.tif 000020
【図４】
2010500655.tif 000021
【図５】
2010500655.tif 000022
【図６】
2010500655.tif 000023
【図７】
2010500655.tif 000024
【図８】
2010500655.tif 000025
【図９】
2010500655.tif 000026
【図１０】
2010500655.tif 000027
【図１１】
2010500655.tif 000028
【国際調査報告】
2010500655.tif 000029
2010500655.tif 000030