(57)【要約】デジタル画像の自動分析のための方法、特に、組織スライドのデジタル画像中で識別された細管構造および上皮細胞の相対的な比率に基づいて、胸組織中の癌の存在および重大度を評価するための方法。この方法は、画像中のピクセルのうちの幾つかあるいは全てから特性同時発生マトリックス(PCM)を生成し、選択されたピクセルからなる近隣の強度の局所平均及び局所標準偏差の特性を使用し、PCMの分析に基づいて指定されたクラスに属するように、選択されたピクセルにラベルを付けることにより、画像を分けるステップを含む。この方法で、画像内の上皮細胞を表わす比較的暗く且つ本質的に組織化された領域が、より明るく、より均一な背景領域から識別することができる。他のステップは、強度、形およびサイズの基準に基づいて、画像中の管細胞を表わすピクセルを識別し、これらピクセルを、全体の細管構造に対応させるために或る大きさだけ、上皮細胞としてラベル付けされた周囲のグループ内に膨張し、この様な膨張の後の管細胞の数の、管および上皮細胞ピクセルの全数に対する比率に基づいて、メトリックを計算することを含む。この方法に対する他の利用には、あるタイプの結晶構成を含む鉱物サンプルの分析が含まれる。
2006505782.tif 000002
【特許請求の範囲】
【請求項１】
ピクセルの配列から成るデジタル画像の自動分析法であり、
選択されたピクセルから成る近隣における強度の局所平均および局所標準偏差の特性を使用して、前記ピクセルの幾つかまたは全てから、特性同時発生マトリックス(PCM)を生成し、
選択されたピクセルに、前記PCMの分析の結果により特定されたクラスに属するとしてラベルを付けを行うことにより、画像を区分するステップを含む方法。
【請求項２】
それそれのガウシアン分布が、期待値最大化(EM)アルゴリズムの実行を使用して、PCM内の2つの主な分布にフィットされ、分配パラメータが決定される請求項1記載の方法。
【請求項３】
ピクセルが、最も近接しているPCM内の分布に従って、ラベル付けされ、
各ラベルをPCM内の別の分布に割り当て、
それぞれのピクセルが寄与するPCM内の点と、各ラベル付けされた分布の中心との間正規化された距離を決定し、そして
この様な正規化された距離が最も短くなる分布のラベルをそれぞれのピクセルに割り当てられるステップを含む請求項1または2記載の方法。
【請求項４】
特定の分布に向けてラベルを付けにバイアスをかけるために、スケール因子が、正規化に導入される、請求項3記載の方法。
【請求項５】
ピクセルの局所特性の結果として生じた前記PCMの形成から或るピクセルが除去される、請求項1乃至4記載の方法。
【請求項６】
請求項1で規定されたステップに先行して、
画像ピクセルの幾つかまたは全てからグレーレベルヒストグラムを形成し、
前記ヒストグラムの分析の結果により閾値を生じ、
前記閾値より上のピクセルを、前記PCMの形成から除去するステップを含む請求項5記載の方法。
【請求項７】
前記閾値が、ヒストグラムのメインピークより上の最大の谷に確定される請求項6記載の方法。
【請求項８】
請求項1で規定されたステップに先行して、
それぞれのピクセルの近隣における強度の局所平均および局所マトリックス(PCM)の特性を使用して、前記PCMよりもより高い分解能を有する特性同時発生マトリックスを生成し、
局所標準偏差の小さな範囲に対して一定局所平均に沿って加算することにより、局所平均のヒストグラムを形成し、
前記ヒストグラムの分析の結果として閾値を形成し、そして
前記閾値よりも上のピクセルを、最初に述べたPCMの形成から除外するステップを含む請求項5記載の方法。
【請求項９】
前記閾値が、ヒストグラムのメインのピークより上の最も重大な谷に、確立される請求項8記載の方法。
【請求項１０】
ビンの数が2nに等しくなるまでに、ヒストグラムを延ばし、新たなビットをゼロに設定し、nは、2n個のビンが完全にヒストグラムを含むような、最も低い値であり、
各ヒストグラムを2n+1個のビンを有する様に両側に50%だけ更に延ばし、且つ新たなビンをゼロに設定し、
連続ヒストグラムが4,8,---2 n+1個のビンを有する様に、ビンのグループを平均することによって、n多重分解能ヒストグラムを形成し、
各分解能でのヒストグラム値を、エッジオペレータとコンボリューションし、
各分解能における全てのピークおよび谷の位置を、上記コンボリューションの結果の符号の変化によって、識別し、
各分解能における各ピークおよび谷を、後続の分解能における対応するピークまたは谷（存在する場合）に関係付け、
メインのピークおよび最も重大な谷を、それぞれ、最大の前記分解能に存在するものと識別するステップを含む、請求項7または請求項9記載の方法。
【請求項１１】
前記PCMの形成から除去されるピクセルに、前記クラスと異なる特定のクラスに属するとして、ラベル付けすることにより、画像が区分される請求項5乃至10記載の方法。
【請求項１２】
前記クラスの同じものに従属するとラベル付けされた連続ピクセルを、ブロブにグループ分けするステップを更に含む請求項1乃至11記載の方法。
【請求項１３】
前記ブロブのそれぞれに関する統計値を計算し、前記統計値に従ってブロブをフィルリングする請求項12記載の方法。
【請求項１４】
前記統計値が、各ブロブの配列の一つ以上軸方向でのサイズ、面積、アスペクト比、および密度の一つまたはそれ以上次のものの1つ以上を含んでいる請求項13記載の方法。
【請求項１５】
前記フィルタリングが、選択されたブロブ内のピクセルに、周囲のブロブ内のピクセルのクラスに属するとして、再度ラベル付けすることを含む請求項13または請求項14記載の方法。
【請求項１６】
前記フィルタリングが、選択されたブロブ中のピクセルに、前記クラスと異なる新たなクラスに属するとして、再度ラベル付けを行うことを含む請求項13乃至15何れかに記載の方法。
【請求項１７】
前記新たなクラス(Cn)に属するとしてラベル付けされたピクセルから成る特定の量だけ、前記特定されたクラス(Co)の選択されたものに従属するとして、ラベル付けされたピクセルから成る隣接ブロブ中に、膨張するステップを更に含む請求項16記載の方法。
【請求項１８】
前記膨張が、
元の画像内のクラスCnのピクセルを、新たな画像内の1の値に、割り当て、且つ他の全てのピクセルを0に割り当てることにより、新たな画像を生成し、
新たな画像を、ゼロ平均値および前記特定の量に等しく設定された標準偏差を有する2次元ガウシアンカーネルで、コンボリューションし、ガウシアンの値が、平均から1標準偏差の位置において1であり、
結果の画像が、1および0の値のみを有するように、打ち切りを行い、そして
ピクセルが、前記打ち切られた画像で、1の値を有し、且つ元の画像におけるクラスCnまたはクラスCoの何れかに、ラベル付けされる場合、そのピクセルが、元の画像内のクラスCnに割り当てられるステップを含む請求項17記載の方法。
【請求項１９】
前記膨張が、
元の画像内のクラスCnのピクセルを、新たな画像内の値1に割り当て、全ての他のピクセルを0に割り当てすることにより、新たな画像を生成し、
ゼロ平均および所定の値(L)に設定された標準偏差を有する二次元ガウシアンカーネルで、新たな画像をコンボリューションし、ガウシアンの値が、平均から1標準偏差の位置で1であり、
結果の画像を、値1または0のみを有するように、打ち切り、
ピクセルが打ち切られた画像内に値1を有し、元の画像においてクラスCnまたはクラスCoにラベルされる場合、それを、元の画像のクラスCnに割り当てる各ステップを繰り返し行うことを含み、
クラスCnに従属するとしてラベル付けされたピクセルから成る前記ブロブとクラスCoに従属するとしてラベル付けされたピクセルから成る前記ブロブとの間の、CoまたはCnの何れのクラスでもないクラスに従属するとラベル付けされたL-1ピクセルよりも大きくないギャップが存在するにも関わらず、前記特定の膨張の量が、達成される請求項17記載の方法。
【請求項２０】
選択された前記クラスに属するとラベル付けされたピクセルの数の関数として、メトリックを計算するステップを更に含む請求項1乃至19何れかに記載の方法。
【請求項２１】
前記メトリックは、クラスCnとラベル付けされたピクセルの数とクラスCoの数との和に対する、前記膨張の後のクラスCnとラベル付けされたピクセルの数の比率である請求項20記載の方法。
【請求項２２】
組織または細胞標本のデジタル画像の自動分析法のための、請求項1乃至21記載の方法。
【請求項２３】
画像が胸組織の切片である、請求項22記載の方法。
【請求項２４】
前記区分の結果、選択されたピクセルに上皮細胞のクラスに属するとして、ラベル付けすることを特徴とする請求項22または請求項23記載の方法。
【請求項２５】
前記新たなクラスが管細胞のクラスとして識別される、請求項16に従属する請求項22乃至24の何れかに記載されるか、または、請求項16に従属するその他の請求項の何れかに記載の方法。
【請求項２６】
クラスCnは管細胞のクラスとして識別され、クラスCoは上皮細胞のクラスとしな識別される請求項17に従属する請求項22乃至24の何れかに記載さるか、または請求項16に従属するその他の請求項の何れかに記載の方法。
【請求項２７】
前述の膨張が、上皮細胞の特定の数に従った距離に渡る請求項26記載の方法。
【請求項２８】
前記メトリックを癌の等級の指標に変換するステップを含む請求項20または請求項21に従属する請求項22乃至27の何れかに記載の方法。
【請求項２９】
鉱物のサンプルのデジタル画像の自動化分析のための請求項1乃至21の何れかに記載の方法。
【請求項３０】
2つまたはそれ以上のクラスの内の一つに従属するとして、それぞれのピクセルにラベル付けすることよって、画像を区分し、
同じクラスの連続ピクセルをブロブにグループ分けし、
それぞれの前記ブロブに関する統計値を計算し、
選択された前記ブロブ内のピクセルに、異なるクラスに属するとして、再度ラベル付けし、
特定された量だけ、他の前記クラスのブロブ内に、前記クラスの一つの選択されたブロブを膨張し、
膨張されたブロブによってカバーされた全領域を、選択された一つのクラスまたは複数のクラスのブロブによってカバーされた全面積に、関係させるメトリックを計算するステップから成る、ピクセルの配列を含むデジタル画像の自動化分析のための方法。
【請求項３１】
上皮細胞および管細胞をそれぞれ表わす様にピクセルにラベル付けし、
上皮細胞のサイズに関係する特定の量だけ、上皮細胞を表わすようにラベル付けされたピクセルの隣接したグループ内に、管細胞を表わすようにラベル付けされるピクセルのグループを膨張し、
上皮細胞のサイズに関係する特定の量だけ、上皮細胞を表わすようにラベル付けされたピクセルの隣接グループ内に、管細胞を表わすようにラベル付けされたピクセルのグループを膨張し、
このような膨張の後の管細胞を表わすようにラベル付けされたピクセルの全数および管細胞または上皮細胞を表わすようにラベル付けされたピクセルの全数を計算し、
前のステップでの計算からメトリックを計算し、
前記メトリックを癌の等級の指標に変換するステップを含む、ピクセル配列を含む胸組織の組織標本のデジタル画像の自動分析のための方法。
【請求項３２】
請求項1乃至31に記載される方法を達成するように適合された手段からなるデジタル画像の自動分析用装置。
【請求項３３】
コンピュータに請求項1乃至31の何れか一つに従う方法を実行させるように適合されたコンピュータプログラムコード手段を有するコンピュータ読出可能媒体からなるコンピュータプログラム製品。
【請求項３４】
コンピュータに、請求項1乃至31の何れか一つに記載される方法を実行させる命令から成るコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像の自動分析法に関係し、特に、組織標本あるいは細胞標本のデジタル画像中の異なる細胞グループ分けの自動識別に関し、特に、組織区分のデジタル画像内で識別された細管構造および上皮細胞の相対的な大きさに基づいて、胸組織中の癌の存在および重大度を評価することを目的とする。この様な観点から、本発明は、基本的に本願明細書で記述されている。しかしながら、本発明は、同様の方法で種々の他の種類の識別可能な構造表示画像成分の分析、例えば、或る形態の結晶構成を含む鉱物のサンプルの分析への応用を見出すことができる。
【背景技術】
【０００２】
何千もの女性が、乳癌(もし十分に初期に検知されれば、存続の高い可能性が理論上ある癌)で毎年無益に死ぬ。癌の組織の存在がサンプルの中で見逃される場合、次のテストが試みられる時までに、癌は進行しているかもしれなく、生存の機会は著しく減少する。したがって、サンプル中の癌の組織を検出する重要性は、強調されすぎることはない。
【０００３】
典型的な国家胸部スクリーニングプログラムは、微妙な病変の早期発見のために乳房X線造影法を使用する。乳癌を示す病変が検出されると、次に組織サンプルが、訓練された組織病理学者によって取り出され且つ検査され、診断および予後診断が行われる。この方法は、時間を浪費し、労働集中的であり、費用のかかるプロセスである。そのような検査を行なう資格は得るのが簡単でなく、頻繁な再審査を必要とする。検査はそれ自身、分析中および分析間の両方における相当な変動によって特徴つけられる非常に主観的なプロセスである目による色画像の解釈を必要とする。即ち、観測における変動が、異なる組織病理学者毎に、および同じ病理学者によっても時間が異なると、同じサンプルに対して発生する場合がある。例えば、同じ10個のサンプルを検査する二人の異なる組織病理学者が、それらの３個に関して異論を与えるかもしれなく、30%のエラーを生じることが研究により示された。この問題は、いくつかのサンプルの複雑性によって、特に決定的な結論がないかもしれない限界的な場合において、悪化する。もし、十分に訓練されたスタッフが利用可能でなければ、このことは分析を完了することに圧力をかけ、誤った評価および診断の遅れに潜在的に結びつく。
【０００４】
これらの問題は、乳癌に対するスクリーニングの程度および有効性に関して、現実的な制限があることを意味している。何人かの女性が疾病を持っていると正確に識別されず、数例においては、この失敗が若死に帰着する場合があるという結果を伴っている。反対に、他のものは間違って乳癌と診察されて、したがって、潜在的に精神的外傷の治療を不必要に受けている。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従って、本発明の目的は、乳癌の診断および予後診断を助けるための、強力で、客観的で、コスト効率の良いツールで具体化することができる画像解析の方法を提供することであるが、上述した様に、本発明は、他の分野での適用を見つけることができる。
この目的の理解を助けるために、胸組織の組織スライドに典型的に表れる物体の種類の単純化された表現である添付した図1に対して参照される。細管構造は、上皮層2によって囲まれた1で示された様な管からなって、表れている。管は、種々の形状を有する小さい、明るい領域として表れるが、上皮細胞は、もっと組織化されていてより暗く表れている。３で示される様な脂肪細胞は、管1と同様な強度を有するが、管1よりも一般的に相当より大きい。管1と脂肪細胞3と同様の強度を有する細長い領域は、4で示される様に存在することができ、収縮のための組織内の裂けまたは割れの特徴を有する。スライドの残りは、管1、細胞3、裂け／割れ4よりも暗いが、上皮細胞2よりも明るく、組織がより均一に一般的に表れる「背景」組織5から成る。健康な組織は、2個の上皮細胞の境界が通常ある管を含む細管構造を相当な数含むはずである。癌の組織では、細管は、破壊する傾向があり、上皮細胞は増殖するので、所定のサンプル中のこれらの構造間の面積比率が、癌の存在および重大度の表示としてより使用することができる。特に、組織病理学者は、以下の式によって、慣例通りにメトリックMの主観的な評価を行う。
【数１】
2006505782.tif 000003
【０００６】
Tは細管構造(管と2つの上皮細胞の境界)によってカバーされたスライド中の表面積、Dは管によってカバーされた表面積、そして、Eは、すべての上皮細胞(Ｔ中のものを含む)によってカバーされた表面積であり、そして、それらは、通常以下の閾値を使用して、癌の等級に対するこのメトリック値による査定と関係する。
【表１】
2006505782.tif 000004
ここで、等級1は、最も深刻でなく、等級3は、最も深刻である。
【課題を解決するための手段】
【０００７】
同じまたは同様のメトリックの物体査定が、画像分析の自動化方法によって達成されるべき場合、上皮細胞を含む画像内の物体を特に識別する必要がある。ある様相において、従って、本発明は、ピクセルの幾つかまたは全てから特性同時発生マトリック（ＰＣＭ）を発生し、選択されたピクセルからなる近隣の局所平均および局所標準偏差の特性を使用し、上記ＰＣＭの分析の結果特定されたクラスに従って、選択されたピクセルにラベル付けを行うことにより、画像を分けるステップを含むピクセルの配列から成るデジタル画像の自動化分析用の方法である。
【０００８】
また、本発明は、上述の方法を達成するための手段から成るデジタル画像の自動分析用装置であり、また、コンピュータに上述の方法を実行させるように適合されたコンピュータプログラムコードを有するコンピュータ読出可能媒体を含むコンピュータプログラム製品、および上記方法を実行するための命令を含むコンピュータプログラムである。
【０００９】
特性同時発生マトリック（ＰＣＭ）は、Electronics and Communication Engineering Journal, pp71-83, Vol 5, No 2, 1993 (Co-occurence Matrices for Image Analysis(画像分析用同時発生マトリックス)、JF Haddon およびJF Boyce)に記載されており、標準グレーレベル同時発生マトリックスへの拡張および一般化は、IEEE Trans. Syst., Man, Cybern., Vol SMC-3, pp 610-621, 1973 (Texture Features for Image Classification(画像分類用組織特徴), RM Haralick, K ShanmuganおよびI Dinstein)に記述されている。それらは、多次元ヒストグラムであり、各要素は、選択された特性が同時に発生する度数である。近隣の画像ピクセルの強度の局所平均および局所標準偏差の特性を使用してＰＣＭを発生することによる、ＰＣＭのような分析は、比較的低い局所平均および比較的高い局所標準偏差を有する領域（本発明のこの様相での好適な実施において、上皮細胞を表わす暗く、組織化された領域の如き）に寄与するピクセルと、比較的高い局所平均および比較的低い標準偏差を有する領域（本発明のこの様相の好適な実施において、“背景”組織を表わすより均一な領域の如き）または本発明の他の応用における特性の他の組合せの領域に寄与するピクセルとを識別することができる。
【００１０】
本発明のこれらおよび他の様相は、実施の形態によって、添付図面を参照して、肺の潜在的な腫瘍の組織スライドのデジタル画像中の細管構造に基づいて癌の等級を決めるための自動化システムの文脈で、より特定的に記述される。
【発明を実施するための最良の形態】
【００１１】
図2は、典型的な、本発明を実施するための、画像取得および処理用の典型的なコンピュータベースのシステムを示す。切片が肺組織サンプルから切断され、スライド上に設置され、従来の技術に従って、染色された。組織病理学者は、顕微鏡21内でスライドを操作し、達成されるべき解析のために、最も有望と思われる領域を選択し、デジタルカメラ22で写真がとられた。カメラ22からの画像は、パーソナルコンピュータ（PC）22にダウンロードされ、そこで以下に記述される様に、記憶され、そして処理される。本発明によって利用されるシステムにおいて、顕微鏡が提供した10倍の光学拡大およびデジタル画像は、横1476縦1160ピクセルであった。細胞サイズ、膨張における最大ブリッジギャプ、および形状基準の様な、幾つかのパラメータが相応して調整されるならば、以下により特定的に記述されるアルゴリズムの性能を落とすこと無しに、他の倍率およびデジタル化サイズを使用することができる。顕微鏡およびカメラは、より高い分解能の平台スキャナまたは類似のものの様な他の好適な装置と置き換えることができる。ＰＣは、好適な処理能力を有する汎用コンピュータまたは専用ハードウェアとも置き換えることができる。
【００１２】
プロセスの概観
図3は、本発明の好適な実施の形態における処理構成要素のアウトラインを示す、これらは、以下のセクションにおいてより詳細に個別に記述される。簡単には、しかしながら、プロセスは、以下の様に進む。
第1のステップ31は、始めのデジタル化に続いて、必要な場合、画像の色バランスおよびビネット（周辺光量低下）を修正する。ステップ32において、マスク点が、強度値の局所標準偏差および局所平均に基づいて、ＰＣＭのステップ33での発生から（上皮細胞でも「背景」組織でもない）或る種のピクセルを除去するように識別される。ＰＣＭ分布がステップ34で、上皮細胞および「背景」組織にそれぞれ寄与するピクセルを識別するように、解析される。画像は、“上皮”または“背景”（ステップ34からの）または“マスク”された（ステップ32からの）とピクセルにラベル付けすることによって、ステップ35で、区分される。同じラベルを有する連続ピクセルは、ブロブ（斑点）にグループ分けされ、ステップ36で画像を綺麗にするために、フィタリングされる（また、“マスクされた”場合において、ピクセルはグループ分けされ、且つステップ32でフィルリングされる。）。管を示す形状およびサイズを有する“マスクされた”とラベル付けされたピクセルのブロブは、従って、ステップ37で識別され且つラベル付けされる。得られた管ブロブは次にステップ38で“上皮”とラベル付けされた隣接ブロブへと、2つの上皮細胞に対応する量だけ膨張され、細管構造に対応する領域をカバーする。メトリックは、管および上皮ピクセルからなる全体に対する、膨張された“管”ピクセルの面積比率に基づいてステップ39で計算され、ステップ40で癌の重大度の指標および／またはステップ41で分類器を訓練するために使用される。
【００１３】
デジタル化および較正
図2において示される、顕微鏡21、カメラ22およびコンピュータ23の組合せは、図4に示されるように、Ｌ1×Ｌ2の物理サイズ、Ｎ×Ｍ個のピクセルの要素の分解能のデジタル画像を提供する。従って、各ピクセルは、Δx × Δyの、またはＬ1／Ｎ、Ｌ2／Ｍの分離次元を有する。各ピクセルは従って画像でアドレス(x, y)を有するが、一般的に、ベクトルｘによって表わされる。各ピクセルは、グレーレベル強度Ｉまたはそれに関係する色の組を有する。好適な実施の形態および本発明の開発において使用された装置において、各ピクセルは、それ関連する、赤、緑、および青の強度（Ir,Ig,Ib,）を有し、正方形である。
【００１４】
ステップ３１において、較正画像は、スライドの明るい部分を使用して、取得される。顕微鏡と関連する照明強度は、一つまたはそれ以上の波長帯域（赤、緑、または青）における幾つかのピクセルの最大強度が飽和あるいは飽和に近くなるまで、増大される。可能な限り僅かなピクセルが、飽和されるべきであるが、通常、約1％である。如何なるレンズシステムも、画像中に、ビネットのような、変化を引き起こす、これは、画像に渡っての均一な強度に、影響を与える。この変化は、深刻であり、画像処理アルコリズムの適合に先立って、修正される必要がある。使用された装置において、ビネット効果は、画像の中央と角との間に10％までの強度の変動を引き起こす。これは、アルコリズムの効力に影響を与える場合があるので、修正されるのが好ましい。
【００１５】
好適な実施の形態において、画像ビネットは、ピクセルXの色成分を、因子Ｆでスケール調整することによって、大まかに修正される。
【数２】
2006505782.tif 000005
ここで、Ｓは、スケール因子であり、好適な実施の形態において、Ｓ=0.95である。添え字ｋは、赤、緑、青、またはグレー、あるいは必要に応じた波長帯を意味する。Ckは、較正画像のK番目の帯域であり、関数maxxはインデックスｘに渡っての最大値を意味する。上述の例において、このプロセスは、画像は、5％よりも相当小さく、一致したことを意味する。
しかしながら、必要な場合は、解析されるべき領域が、楕円の軸が画像の大きさの95％であるように、楕円マスクを画像上に置くことよって、解析されるべき領域を更に制約することができる。このことは、更に、画像強度が、解析されるべき領域内で、十分に一致することを補償することを助ける。
【００１６】
色バランスは、異なるデジタル化で、一致しており且つ再現性がなければならない。このことは、赤、緑、および青の波長帯の組合せが、例えばグレーレベル画像において使用される場合、重要になる場合がある。色バランス補正は、較正画像の最大グレーレベクルがピークの白色に対応すると仮定し、ピクセルの赤、緑、または青の成分が等しく且つ最大の強度を有するようにすることによって、得られる。従って、ピクセルの赤、緑、および青成分は線形的にスケール調整することができる。ピークの白色であるべきであると信じられる幾つかのピクセルからの平均値を同様に使用することが可能である。
【数３】
2006505782.tif 000006
ここで、
Ｉgrは、赤、緑及び青成分から形成されるグレーレベル画像である。
Ｉrw,Ｉgw,Ｉbwは、ピークの白色であるべきピクセルに対応する赤、緑、及び青成分（またはそれらピクセルに対応する上記成分の平均値）である。
Scは、実際のピークの白色強度を決めるスケール因子であり、これは、通常255である。
【００１７】
このプロセスは、ピークの黒色が（0,0,0）に対応し、補正される必要がないことを仮定している。式（4）に対する軽微な変更が、これを、考慮に入れることを可能にする。分析されるべきデジタル化画像に、色及びビネット修正を加えることより、結果の画像は、以降の解析を行いやすいように、十分な均一性を有している。画像が、大きな強度ばらつき無しに、得ることができる場合、較正が必要とされない場合がある。
以下の処理工程は、赤、緑、または青成分または色成分の平均から形成されたグレーレベル画像のようなそれらの或る組合せであり得る単一波長帯画像上に、作用することができる。実際には、赤波長帯が、従来の染色を使用する時に、画像の関係する部分間の識別するための殆どの情報を含むことが分かった。
【００１８】
特性同時発生マトリックの獲得
特性同時発生マトリック（PCM）は、本アルゴリズムにとって、基本的事項である。上述で指摘されるように、これらは、Haralick等によって定義された標準グレーレベル同時発生マトリックスへの、拡張または一般化である。PCMは、各要素が、特定の特性が画像内で同時発生する度数である多次元ヒストグラムである。形式的に、PCM Ｓは、
【数４】
2006505782.tif 000007
と定義することができる。
【数５】
2006505782.tif 000008
である様な、クロネッカーデルタ関数である。
【００１９】
好適な実施の形態において、ステップ33で発生されたPCMは、2次元であり、使用される2つの特性は、近隣Δm及びΔσに渡って計算された強度の局所平均及び局所標準偏差である。これらの近隣がより大きいと、境界の局部限定がより、不明瞭となるが、局所平均及び標準偏差の推定値は、より正確になる。好適な実施の形態において、Δm及びΔσの典型的な値はそれぞれ7及び13であって妥協が図られる。典型的な上皮細胞は、この場合において使用される倍率に対して、13ピクセルの大きさの幅を有している。
マスク成分Mが、以下の様に、同時発生マトリックスの形成に導入された。
【数６】
2006505782.tif 000009
【数７】
2006505782.tif 000010
好適な実施の形態において使用される特性は、標準的方法であるが除去されるべきピクセルをマスクして計算された局所平均および局所標準偏差であるが、即ち、
【００２０】
【数８】
2006505782.tif 000011
ピクセルxが除去される場合、P1及びP2 の値はゼロであるが、これらは、PCMの形成から既に除去されている。式(8)又は(9)の結果が(0での除算からの様に)不定である場合、結果は、PCMの形成から除去される。これは、式(7)で明示的には、宣言されていない。
【００２１】
マスク点の識別
ステップ33においてPCMは、分析されるべき画像内のすべてのピクセルから形成することができる。しかしながら、関係がないことが知られている領域からのピクセルは、マトリックスの複雑性を増大し、関係のあるマトリックスの部分間の差を減少する。従って、好適な実施の形態において、或るピクセルは、式(7)で定義されるマスキング操作を使用して、PCMの形成から除去され、ステップ32において、識別される。除去されるべきピクセルは、次のものである。
・  組織の部分でないもの。即ち、縮小によって引き起こされた裂け又はギャップを有するサンプル又は部分
・  脂肪組織の部分
・  管の部分
・  局所平均を計算するためのピクセルが無いか、または、局所標準偏差を計算するためのピクセルが1以下のようなマスク場所
これらのピクセルを識別する如何なるアルリズムを使用することができる。しかしながら、好適な実施の形態において、図5に示されるアルコリズムが使用される。除去されるピクセルは、(スライド上の他のデータと比較して)飽和近くであり、極めて低い局所標準偏差を有することで特徴付けられる。除去されるべき非常に多数のピクセルが存在する場合、画像内の全てから形成されたグレーレベルヒストグラムHg内に、図6（a）内の61で示される様に谷がある場合がある。
【数９】
2006505782.tif 000012
図6(b)における様に、閾値を設定するための適当な谷がない場合、PCMは、局所平均及び標準偏差から形成される。これは、後続のステップ33で形成されるPCMとは異なり、且つより高い分解能を有する。局所平均は、近隣から計算され、従って、非整数値であるので、マトリックスの分解能を増大することが可能である。例えば、9つのピクセルからなる近隣が使用される場合、分解能は、9倍増大することができる。実際、この増大は一般的には、この様には、大きくない場合がある。局所平均ヒストグラムHmは、低い局所標準偏差用の標準偏差軸に平行にPCMを加算することから形成される(図7を参照)。
【数１０】
2006505782.tif 000013
PCM内のiインデックスは、局所平均であり、jインデックスは、局所標準偏差である。以下に記述される様に、ヒトスグラムＨmは、ヒストグラムの解析から決定される様なメイン及び二次ピークの内のより低いものの間に制約される。
マスクピクセルを設定する好適な実施の形態におけるプロセスにおけるブロック図は、図5に示されており、且つ以下に記述されている。管細胞、脂肪、及び組織分裂が、ステップ33における後続のPCMの形成及び分析から除去されるように、グレーレベル閾値または局所平均ヒストグラムのいずれにおいても、鍵となるのは、適当な閾値を見出すことである。簡単な閾値が見出されない場合、より複雑な基準の組に基づいたものが使用される。閾値操作が使用されなく且つピクセルが後のPCM分析から除外さない場合、閾値を有することが常には可能ではなく、また望ましくない場合がある。
【００２２】
ステップ    オペレーション／テスト                  アクション
５１        ヒストグラムHgを形成
５２        Hgにおけるピーク及び谷の位置を
識別する
ν=メインの谷の位置
p1,p2=メイン及び二次ピークの位置
Hg(p1)>Hg(p2)
５３        ヒストグラム中に谷があるか?             NO: GOTO step 54
YES:
５３a       谷を試験。谷はメインのピークより上か？  NO: GOTO step 54
ν>p1?                                  YES:
５３b       谷は低すぎるか？                        NO: マスク点を設定するために
ν<200？                                谷を閾値に使用し、
GOTO step 59
YES: GOTO step 54
５４        局所平均および標準偏差を使用して
PCMを構築する。
５５        PCMの一部から局所平均ヒストグラムHmを
構築する。
５６        Hmのピークおよび谷の位置を識別する。
ν=メインの谷の位置
p1,p2=メインおよび二次ピークの位置
Hm(p1)>Hm(p2)
５７        ヒストグラムに谷があるか?               NO: デフォルト閾値を設定する
ために
GOTO step 58
YES:
５７a       谷を試験 谷はメインのピークより         NO: メインのピークの上のヒス
上にあるか？                            トグラム内の他の谷を検索する
ν>p1?                                  。谷が見つからない場合、
GOTO step 58
YES:
５７b       メインのピークの振幅が(検査されて       YES:谷を閾値として使用して、
いる谷よりも上の)二次ピークのX%よ       マスク内に含まれるべき点を識
りも大きい                              別する。GOTO step 59
Hm(p1)>XHm(p2)
ノイズ感受性を減少するために、ピーク
振幅はマトリックス内の近隣要素からの
構成要素を含むことにより評価される。
このことは、通常、[1 2 1]またはより
大きいオペレータでコンボリューション
することにより、行われる。
Xは典型的には、150％である。
NO:
５７c       検査されている谷の下にヒストグラムHmの   YES:マスク内に含まれるべき
少なくともX部分があるか？  Ｘは典型的   点を識別するために、谷を閾値
に75％である。                          に使用する。GOTO step 9
【数１１】
2006505782.tif 000014
NO:
５７d       谷が、メインおよび二次ピーク振幅の      YES:マスク内に含まれるべき点
Ｘ部分振幅平均よりも小さい？  Xは       を識別するために谷を閾値とし
典型的に80％である。                    て使用する。GOTO step 59
NO: GOTO step 58
５８        全ての試験が失敗した場合、設定される
べきマスク点がないか、数が極めて小さ
い。画像中のメインのピークから最大強
度までの距離のX部分に設定されたHmで内
のフォールバック閾値を使用する。この
ことは、設定されるべきマスク点が無い
ことを意味している場合がある。Xは典型
的には、0.75である。
５９        END
【００２３】
HgまたはHmにおけるピークおよび谷の位置および相対的重要性を決定するために、適用なアルゴリズムを使用することができる。しかしながら、好ましい実施の形態では、次のアルゴリズムが用いられる。
ヒストグラム中のピークおよび谷は、ピークおよび谷の両方の位置を決定する多重分解アプローチをおよびピークの「重大性」と関係するメトリック(トラック長さ)を使用して決定される。小さい孤立したピークは、大きいピークと同じ重要性を有すると考えられる。
【００２４】
ヒストグラムは、-2n/2から23n/2まで走るように0が延長される。ここで、nは、2"が0延長の前に完全にヒストグラムを含んでいる少数のビンであるように、決定される。これは、先ず、ビンの数が2 nと等しくなるまで、ヒストグラムを延長し、新しいビンを0に設定し、その後、2n+1個のビンを有するように、両側に50%ずつヒストグラムを更に延長し、新たなビンをゼロに設定することにより達成される。ｎ個の多重分解能ヒストグラムの組は、連続ヒストグラムが22,23,24,....2n-1,2n,2n+1個のビンを持つように、複数グループのビンを平均することにより形成される。ピークおよび谷の位置は、分解能毎に[1-1]エッジオペレータで、コンボリューションし且つ符号の変化を識別することにより、決定される。ヒストグラムが平坦なところは、谷であると、必要な場合、判断されるのが正しい。その後、ピークと谷の位置が各分解能を通して追跡され、位置する分解能がより多いと、トラック長さがより大きく、ピークまたは谷の認知された重要性がより大きくなる。この例は、図8に示されている。この図では、メイン（または最も重要な）ピークが最も高い。
【００２５】
この分析は、ピクセルがマスクされ且つ画像を上皮および背景ピクセルに区分するために使用される、ステップ33でのPCMの形成から除去されることを可能にする。しかしながら、ピクセルの非常に小さい孤立したグループは、マスク内に含まれるべきではない。したがって、識別されたピクセルは、ステップ36に関して以下により完全に記述されるのと同じプロセスを使用して、且つブロブに対する以下の規準を用いて、グループ分けされ且つろ過される。これらの規準を満たすピクセルのグループのみが、マスク内に含まれる。
2006505782.tif 000015
【００２６】
PCMにおける分布の分析
ステップ33で発生されたPCM内の２つのメインの二次元ガウス分布Ｎ(m1x,s1x,m1y,s1y)およびＮ(m2x,s2x,m2y,s2y)の位置および程度が決定される必要がある。そのような分配の例は図9で示されている。好適な実施の形態において、これは、例えば、Journal of Royal Statistical Society B,39: 1-38, 1977, 3 （Maximum Likelihood from Incomplete Data via the EM Algorithm (EMアルゴリズムによる不完全なデータからの最大尤度), AP Dempster, NM Laird and DB Rubin）に記述される期待値最大化(EM)アルゴリズムの実行を使用して、ステップ34で達成される。標準EMアルゴリズムは、隠れたパラメータを有する複数のモデルの混合したものが、データにフィットすることを、混合モデルに対する新たなパラメータを推定し、次に、フィットを最大にする2つのステップを反復適用して、可能にする。要約すると、
2006505782.tif 000016
【００２７】
好適な実施の形態において、2つの分布の相対的寄与を強めることを可能とするために、標準アルゴリズムに変化が加えられる。この場合、モデル構成要素のガウス振幅が、xおよびy標準偏差の積によってスケール調整される。即ち、フィットされたモデルは、
【数１２】
2006505782.tif 000017
になる。
【００２８】
画像区分
ステップ35で、画像が3つのクラスに区分される。
・一般的に明るく、小さいな局所変動を有する背景
・一般的に暗く、より大きな局所変動を有し、管を囲むものを含む上皮細胞
・マスクピクセル
これは、背景および上皮細胞に対して、ピクセルの局所特性が寄与するPCM内のアドレスおよび、このアドレスから（EMアルゴリズムによって決定された）PCM内の最も近い（正規化された）分布までの距離に基づいているハード区分割り当てTである。
【数１３】
2006505782.tif 000018
【数１４】
2006505782.tif 000019
は、それぞれ、ベクトルｘとインデックス付けされた画像Ｉ中の局所近隣ΔmおよびΔσに渡っての、局所平均および標準偏差である。Rkは、2つの分布の相対的重大度を変更するためのスケール因子である。典型的には、R1=1およびR2=0.8である
【００２９】
これは、図10を参照して明確になる場合がある。関心のあるアドレスが（x,y）であり、アルゴリズムは、何れのフットされた分布が最も近いかを見出す。これはI1およびI2の最小のものに対応する。この距離は、適当な標準偏差およびスケール因子R1およびR2によって正規化されたa,b,d およびeから決定することができる。
この結果は、“マスクされた”、“上皮”または“背景”として、以下の値でラベル付けされたピクセルを有した、区分Tを結果としてもたらす。
【数１５】
2006505782.tif 000020
画像清掃
ステップ36で、“上皮”または“背景”とラベル付けされたピクセルであり、8つのピクセルの近隣（図11参照）を使用する同じラベルのピクセルに隣接する区分内のピクセルは、ブロブにグループ分けされ且つ以下の様にフィルタリングされる。
【００３０】
区分は、小さな穴(その周囲とは異なってラベル付けされたブロブ)、小さな分離されたブロブ、ラインおよび他の単純な偽像を除去するために清掃される。使用される測定値は、XとYのサイズ、面積(ピクセル数での)、密度、およびブロブのアスペクト比である。これらのパラメータの値は、倍率および上皮細胞のサイズに関係する。10倍の倍率を有する好適な実施の形態において、ピクセルのグループを受け入れるための規準は、必要な場合に、変えることができる。しかし、典型的な最小および極大値が以下のテーブルにリストされる。
2006505782.tif 000021
【００３１】
密度は、長方形を囲む最小の面積上の一つのブロブ内のピクセル数として定義される。アスペクト比は、ブロブの最大軸対最小軸の比である。
一例として、図12は、ブロブにグループ分けされた“上皮”(より暗い影)および“背景”(より明るい影)のピクセルを示している。“上皮”ブロブ121、122は、それぞれ“背景”ブロブ123、124からなる穴を有している。大きな穴123は維持されるが、小さな穴124は拒絶され、“上皮”と再ラベル付けされた。小さな上皮ブロブ125、126、127は、サイズに関して拒絶され、長く狭い“上皮”ブロブ128は、アスペクト比に基づいて拒絶され、全て“背景”と再度ラベル付けされる。
【００３２】
ステップ36において、マスクされたピクセル（ステップ32でグループ化された且つフィルタリングされた）が無視され、例えば、（この段階で“マスクされた”とラベル付けされた）管または脂肪細胞の存在によって生じる上皮ブロブ内の如何なるサイズの穴も維持されるが、簡略化のために、図12には、示されていないことに留意されたい。
【００３３】
管ピクセルの識別
ステップ37において、“マスクされた”とラベル付けされたが、単純な形状およびサイズ基準を満足するピクセルまたはブロブのグループは、“管”ピクセルと再度ラベル付けされる。好適な実施の形態における典型的な値は、以下の通りである。
2006505782.tif 000022
【００３４】
これらの値は、特に決定的ではないが、長い組織裂け、収縮亀裂、および大部分の脂肪細胞が除去される様に選択された。その結果、長い組織は裂ける、収縮亀裂およびほとんどの脂肪細胞はこの段階で拒絶される。
この段階で、ピクセルは、“マスクされた”、“上皮”、“背景”または“管”として、以下の値でラベル付けされる。
【数１６】
2006505782.tif 000023
細管シード点の拡大
ステップ38の目的は、2つの典型的な上皮細胞直径に等しい量だけ、ステップ37で識別された管ピクセルのブロブを周囲の上皮ブロブ内に膨張し、その結果、膨張された管ブロブが、元の組織サンプル内の対応する細管構造の、推定サイズと等しくなる。
【００３５】
管細胞は上皮細胞によって囲まれるはずである。スライドが準備される方法に依存して、これは、必ずしも、背景細胞によって偶然的且つ部分的に囲まれた管を有する場合でないことがある。“管”とラベルされているが、境界が十分な近隣上皮細胞を有してない如何なるブロブも、“管”ではなく“マスク”と再分類される。好適な実施の形態において、境界の少なくとも15％が、上皮細胞を有する必要があり、境界ピクセルを計数することにより決定される。
【００３６】
更に、管とラベル付けされたピクセルと上皮とラベル付けされたピクセルとの間に非常に小さなギャップがある場合がある。これは区分化の中で使用された近隣に依存する。近隣が大きいほど、このギャップは大きくなる場合がある。好適な実施において、全体の膨張が、2つの上皮細胞の直径と等しくなるまで、以下の膨張技術を繰り返し適用することにより、2つのピクセルのギャップ間を結ぶことが、膨張により可能になる。
膨張に対して使用することができる種々の方法がある、最も著名なものがモルフォロジーである。しかしながら、好適な実施の形態において、画像Iは、二次元ガウシアンカーネルＮ(0,s)で、コンボリューションされて、新たな膨張画像Ｄが生成される。
【００３７】
ガウシアンカーネルは、ゼロ平均およびガウシアンがブリッジされるべきギャップよりも大きい半径１で値１を有するように標準偏差ｓを有している。より詳細には、以下のアルゴリズムを考慮されたい。
１.  膨張されるべき区分内の全てのピクセルは、1に設定され、全ての他のピクセルは、０に設定される新たな画像Dが生成される。
２.  ガウシアンの値が、膨張の所望の量で、1であるような標準偏差を有するガウシアンカーネルで、コンボリューションされ、即ち、結び付けられるべき最大のギャップが、2ピクセルである場合、膨張の所望の量は3ピクセルであり、中心から3ピクセルの位置でのガウシアンカーネルの値は、1である。コンボリューションの結果は、丸められ、即ち、値は0または1となる。
３.  膨張された画像で1であり、元の画像中に膨張されるべきクラスを有する全てのピクセルは、膨張されたクラスに設定され、その他のピクセルは、そのまま残される。このことは、管とラベル付けされたブロブを、他のラベルのギャップを横切る上皮とラベル付けされたブロブ内へ膨張することができることを意味している。結び付けることができる最大ギャップは、膨張の量よりも小さい1である。
【００３８】
このアルコリズムを繰り返し適用すると、管ブロブが、些細な偽像を横切って上皮ブロブ内に、制御されない振舞いが無く、膨張することを可能にする。
膨張の単一のステップが、
【数１７】
2006505782.tif 000024
によって、定義される。
ここで、
【数１８】
2006505782.tif 000025
はデジタルコンボリューション用のオペレータである。先ず、膨張されるべき画像D(x)は管とラベル付けされた全てのピクセルを含む。次に、これは、適当な程度を有する二次元ガウシアンカーネルでコンボリューションされ、結果は、切捨てによって整数に変換される。今管とラベル付けけれているピクセルおよび以前管または上皮とラベル付けされていたピクセルは、管として維持され、他の全てのピクセルは0に設定される。このプロセスは、所望のレベルの膨張が達成されるまで繰り返され、2つの典型的な上皮細胞と等価なものが、好適な実施の形態において、13回の繰り返しである。
【００３９】
この膨張の結果の視覚化が図13に示されている。図13(a)において、膨張前に、上皮ブロブ132および隣接背景ブロブ133内に管ブロブ131がある。ブロブ132は、ブロブ131によって表わされた管を含む細管構造を超えて、ある方向に延びる元のスライド内の上皮細胞の塊を表現する。図13(b)は、膨張後と同じことを示している。これは、元の上皮ブロブの外側境界によって幾つかの方向で停止された。
【００４０】
癌の重大度の評価
ステップ39において、癌の重大度の元になるメトリックMが、管および上皮ピクセルの合計に対する、管とラベル付けされた膨張ピクセルの数の比率として計算される。
【数１９】
2006505782.tif 000026
この式は、目視によってスライドの等級付けを行う時に、組織病理学者によって使用される式(1)によって与えられるメトリックに対応することが分かる。
【００４１】
上述された様に、臨床医は、典型的に、このメトリックに基づいた癌の重大度の等級を決めるために10％および75％の決定境界値を使用する。これは、しかしながら、ステップ40で自動システムに対して、以下の理由から、必ずしも適当でない。
【００４２】
・極値に関する知覚での人による可視システム、即ち、真の75％は、より高いと認知される傾向があり、真の10%は、より低いと認知される傾向がある。
・自動化システムで計数されるピクセルは、人観測者によって含まされるものと必ずしも同じでない場合がある。しかしながら、ピクセルが自動化システムで除外されるか、または含まれるかに関する決定は、人観測者よりもより一貫性がある。
【００４３】
これらの理由から、使用されるべき自動決定境界値は、好適には、ステップ４１で、トレーニングされることにより、定められる。閾値は、従って、メトリックMに基づいて選択されることができ、等級1と2、等級2と3との間の境界値が定められる。これらの閾値は、代表的な完全なトレーニングデータに基づくべきである。これは、研究室ベース毎の平均で良い場合がある。
【図面の簡単な説明】
【００４４】
【図１】本発明の好適な実施の形態に従って、分析することができる肺組織の組織スライド中の典型的な物体の単純化表現である。
【図２】デジタル化画像を得、そして解析するための好適な実施の形態の装置のブロック図である。
【図３】好適な実施の形態におけるメインのアルゴリズム構成要素のレイアウトおよびプロセスフローを示す。
【図４】画像中のピクセルの概略図である。
【図５】好適な実施の形態におけるマスク点決定のためプロセスを示す。
【図６】図６ａは、ヒストグラム中の2つのピーク間の谷を示し、図６ｂには、谷が無い。
【図７】ＰＣＭの軸に対する異なるラベル、および限界的分布を示す図である。
【図８】図８aは、元のヒストグラムを示し、図８bは、両側に延びるゼロを示し、図８ｃ−ｆは、2、4、8および16ビンに渡って平均することにより、漸増的により大きいスケールで同じヒストグラムを示し、全てのピークおよび谷の位置は、各々の分解に対して示されており、トラックの長さは、特定のピークまたは谷と関係している。
【図９】ＰＣＭおよびＥＭアルゴリズムを使用してフィットされた2つのガウシアン分布の位置およびパラメータを示す。分散の半径が、2つの標準分散で描かれている。
【図１０】ピクセルの区分値が決定される様に、ＰＣＭ内のアドレスからフィットされた分散までの距離を計算する仕方を示す。
【図１１】ピクセルＸの近隣である8ピクセル（a,b,c,d,e,f,g,h）を示す。
【図１２】好適なプロセスの中の、画像区分に続くブロブの種々の例を示す。
【図１３】好適なプロセス中の、膨張の結果の視覚化である。
【図１】
2006505782.tif 000027
【図２】
2006505782.tif 000028
【図３】
2006505782.tif 000029
【図４】
2006505782.tif 000030
【図５】
2006505782.tif 000031
【図６】
2006505782.tif 000032
【図７】
2006505782.tif 000033
【図８】
2006505782.tif 000034
【図９】
2006505782.tif 000035
【図１０】
2006505782.tif 000036
【図１１】
2006505782.tif 000037
【図１２】
2006505782.tif 000038
2006505782.tif 000039
【国際調査報告】
2006505782.tif 000040
2006505782.tif 000041
2006505782.tif 000042
2006505782.tif 000043
2006505782.tif 000044