(57)【特許請求の範囲】
【請求項１】
組織標本の少なくとも二次元の画像を表す画像データを受け取り、前記画像データの複数のサブセットを識別する画像領域データを出力する画像領域識別子モジュール（１１２、７１０）であって、各画像データサブセットが、前記画像の固有の空間的に接触する領域を表す、画像領域識別子モジュール（１１２、７１０）と、
複数の前記画像領域に対して、組織特性のデータベース（１１６、２１７）に問い合わせを行うために、前記それぞれの画像データサブセットを使用して、前記それぞれの画像領域を複数の組織の種類のうちの１つとして分類し、前記それぞれの画像領域を前記分類するステップの信頼を示す信頼スコアを決定する画像領域分類子モジュール（１１４、７２０）と、
第１の範囲内に含まれる信頼スコアを有する複数の前記画像領域に対して、結果として得られた変更されたデータベース（２１８）が、前記それぞれの画像データサブセットから取得した前記それぞれの画像領域および組織特性データに分類された前記組織の種類を表すデータを含むように、前記データベースの変更を実施するデータベース変更子モジュール（７３０）であって、前記第１の範囲が、前記分類が正しいという確実性を表す信頼スコアを含む信頼スコアの範囲である、データベース変更子モジュール（７３０）と、
前記第１の範囲とははっきりと異なる第２の範囲内に含まれる信頼スコアを有する複数の前記画像領域に対して、前記変更されたデータベースに問い合わせを行うために、前記それぞれの画像データサブセットを使用して、前記それぞれの画像領域を前記複数の組織の種類のうちの１つとして再分類し、前記複数の組織の種類のうちの前記１つを解析結果として出力する画像領域再分類子モジュール（１１５、７４０）とを備える、組織解析システム（７００）。
【請求項２】
生の画像データを取得するために組織標本を画像化する組織イメージングデバイス（１０２、７５０）を備え、
前記受け取った画像データが、前記生の画像データから取得される、
請求項１に記載の組織解析システム。
【請求項３】
染色された組織標本を取得するために前記組織標本を染色する組織染色デバイス（７７０）と、
前記画像データを取得するために前記染色された組織標本を画像化する組織イメージングデバイス（１０２、７５０）とを備え、
前記受け取った画像データが、前記生の画像データから取得される
請求項２に記載の組織解析システム。
【請求項４】
前記データベースを記憶するデータ記憶システム（７６０）を備え、
前記データベースが、複数の組織画像領域の各々に対して、組織の少なくとも二次元の画像を表すデータと、少なくとも１つの組織特徴を表すデータと、組織の種類を表すデータと、信頼スコアを表すデータとを含み、前記データベースが、前記画像領域分類子モジュールによって前記画像分類および信頼スコアの決定に使用される、事前構築された第１の訓練データベース（２１７）であり、前記データベース変更子モジュール（７３０）が、第１の範囲内に含まれる信頼スコアを有する複数の前記画像領域の前記画像データサブセットから取得した前記画像領域および前記組織特性データに分類された前記組織の種類を表す前記データによって構成される第２の訓練データベース（２１９）を生成し、前記第１および前記第２の訓練データベースを組み合わせて前記変更されたデータベース（２１８）を提供するように構成される、請求項１から３のいずれか一項に記載の組織解析システム。
【請求項５】
前記画像領域分類子モジュールが、サポートベクタマシン（７２２）を備え、前記信頼スコアを決定するために前記サポートベクタマシンの出力を使用する、請求項１から４のいずれか一項に記載の組織解析システム。
【請求項６】
前記それぞれの画像領域を前記分類するステップが、前記それぞれの画像データサブセットおよび前記データベースから取得した前記データを使用して少なくとも１つの特徴を前記それぞれの画像領域から抽出するステップを含み、前記特徴がテクスチャ特徴と、生物学的特徴と、強度特徴と、傾斜特徴と、ガボール特徴と、共起特徴と、核特徴とからなる群に属する、請求項１から５のいずれか一項に記載の組織解析システム。
【請求項７】
前記それぞれの画像領域を前記再分類するステップが、空間的近接値と、信頼スコアと、特徴類似値とのうちの少なくとも１つを使用して、前記それぞれの画像データサブセットのデータと前記変更されたデータベースから取得した前記データとを重み付けするステップを含む、請求項１から６のいずれか一項に記載の組織解析システム。
【請求項８】
前記画像領域分類子モジュールが、画像チャネル抽出器（１１１、７２４）を備え、
前記それぞれの画像領域を前記分類するステップが、前記画像チャネル抽出器を使用して、前記画像の少なくとも前記それぞれの領域を１つまたは複数の構成要素チャネルに分離するステップと、前記データベースから取得した前記それぞれの画像領域および前記データの前記構成要素チャネルのうちのいずれかを使用して、少なくとも１つの特徴を前記それぞれの画像領域から抽出するステップとを備え、
前記特徴が、テクスチャ特徴と、生物学的特徴と、強度特徴と、傾斜特徴と、ガボール特徴と、共起特徴と、核特徴とからなる群に属し、
前記構成要素チャネルが、ヘマトキシリンチャネルと、エオシンチャネルと、輝度チャネルとからなる群に属する、請求項１から６のいずれか一項に記載の組織解析システム。
【請求項９】
前記画像領域分類子モジュールが、前記データベースのデータを使用して、分類子論理を構築し、前記画像領域の各々に対して、前記それぞれの組織の種類および前記それぞれの信頼スコアを決定するために前記分類子論理を前記それぞれの画像領域の前記画像データサブセットに適用し、
前記データベース変更子モジュールが、前記第１の範囲内に含まれる信頼スコアを有する画像領域と前記第２の範囲内に含まれる信頼スコアを有する画像領域とを見つけ、前記変更されたデータベースを取得するために前記データベースと前記それぞれの組織の種類と前記第１の範囲内に含まれる信頼スコアを有することが見つけられた前記画像領域の前記それぞれの画像データサブセットとを組み合わせ、
前記画像領域再分類子モジュールが、前記変更されたデータベースのデータを使用して機械学習により前記分類子論理を変更し、前記第２の範囲内に含まれる信頼スコアを有することが見つけられた前記画像領域の各々に対して、前記それぞれの再分類された組織の種類を決定するために、前記変更された分類子論理を前記それぞれの画像領域の前記画像データサブセットに適用し、
前記システムが、前記第１の範囲内に含まれる信頼スコアを有することが見つけられた前記画像領域の各々の前記それぞれの組織の種類と、前記第２の範囲内に含まれる信頼スコアを有することが見つけられた前記画像領域の各々の前記それぞれの再分類された組織の種類とを分類結果として出力する、請求項１から８のいずれか一項に記載の組織解析システム。
【請求項１０】
前記データベース変更子モジュールが、前記複数の組織の種類の各々に対して、および前記第１の範囲内に含まれる信頼スコアを有する画像領域だけに対して、前記それぞれの組織の種類を有する画像領域の総数を決定し、前記それぞれの組織の種類を有する画像領域の総数が前記それぞれの組織の種類のそれぞれの閾値数を超える組織の種類だけに対して、前記データベースの前記変更を実施する、請求項１から９のいずれか一項に記載の組織解析システム。
【請求項１１】
前記それぞれの組織の種類を有する画像領域の総数が前記それぞれの組織の種類のそれぞれの閾値数を超える組織の種類に対して、前記データベース変更子モジュールが、前記変更されたデータベースが前記それぞれの画像データサブセットから取得した組織特性データだけを含むように、前記データベースの前記変更を実施する、請求項１０に記載の組織解析システム。
【請求項１２】
組織標本の少なくとも二次元の画像を表す画像データを受け取るステップ（８３０）と、
前記画像データの複数のサブセットを識別する画像領域データを生成するステップ（８４０）であって、各画像データサブセットが、前記画像の固有の空間的に接触する領域を表す、生成するステップ（８４０）と、
複数の前記画像領域に対して、前記それぞれの画像データサブセットを使用して、および組織特性のデータベースから取得したデータを使用して、前記それぞれの画像領域を複数の組織の種類のうちの１つとして分類するステップ（８５０）と、
前記それぞれの画像領域を前記分類するステップの信頼を示す信頼スコアを決定するステップ（８６０）と、
第１の範囲内に含まれる信頼スコアを有する複数の前記画像領域に対して、結果として得られた変更されたデータベース（２１８）が、前記それぞれの画像データサブセットから取得した前記それぞれの画像領域および組織特性データに分類された前記組織の種類を表すデータを含むように、前記データベースの変更を実施するステップ（８７０）であって、前記第１の範囲が、前記分類が正しいという確実性を表す信頼スコアを含む信頼スコアの範囲である、実施するステップ（８７０）と、
前記第１の範囲とははっきりと異なる第２の範囲内に含まれる信頼スコアを有する複数の前記画像領域に対して、前記変更されたデータベースに問い合わせを行うために、前記それぞれの画像データサブセットを使用して、前記それぞれの画像領域を前記複数の組織の種類のうちの１つとして再分類するステップ（８８０）と、
前記第１の範囲とははっきりと異なる第２の範囲内に含まれる信頼スコアを有する前記画像領域のうちの少なくとも１つに対して、前記それぞれの画像領域の前記再分類された組織の種類を出力するステップ（８９０）とを含む、組織解析方法。
【請求項１３】
生の画像データを取得するために組織標本を画像化するステップ（８２０）であって、
前記受け取った画像データが、前記生の画像データから取得される、画像化するステップ（８２０）を含む、請求項１２に記載の組織解析方法。
【請求項１４】
染色された組織標本を取得するために前記組織標本を染色するステップ（８１０）と、
前記生の画像データを取得するために前記染色された組織標本を画像化するステップ（８２０）とを含み、
前記受け取った画像データが、前記生の画像データから取得される、請求項１３に記載の組織解析方法。
【請求項１５】
前記データベースが、複数の組織画像領域の各々に対して、組織の少なくとも二次元の画像を表すデータと、少なくとも１つの組織特徴を表すデータと、組織の種類を表すデータと、信頼スコアを表すデータとを含み、前記データベースが、画像領域分類子モジュールによる前記画像分類および信頼スコアの決定に使用される事前構築された第１の訓練データベース（２１７）であり、データベース変更子モジュール（７３０）が、前記第１の範囲内に含まれる信頼スコアを有する複数の前記画像領域の前記画像データサブセットから取得した前記画像領域および前記組織特性データに分類された前記組織の種類を表す前記データによって構成される第２の訓練データベース（２１９）を生成し、前記第２の訓練データベースの内容の一部または全部を前記第１のデータベースにコピーすることによってなど、前記変更されたデータベース（２１８）を提供するために前記第１の訓練データベースと前記第２の訓練データベースとを組み合わせる、請求項１２から１４のいずれか一項に記載の組織解析方法。
【請求項１６】
信頼スコアを前記決定するステップが、サポートベクタマシンの動作（８６２）を含む、請求項１２から１５のいずれか一項に記載の組織解析方法。
【請求項１７】
前記それぞれの画像領域を前記分類するステップが、前記それぞれの画像データサブセットと前記データベースから取得した前記データとを使用して、前記それぞれの画像領域から少なくとも１つの特徴を抽出するステップ（８５４）を含み、前記特徴が、テクスチャ特徴と、生物学的特徴と、強度特徴と、傾斜特徴と、ガボール特徴と、共起特徴と、核特徴とからなる群に属する、請求項１２から１６のいずれか一項に記載の組織解析方法。
【請求項１８】
前記それぞれの画像領域を前記再分類するステップが、空間的近接値と、信頼スコアと、特徴類似値とのうちの少なくとも１つを使用して、前記それぞれの画像データサブセットのデータと前記変更されたデータベースから取得した前記データとを重み付けするステップ（８８２）を含む、請求項１２から１７のいずれか一項に記載の組織解析方法。
【請求項１９】
前記それぞれの画像領域を前記分類するステップが、前記画像の少なくとも前記それぞれの領域を１つまたは複数の構成要素チャネルに分離するステップ（８５２）と、前記それぞれの画像領域の前記構成要素チャネルおよび前記データベースから取得した前記データを使用して、少なくとも１つの特徴を前記それぞれの画像領域から抽出するステップ（８５４）とを含み、
前記特徴が、テクスチャ特徴と、生物学的特徴と、強度特徴と、傾斜特徴と、ガボール特徴と、共起特徴と、核特徴とからなる群に属し、
前記構成要素チャネルが、ヘマトキシリンチャネルと、エオシンチャネルと、輝度チャネルとからなる群に属する、請求項１２から１７のいずれか一項に記載の組織解析方法。
【請求項２０】
前記データベースのデータを使用して分類子論理を構築するステップと、
前記画像領域の各々に対して、前記それぞれの組織の種類と前記それぞれの信頼スコアとを決定するために、前記分類子論理を前記それぞれの画像領域の前記画像データサブセットに適用するステップと、
前記第１の範囲内に含まれる信頼スコアを有する画像領域と、前記第２の範囲内に含まれる信頼スコアを有する画像領域とを見つけるステップと、
前記変更されたデータベースを取得するために前記データベースと、前記それぞれの組織の種類と、前記第１の範囲内に含まれる信頼スコアを有することが見つけられた前記画像領域の前記それぞれの画像データサブセットとを組み合わせるステップと、
前記変更されたデータベースのデータを使用して、機械学習により、前記分類子論理を変更するステップと、
前記第２の範囲内に含まれる信頼スコアを有することが見つけられた前記画像領域の各々に対して、前記それぞれの再分類された組織の種類を決定するために前記変更された分類子論理を前記それぞれの画像領域の前記画像データサブセットに適用するステップと、
前記第１の範囲内に含まれる信頼スコアを有することが見つけられた前記画像領域の各々の前記それぞれの組織の種類と、前記第２の範囲内に含まれる信頼スコアを有することが見つけられた前記画像領域の各々の前記それぞれの再分類された組織の種類とを分類結果として出力するステップとを含む、請求項１２から１９のいずれか一項に記載の組織解析方法。
【請求項２１】
前記複数の組織の種類の各々に対して、および前記第１の範囲内に含まれる信頼スコアを有する画像領域だけに対して、前記それぞれの組織の種類を有する画像領域の総数を決定するステップを備え、
前記データベースの前記変更が、前記それぞれの組織の種類を有する画像領域の総数が前記それぞれの組織の種類のそれぞれの閾値数を超える組織の種類に対してのみ実施される、請求項１２から２０のいずれか一項に記載の組織解析方法。
【請求項２２】
前記それぞれの組織の種類を有する画像領域の総数が前記それぞれの組織の種類のそれぞれの閾値数を超える組織の種類に対して、前記データベースの前記変更が、前記変更されたデータベースが前記それぞれの画像データサブセットから取得した組織特性データだけを含むように実施される、請求項２１に記載の組織解析方法。
【請求項２３】
電子デバイスによって実装される組織画像のセグメント化のための方法であって、
前記組織画像内の格子点を識別するステップと、
複数の組織の種類のうちの１つとして前記格子点を分類するステップ、および組織の種類の既知の特性のデータベースに基づいて分類された格子点を生成するステップと、
前記分類された格子点に高信頼スコアおよび低信頼スコアのうちの少なくとも１つを割り当てるステップと、
高信頼スコアが割り当てられた前記格子点に基づいて組織の種類の既知の特性の前記データベースを変更するステップ、および変更されたデータベースを生成するステップと、
前記変更されたデータベースに基づいて低信頼スコアが割り当てられた前記格子点を再分類するステップとを含む、方法。
【請求項２４】
前記格子点が六角形構成で配列される、請求項２３に記載の方法。
【請求項２５】
前記複数の組織の種類が、正常組織、腫瘍、壊死、間質、またはリンパ球凝集体のうちの１つまたは複数を含む、請求項２３に記載の方法。
【請求項２６】
前記高信頼スコアと低信頼スコアとを割り当てるステップが、サポートベクタマシン（ＳＶＭ）の動作を使用するステップをさらに含む、請求項２３に記載の方法。
【請求項２７】
前記格子点が、前記組織画像に対して一定の間隔でサンプリングされる、請求項２３に記載の方法。
【請求項２８】
前記格子点を分類するステップが、各格子点の近傍内から特徴を抽出するステップをさらに含む、請求項２３に記載の方法。
【請求項２９】
前記特徴が、１つまたは複数のテクスチャ特徴または生物学的特徴をさらに含む、請求項２８に記載の方法。
【請求項３０】
特徴を抽出する前に、前記組織画像を１つまたは複数の構成要素チャネルに分離するステップをさらに含む、請求項２８に記載の方法。
【請求項３１】
前記１つまたは複数の構成要素チャネルが、ヘマトキシリンチャネル、エオシンチャネル、または輝度チャネルの１つまたは複数を含む、請求項３０に記載の方法。
【請求項３２】
前記特徴が、強度特徴と、傾斜特徴と、ガボール特徴と、共起特徴と、核特徴とを含む、請求項２８に記載の方法。
【請求項３３】
前記データベースを変更するステップが、低信頼スコアを有する前記格子点を高信頼スコアを有する前記格子点と比較するステップと、前記割り当てられた高信頼格子点に基づく前記割り当てられた低信頼格子点を変更するステップとをさらに含む、請求項２３に記載の方法。
【請求項３４】
前記比較が、ランダムフォレストの動作に基づく、請求項３３に記載の方法。
【請求項３５】
前記比較が、前記低信頼格子点にごく接近した前記高信頼格子点のラベルのパーセンテージに基づく請求項３３に記載の方法。
【請求項３６】
前記低信頼格子点にごく近接した前記高信頼格子点が、各低信頼格子点の前記ラベルを改良する方により大きな寄与をする、請求項３５に記載の方法。
【請求項３７】
前記近接が８０画素以内である、請求項３５に記載の方法。
【請求項３８】
前記変更されたデータベースが、前記組織画像に関連付けられたものとして記憶される、請求項３３に記載の方法。
【請求項３９】
各格子点と各格子点の隣接した画素とが画像パッチを表す、請求項２３に記載の方法。
【請求項４０】
前記組織画像によって構成された１つまたは複数の画像パッチの信頼マップを生成するステップをさらに含む、請求項３９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
[1]本出願は、参照によりその内容がその全体において本開示に組み込まれている、２０１４年１月２８日出願の米国仮特許出願第６１／９３２，６７１号および２０１４年８月５日出願の米国仮特許出願第６２／０３３，２６１号の優先権を主張するものである。
【０００２】
[2]本開示は組織構造を識別することに関する。詳しくは、本開示は、組織の画像をセグメント化するためのシステムおよび方法を対象にする。
【背景技術】
【０００３】
[3]病理組織画像からの組織セグメント化は、デジタルパソロジー（ｄｉｇｉｔａｌ  ｐａｔｈｏｌｏｇｙ）において重要な問題である。全スライド（ｗｈｏｌｅ  ｓｌｉｄｅ）（ＷＳ）組織画像を所与として、多くの適用例は、正常組織、腫瘍、壊死、リンパ球、および間質など、画像内の組織領域の異なる種類の識別を必要とする。これらの領域の正確な識別は、貴重な診断情報を提供するのに役立つことがある。例えば、標本内のそのような部分の存在の定量的評価は、化学療法などの療法の影響を決定するのに有益であり得る。組織画像セグメント化は、これまで、様々な方法によって対処されてきた。一般に、自動組織画像セグメント化は、特徴抽出および分類を含む機械学習法によって達成され得る。例えば、小さなパッチを画像の各画素の周りから抽出することができ、様々な方法を使用して、パッチから特徴を抽出することができる。Ｍａｓａｈｉｒｏ，Ｉ．らは、画像からスーパー画素をセグメント化し、間質に対応するものとしてリンパ球濃度およびファイバ確率を識別することによって、肝組織画像における間質をセグメント化することに関する。Ｏｚｓｅｖｅｎ，Ｔ．らは、サポートベクタマシン（ＳＶＭ）アルゴリズムおよびガボールフィルタを使用して肝組織上の壊死部分を定量化することに関する。Ｄｏｙｌｅ，Ｓ．らは、一次統計、共起、およびガボール特徴などのテクスチャ特徴の豊富な組を計算し、続いてアダブーストを使用して特徴選択をし、それによって異なる解像度で画素分類を実施することを含む前立腺組織画像のがん検出方法を論じる。Ｓｅｒｔｅｌ，Ｏ．らは、ヘッシアン行列から計算された共起特徴および構造的特徴を使用して、組織画像を間質に富んだ、分化する、分化の乏しいおよび未分化の領域に区分化することによって神経芽腫組織スライドを解析することに関する。Ｎａｙａｋ，Ｎ．らは、辞書学習方法を組織セグメント化問題に適用することに関する。Ｘｕ，Ｙ．らは、異なるがんの種類の領域への結腸組織画像のセグメント化のために弱教師あり学習とも呼ばれる多事例学習方法を採用することに関する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
[4]しかし、これらの方法は、画像間に大きな変動があり、訓練標本が限定されることにより不十分である。さらに、訓練画像の手動注釈は、高倍率でＷＳ画像のサイズが大きく、処理されるデータが多量であることにより、骨の折れることである。したがって、従来技術の方法の限定されたセグメント化の精度では、要求が満たされないままとなる。
【課題を解決するための手段】
【０００５】
本発明は、それぞれの独立請求項において特許請求される、組織解析システムおよび方法、ならびに組織画像のセグメントのための方法ならびに組織画像の適応分類のためのシステムを提供する。本発明の実施形態は、従属請求項に示される。
【０００６】
[5]本明細書に開示されるのは、２段階分類方法を使用して上記識別された問題に対処するシステムおよび方法である。本明細書に開示される動作は、ＷＳ画像を複数のパッチに分割するステップと、ＳＶＭなどの「ソフト」分類を使用して各パッチを第１の分類するステップと、各パッチの信頼スコアおよびラベルを生成するステップとを含む。分類結果として取得された各パッチの位置、その特徴、その組織の種類、およびその信頼スコアは、データベースに記憶することができる。第２の分類ステップは、低信頼パッチをデータベース内の高信頼パッチと比較するステップと、データベース内のパッチの空間コヒーレンスを増大させるために同様のパッチを使用するステップとを含む。言い換えれば、各低信頼パッチでは、隣接した高信頼パッチが各パッチのラベルを改良する方により大きな寄与をし、それによって、低信頼パッチにおけるセグメント化精度が改善される。訓練データベースを成長させるための既存の適応／能動学習技法と対照的に、開示される動作は単一の訓練データベースを成長させることにあまり関係せず、その代わりに、各テスト画像を独立に処置することに焦点を置きながら、解析中の画像の信頼情報のラベル付けに基づいて分類精度を適応的に改善する。言い換えれば、信頼ラベルパッチデータベースが各画像に対して生成され、類似検索動作が低信頼パッチの分類結果を改良するために画像内で実施される。
【０００７】
[6]１つの例示的な実施形態において、本開示は、組織画像内の格子点を識別するステップと、複数の組織の種類のうちの１つとして格子点を分類するステップ、および組織の種類の既知の特性のデータベースに基づいて分類された格子点を生成するステップと、分類された格子点に高信頼スコアおよび低信頼スコアのうちの１つを割り当てるステップと、高信頼スコアが割り当てられた格子点に基づいて組織の種類の既知の特性のデータベースを変更するステップ、および変更されたデータベースを生成するステップと、変更されたデータベースに基づいて低信頼スコアが割り当てられた格子点を再分類するステップとを含む、組織画像のセグメント化のための方法である。方法はコンピュータ実装方法でよい。
【０００８】
[7]別の例示的な実施形態において、本開示は、前記組織標本に関連付けられた既知の特徴のデータベースとの比較に基づいて組織の種類および信頼スコアを組織標本の画像パッチに割り当てるステップと、同じ組織標本からの１つまたは複数の高信頼画像パッチと画像パッチとの比較に基づいて画像パッチの組織の種類および信頼スコアを改良するステップとを含む動作を実施するために電子デバイスのプロセッサによって実行可能なデジタルで符号化された命令を記憶するためのデジタル記憶媒体であって、高信頼画像パッチが組織標本に関連付けられた高信頼画像パッチのデータベースに記憶される、デジタル記憶媒体である。電子デバイスは、並列処理を支援することができるイメージングシステムなどのシングルまたはマルチプロセッサデータ処理システムを備えることができる。
【０００９】
[8]さらに別の例示的な実施形態において、本開示は、組織画像の適応分類のためのシステムであって、プロセッサと、プロセッサに通信可能に結合されたメモリであって、ソフト分類に基づいて複数の組織の種類のうちの１つとして組織画像内の画素を分類するステップと、画素を画素の分類を改良するために高信頼スコアを有する１つまたは複数の隣接した画素と比較するステップとを含む動作を実施するためにプロセッサによって実行可能であるデジタルで符号化された命令を記憶するメモリとを含むシステムであって、１つまたは複数の隣接した画素の高信頼スコアがソフト分類に基づく、システムである。
【図面の簡単な説明】
【００１０】
【図１】[9]本開示の例示的な実施形態による、全スライド画像の適応分類のためのシステムを例示する図である。
【図２Ａ】[10]本開示の例示的な実施形態による、全スライド画像の適応分類のための方法を例示する図である。
【図２Ｂ】本開示の例示的な実施形態による、全スライド画像の適応分類のための方法を例示する図である。
【図２Ｃ】本開示の例示的な実施形態による、全スライド画像の適応分類のための方法を例示する図である。
【図３】[11]図３Ａは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する図である。図３Ｂは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する図である。図３Ｃは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する図である。図３Ｄは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する図である。図３Ｅは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する図である。図３Ｆは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する図である。図３Ｇは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する図である。図３Ｈは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する図である。図３Ｉは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する図である。図３Ｊは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する図である。図３Ｋは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する示す図である。図３Ｌは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する図である。図３Ｍは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する図である。図３Ｎは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する図である。図３Ｏは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する図である。図３Ｐは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する図である。図３Ｑは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する図である。図３Ｒは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する図である。図３Ｓは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する図である。図３Ｔは本開示の例示的な実施形態による、５つの異なる組織の種類の画像チャネルのうちの１つを例示する図である。
【図４】[12]本開示の例示的な実施形態による、多クラスＧＰセグメント化の階層的戦略を例示する図である。
【図５】[13]図５Ａは本開示の例示的な実施形態による、全スライドセグメント化の結果を例示する図である。図５Ｂは本開示の例示的な実施形態による、全スライドセグメント化の結果を例示する図である。図５Ｃは本開示の例示的な実施形態による、全スライドセグメント化の結果を例示する図である。図５Ｄは本開示の例示的な実施形態による、全スライドセグメント化の結果を例示する図である。
【図６】[14]本開示の例示的な実施形態による、２４の全スライド画像の各々の計算された低信頼領域内の従来技術（Ａ２値）対開示された方法（Ａ３値）の分類精度を例示するグラフである。
【図７】[15]組織解析システムの実施形態を概略的に示す図である。
【図７ａ】[16]図７に示す画像領域分類子モジュールの詳細を概略的に示す図である。
【図８】[17]組織解析方法の実施形態の流れ図を概略的に示す図である。
【図８ａ】[18]図８に示すステップ８６０の詳細を概略的に示す図である。
【図８ｂ】[19]図８に示すステップ８８０の詳細を概略的に示す図である。
【図８ｃ】[20]図８に示すステップ８５０の実施形態を概略的に示す図である。
【図８ｄ】[21]図８に示すステップ８５０の実施形態を概略的に示す図である。
【発明を実施するための形態】
【００１１】
[22]図に示す実施形態を明らかにする前に、まず、本開示の様々な実施形態を概括的に説明する。
[23]本開示は、とりわけ、解析システム、例えば、組織解析システムに関する。システムは、スライド上に用意された生物組織を解析するのに適切であり得る。
【００１２】
[24]解析システムは、画像領域識別子モジュール、例えば、解析される組織標本の画像の領域を選択しおよび／または識別する画像領域識別子モジュールを備えることができる。画像領域を選択するステップ／識別するステップは、例えば、空間位置および／または画像コンテンツを含む複数の基準のいずれかの機能として実施することができる。画像領域を画定するステップは、例えば、個々の画像領域のコンテンツおよび／または境界を指定することによって、個々の画像領域を画定する画像領域データを出力するステップを含むことができる。画像領域を選択するステップは、（受け取った）画像データの複数のサブセットを画定する画像領域データを生成するステップを含むことができ、画像領域を画定するステップは、そのような画像領域データを出力するステップを含むことができる。画像領域識別子モジュールは、以下に説明するように、格子点生成モジュールでよい、または格子点生成モジュールを含むことができる。
【００１３】
[25]画像領域識別子モジュールは、組織標本の画像を表す画像データを受け取ることができる。画像データは、少なくとも二次元の画像、例えば、組織標本の少なくとも二次元の画像を、例えば、１００万〜１０億画素の程度で表すことができる。画像データは、当技術分野で知られているように、複数の画素を含むことができる。画像データは、画像をグレースケール画像、カラー画像（例えば、ＲＧＢもしくはＣＹＭＫ）またはマルチチャネル画像として表すことができる。マルチチャネル画像は、例えば、マルチチャネル画像の明白なチャネルとして、非可視電磁放射（例えば、ＵＶ光）または他のイメージング技法を使用して捕捉された画像情報を含むことができる。
【００１４】
[26]画像領域識別子モジュールは、画像データを（組織）解析システムの要素でなくてよい画像源から直接または間接的に受け取ることができる。この点において、（組織）解析システムは、（組織）イメージングデバイス、例えば、マルチチャネル画像、例えば、各チャネル画像が狭スペクトル帯からの画像捕捉に対応する８または１６ビットのグレースケール画像であるいくつかの（例えば、１０から１６の間などの）チャネルを有するマルチチャネル蛍光像または明視野像または各チャネルが特定のカラー捕捉に対応する３つのカラーチャネルを有するＲＧＢカラー画像などの、画像データを取得するために組織標本を画像化する（組織）イメージングデバイスを備えることができる。例えば、画像源は、蛍光画像を生成するイメージングシステムの蛍光顕微鏡、カメラ、光学スキャナ、ＣＣＤ、もしくは他の光学構成要素、またはＲＧＢ画像を生成するイメージングシステムの明視野顕微鏡、カメラ、光学スキャナでよい。イメージングシステムの例は、例えば、分光フィルタホイールまたは全スライドスキャナを有する任意の蛍光または明視野顕微鏡であり得る。
【００１５】
[27]イメージングデバイスは、非可視電磁放射（例えば、ＵＶ光）または他のイメージング技法を利用して画像を捕捉することができる。（組織）イメージングデバイスは、顕微鏡と、顕微鏡によって拡大される画像（組織の）を捕捉するように配列されたカメラとを備えることができる。画像領域識別子モジュールによって受け取られる画像データは、（組織）イメージングデバイスによって捕捉された生の画像データと同一であり得る、および／または（組織）イメージングデバイスによって捕捉された生の画像データから導き出され得る。
【００１６】
[28]画像領域識別子モジュールは、（受け取った）画像データの複数のサブセットを識別する画像領域データを生成しおよび／または出力することができる。画像データサブセットの任意の個々のサブセットは、画像のそれぞれの領域を表すことができる。画像領域データは、画像データを、例えば、それぞれのサブセットを表すデータ構造にグループ化することによってそれぞれのサブセットを識別することができる。例えば、画像領域データは、複数の（サブセット）データ構造を含むことができ、各（サブセット）データ構造が、単一の（それぞれの）サブセットの画像データを含む。したがって、画像領域識別子モジュールは、少なくとも１つのそのような（サブセット）データ構造を生成することができる。同様に、画像領域データは、それぞれのサブセットにどの画像データ（例えば、画像データの画素）が属するかを画定する境界を指定することによって、それぞれのサブセットを識別することができる。したがって、画像領域識別子モジュールは、そのような境界を指定する画像領域データを生成することができる。例えば、画像領域識別子モジュールは、画像データの複数の画素を格子点として識別するデータおよび幾何形状を表すデータを生成することができ、幾何形状が個々の領域、すなわち、それぞれの格子点に対する画像データのサブセットを画定する。したがって、「格子点（ｇｒｉｄ  ｐｏｉｎｔ）」および「データ画像のサブセット（ｄａｔａ  ｉｍａｇｅ  ｓｕｂｓｅｔ）」という用語の各々は、画像の領域、すなわち、画像内の点／画素およびその点の周りの近傍を指定するものと理解することができる。したがって、「格子点」および「データ画像のサブセット」という用語の各々は、画像の画素の組、例えば、組織標本の領域を表す画素の組を指定することができる。
【００１７】
[29]領域のいずれかは、空間的に接触する領域、例えば、画像内の点／画素およびその点の周りの空間的に接触する近傍であり得る。したがって、「領域（ｒｅｇｉｏｎ）」という用語は、空間的に接触する画像の画素の組、例えば、組織標本の空間的に接触する領域を表す画素の組を指定することができる。
【００１８】
[30]個々の領域（それぞれの画像データサブセットで表される）は、様々なサイズまたは形状でよい。例えば、領域は、正方形、長方形、六角形、または円形でよい。同様に、領域は単一の画素と同じくらいに小さくてよく、または数十／数百の画素の直径を有することができる。例えば、個々の領域は、１００×１００画素程度の正方形であり得る。したがって、格子点は、少なくとも１つの寸法において、一定の間隔をおいて配置され得る。例えば、格子点は、正方形または長方形の（二次元の）格子の交差点に配置され得る。同様に、領域は、ハニカム状の配列で配列され得る。したがって、格子点は、一般的なアレイの形態で配列することができ、アレイの交互に並ぶ行の格子点が、行の方向に格子点の間隔の半分だけ、他方の交互に並ぶ行において格子点から行の方向にオフセットされる。画像領域識別子モジュールは、ユーザ定義の領域サイズ、格子点間隔、領域形状／幾何形状、格子点アレイ、格子点／領域配列、領域重複限界など（選択パラメータとして）を使用してそれぞれの画像領域を選択することができる。そのようなユーザ定義のパラメータの基礎となるユーザ相互作用は、解析システムまたは別のシステムによって実施することができる。したがって、ユーザ定義のパラメータは、ネットワークを介してまたはデータ記憶装置から解析システムによって受け取ることができる。
【００１９】
[31]個々の領域（それぞれの画像データサブセットで表される）は、固有である、すなわち、別の領域と同一でない可能性がある。個々の領域は、重複してもよいし、重複なしでもでもよい。例えば、個々の領域は、それぞれの個々の領域の面積の３０％以下、２０％以下、１０％以下または０％が他の領域と重複するように配列し／ような形状にすることができる。したがって、画像データのサブセットは、相互排他的でなくてよい。言い換えれば、画像データの複数のサブセットのうちのいずれかの１つは、画像データの複数のサブセットのうちの別のサブセットに属する画像データを含むことができる。
【００２０】
[32]解析システムは、画像領域分類子モジュール、例えば、画像領域のうちの任意の画像領域を複数の組織の種類のうちの１つとして分類する画像領域分類子モジュールを備えることができる。例えば、画像領域分類子モジュールは、画像領域のうちの任意の個々の画像領域を複数の組織の種類のうちのそれぞれの１つとして個別に分類することができる。画像領域分類子モジュールは、画像領域のうちの各々の個々の画像領域を個別に分類することができる。画像領域分類子モジュールは、複数の組織の種類（画像領域の可能な分類として利用可能）を記憶するメモリを備えることができる。複数の組織の種類は、正常組織と、腫瘍と、壊死と、間質と、リンパ球凝集体とのうちのいずれかを含むことができる。画像領域分類子モジュールは、数千または数万の画像領域、例えば、少なくとも５，０００、少なくとも１万または少なくとも２万の画像領域を分類することができる。
【００２１】
[33]画像領域分類子モジュールは、それぞれの画像領域を表す画像データサブセットを使用してそれぞれの画像領域を分類することができる。例えば、画像領域分類子モジュールは、それぞれの画像データサブセットに属する画素に対して画像処理を実施することによって、それぞれの画像領域を分類することができる。画像領域分類子モジュールは、データベース、例えば、組織特性のデータベースに問い合わせを行うためのそれぞれの画像データサブセットを使用して、それぞれの画像領域を分類することができる。例えば、画像領域分類子モジュールは、それぞれの画像領域の特徴をそれぞれの画像データサブセットから導出し、導出した特徴を使用して、データベースに問い合わせを行うことができる。さらに、画像領域分類子モジュールは、データベース、例えば、組織特性のデータベースから取得したデータを使用して、それぞれの画像領域を分類することができる。例えば、画像領域分類子モジュールは、データベースから取得したデータを使用して、機械学習アルゴリズム（個々の画像領域を分類するための）を訓練し、データベースから取得したデータを使用して（それぞれの画像領域の組織の種類を分類するために）、訓練された機械学習アルゴリズムによりそれぞれの画像データサブセットを処理することができる。同様に、画像領域分類子モジュールは、データベースから取得したデータをそれぞれの画像データサブセットに属する画素の画素情報および／またはそれぞれの画像データサブセットに属する画素に対する画像処理の結果と比較することによって、それぞれの画像領域を分類することができる。データベースから取得したデータは、画像、画像特徴、特定の画像情報に帰する分類および／または画像特徴の特定の組に帰する分類を表すことができる。したがって、データベースから取得したデータは、分類情報と画像情報との対および／または分類情報と少なくとも１つの画像特徴を表す情報との対を含むことができる。画像領域分類子モジュールは、以下に説明するように、ソフト分類モジュールでよい、またはソフト分類モジュールを含むことができる。
【００２２】
[34]画像領域分類子モジュールは、信頼スコア、例えば、それぞれの画像領域を分類するステップの信頼を示す信頼スコアを決定しおよび／または出力することができる。したがって、個々の画像領域を任意の分類するステップは、それぞれの信頼スコアを有することができ、任意の信頼スコアは、それぞれの個々の画像領域を分類するステップに関連することができる。信頼スコアは、それぞれの画像領域を分類するステップが正しい、すなわち、信頼スコア「１」である確率を表すことができる。画像領域分類子モジュールは、それぞれの画像データサブセットに属する画素とデータベースから取得した画像情報との類似性の程度を決定することによっておよび／またはそれぞれの画像データサブセットに属する画素に対して実施された画像処理の結果とデータベースから取得した画像特徴情報との類似性の程度を決定することによって、信頼スコアを決定することができる。信頼スコアを出力するステップは、信頼スコアを表すデータを出力するステップを含むことができる。
【００２３】
[35]解析システムは、データベース変更子モジュールを備えることができる。データベース変更子モジュールは、データベースの変更を、例えば、結果としてデータベースを変更する（データベース）動作の実行となる命令を直接または間接的にデータベースに発行することによって、実施することができる。例えば、データベース変更子モジュールは、結果としてデータベースへの／における／からデータの追加／変更／削除となる命令をデータベースに発行することができる。
【００２４】
[36]データベース変更子モジュールは、画像領域のうちのいずれかの、例えば、画像領域分類子モジュールによって分類された画像領域のうちのいずれかのデータベースの変更を実施することができる。例えば、データベース変更子モジュールは、第１の範囲内に含まれる信頼スコアを有する任意の画像領域のデータベースの変更を実施することができる。言い換えれば、データベース変更子モジュールは、画像領域分類子モジュールによる分類するステップが第１の範囲内に含まれる信頼スコアを有する任意の画像領域のデータベースの変更を実施することができる。第１の範囲は、分類が正しいという確実性を表す信頼スコアを含む信頼スコアの範囲であり得る。したがって、データベースは、分類するステップが正しいことが十分に確からしい、すなわち、第１の範囲内に含まれる信頼スコアを有する、画像領域を分類するステップに応答して、データベースの変更を実施することができる。画像領域分類子モジュールは、数百または数千の画像領域の（第１の範囲内に含まれる信頼スコアを有する）、例えば、少なくとも５００、少なくとも１，０００、少なくとも５，０００または少なくとも１０，０００の画像領域（第１の範囲内に含まれる信頼スコアを有する）のデータベースの変更を実施することができる。
【００２５】
[37]データベース変更子モジュールは、それぞれの画像領域に分類された組織の種類を使用して変更を実施することができる。同様に、データベース変更子モジュールは、それぞれの画像領域を分類するステップに関連する信頼スコアを使用して変更を実施することができる。さらに、データベース変更子モジュールは、それぞれの画像データサブセットを使用して、例えば、それぞれの画像データサブセットに属する画素、他の画像領域に対するそれぞれの画像領域の位置に関する情報、それぞれの画像データサブセットに属する画素に対して実施された画像処理の結果、および／またはそれぞれの画像データサブセットから取得した（他の）組織特性データを使用して、変更を実施することができる。したがって、データベース変更子モジュールは、結果として得られる変更されたデータベースがそれぞれの画像領域に分類された組織の種類およびそれぞれの画像データサブセットから取得した組織特性データを表すデータを含むように変更を実施することができる。
【００２６】
[38]解析システムは、画像領域再分類子モジュール、例えば、画像領域のうちの任意の画像領域を複数の組織の種類のうちの１つとして再分類する画像領域再分類子モジュールを備えることができる。例えば、画像領域再分類子モジュールは、画像領域のうちの任意の個々の画像領域を複数の組織の種類のうちのそれぞれの１つとして個別に再分類することができる。画像領域再分類子モジュールは、複数の組織の種類（画像領域の可能な再分類として利用可能）を記憶するメモリを備えることができる。上記のように、複数の組織の種類は、正常組織と、腫瘍と、壊死と、間質と、リンパ球凝集体とのうちのいずれかを含むことができる。画像領域再分類子は、画像領域のうちのいずれかに対して、それぞれの画像領域を再分類するステップによって決定された組織の種類を出力することができる。組織の種類を出力するステップは、組織の種類を表すデータを出力するステップおよび／または組織の種類および／または組織の種類を表すデータ、例えば、画像データなど、それぞれの画像領域に関する他のデータと連動して、再分類が正しいという確実性および／または（組織の）特徴を表す信頼スコアを含むために、変更されたデータベースの変更をさらに実施する命令を出力するステップを含むことができる。
【００２７】
[39]画像領域再分類子モジュールは、第２の範囲内に含まれる信頼スコアを有する任意の画像領域を再分類することができる。例えば、画像領域再分類子モジュールは、第２の範囲内に含まれる信頼スコアを有する各画像領域を個別に再分類することができる。第２の範囲は、分類が誤っている、すなわち、信頼スコアが「０」以上であるという確実性を表す信頼スコアを含む信頼スコアの範囲であり得る。したがって、画像領域再分類子モジュールは、分類するステップが誤っていることが十分に確からしい、すなわち、第２の範囲内に含まれる信頼スコアを有する画像領域を再分類するステップに応答して、画像領域を再分類することができる。画像領域再分類子モジュールは、以下に説明するように、適応分類モジュールでよい、または適応分類モジュールを含むことができる。
【００２８】
[40]画像領域再分類子モジュールは、それぞれの画像領域を表す画像データサブセットを使用して、それぞれの画像領域を再分類することができる。例えば、画像領域再分類子モジュールは、それぞれの画像データサブセットに属する画像に対して画像処理を実施することによって、それぞれの画像領域を再分類することができる。画像領域再分類子モジュールは、変更されたデータベース（組織特性の）に問い合わせを行うためのそれぞれの画像データサブセットを使用して、それぞれの画像領域を再分類することができる。例えば、画像領域再分類子モジュールは、それぞれの画像領域の特徴をそれぞれの画像データサブセットから導出し、導出した特徴を使用して、変更されたデータベースに問い合わせを行うことができる。さらに、画像領域再分類子モジュールは、変更されたデータベース、例えば、上記のように変更された組織特性のデータベースから取得したデータを使用して、それぞれの画像領域を再分類することができる。例えば、画像領域再分類子モジュールは、変更されたデータベースから取得したデータを使用して、機械学習アルゴリズム（個々の画像領域を再分類するための）を（再）訓練することができ、変更されたデータベースから取得したデータを使用して（それぞれの画像領域の組織の種類を再分類するために）（再）訓練された機械学習アルゴリズムによりそれぞれの画像データサブセットを処理することができる。同様に、画像領域再分類子モジュールは、変更されたデータベースから取得したデータをそれぞれの画像データサブセットに属する画素の画素情報および／またはそれぞれの画像データサブセットに属する画素に対する画像処理の結果と比較することによって、それぞれの画像領域を再分類することができる。変更されたデータベースから取得したデータは、画像、画像特徴、特定の画像情報に帰する分類および／または画像特徴の特定の組に帰する分類を表すことができる。したがって、変更されたデータベースから取得したデータは、分類情報と画像情報との対および／または分類情報と少なくとも１つの画像特徴を表す情報との対を含むことができる。
【００２９】
[41]解析システムは、データベースを記憶するデータ記憶システムを備えることができる。データベースは、複数の組織画像領域の各々に対して、組織の少なくとも二次元の画像を表すデータ、少なくとも１つの組織特徴を表すデータ、組織の種類を表すデータ、および信頼スコアを表すデータのうちのいずれかを含むことができる。任意のそれぞれの画像領域のために記憶された少なくとも１つの組織特徴を表すデータは、それぞれの画像領域のために記憶された組織画像から導出されたデータであり得る。同様に、任意のそれぞれの画像領域のために記憶されたデータで表される信頼スコアは、それぞれの画像領域のために記憶されたデータで表される組織の種類が決定された分類するステップの信頼スコアであり得る。さらに、任意のそれぞれの画像領域のために記憶されたデータで表される組織画像は、分類するステップがそれぞれの画像領域のために記憶されたデータで表される組織の種類を生じさせた、それぞれの組織画像領域を分類するステップに使用される組織画像であり得る。
【００３０】
[42]解析システムは、サポートベクタマシン、例えば、以下に説明するサポートベクタマシンを備えることができる。サポートベクタマシンは、画像領域（再）分類子モジュールの要素であり得る。解析システム／画像領域（再）分類子モジュールは、サポートベクタマシンを使用して、信頼スコア（それぞれの画像領域を（再）分類するステップの）を決定することができる。言い換えれば、信頼スコアを決定するステップは、１つまたは複数のサポートベクタマシンの動作を実行するステップを含むことができる。
【００３１】
[43]任意のそれぞれの画像領域を（再）分類するステップは、例えば、以下に説明するように、特徴抽出モジュールを用いて、少なくとも１つの特徴をそれぞれの画像領域から抽出するステップを含むことができる。抽出するステップは、それぞれの画像データサブセットを使用して、例えば、それぞれの画像領域の画素情報を使用して、実施することができる。同様に、抽出するステップは、データベース（またはそれの変更されたバージョン）から取得したデータを使用して、例えば、上記のように、他の画像領域に関するデータベースに記憶されたデータを使用して、実施することができる。抽出するステップは、それぞれの画像領域の画素情報および／またはそのような画素情報から導出されたデータをデータベースから取得したデータと、例えば、データベースから取得したデータのそれぞれ対応する種類と比較することによって実施することができる。抽出するステップは、テクスチャ特徴と、生物学的特徴と、強度特徴と、傾斜特徴と、ガボール特徴と、共起特徴と、核特徴とからなる群に属する特徴を抽出することができる。
【００３２】
[44]任意のそれぞれの画像領域を再分類するステップは、それぞれの画像データサブセットのデータおよび／または変更されたデータベースから取得したデータを重み付けするステップを含むことができる。重み付けするステップは、空間的近接値、信頼スコアおよび特徴類似値のうちの少なくとも１つを使用して実施することができる。例えば、重み付けするステップは、それぞれの分類が関係しそれぞれの画像領域が再分類されるデータベース内の画像領域の空間的近接（標本上の／画像内の）の関数としてデータベースから取得した分類を重み付けするステップを含むことができる。同様に、重み付けするステップは、それぞれの画像特徴が関係する画像領域の組織の種類の分類に対してデータベースに記憶された信頼スコアの関数としてデータベースから取得した画像特徴を重み付けするステップを含むことができる。さらに、重み付けするステップは、データベースから取得した画像特徴の組を、再分類されるそれぞれの画像領域内の画像特徴の組とのそれらのそれぞれの類似性の関数として重み付けするステップを含むことができる。画像特徴の１つの組と画像特徴の別の組との類似性を示す特徴類似値は、一方の組内の個々の特徴の空間的関係と他方の組内の個々の特徴の空間的関係との類似性の関数としておよび／または一方の組内のある種類の個々の特徴の数と他方の組内のある種類の個々の特徴の数との類似性の関数として決定され得る。
【００３３】
[45]解析システムは、画像チャネル抽出器、例えば、以下に説明するように、画像チャネル抽出モジュールを備えることができる。画像チャネル抽出器は、画像領域（再）分類子モジュールの要素であり得る。
【００３４】
[46]それぞれの画像領域を分類するステップは、例えば、画像チャネル抽出器を使用して、画像の少なくともそれぞれの領域を、１つまたは複数の構成要素チャネルに、例えば、ヘマトキシリンチャネルと、エオシンチャネルと、輝度チャネルとからなる群に属する１つまたは複数の構成要素チャネルに分離するステップを含むことができる。同様に、分離するステップは、任意の画像領域、例えば、画像全体を１つまたは複数の（前述の）構成要素チャネルに分離するステップを含むことができる。分離するステップは、前述の抽出するステップ（特徴を）の前に実施され得る。抽出するステップ（少なくとも１つの特徴をそれぞれの画像領域から）は、それぞれの画像領域の構成要素チャネルのいずれかを使用して実施され得る。
【００３５】
[47]本開示は、とりわけ、解析方法に、例えば、組織解析方法に関する。方法は、スライド上に用意された生物組織を解析するのに適切であり得る。したがって、解析システムの前述の説明は、変更すべきところは変更して、上記の技法を採用した解析方法に適用する。
【００３６】
[48]本開示の様々な実施形態を上記に概括的に説明してきたので、次に、図に示す実施形態を明らかにする。
[49]図１Ａは、本開示の例示的な実施形態による、適応分類のためのシステム１００を示す。システム１００は、電子処理デバイス１０１に結合されたプロセッサ１０５によって実行される複数の処理モジュールまたは論理命令を記憶するメモリ１１０を備える。本明細書では、「モジュール（ｍｏｄｕｌｅ）」とは、それぞれの機能を提供するソフトウェアもしくはハードウェアモジュールまたはソフトウェアとハードウェアとの組合せを包含する。プロセッサ１０５とメモリ１１０とに加えて、電子処理デバイス１０１は、キーボード、マウス、タッチペン、およびディスプレイ／タッチスクリーンなどのユーザ入力および出力デバイスも含む。以下の議論において説明するように、プロセッサ１０５は、メモリ１１０に記憶された論理命令を実行し、画像解析、および結果として電子処理デバイス１０１を動作させるユーザに対してまたはネットワークを介して結果の出力となる他の定量的動作を実施する。
【００３７】
[50]例えば、イメージングシステム１０２は、画像データを１つまたは複数のスキャンされたスライドからメモリ１１０に提供することができる。画像データは、画像、ならびに画像が生成されたイメージングプラットフォームに関連した任意の情報を含むことができる。例えば、組織切片は、明視野画像の発色ステインまたは蛍光画像の蛍光体に関連付けられた１つまたは複数の異なる生体指標を含む染色アッセイの適用により染色される必要があり得る。染色アッセイは、明視野画像に発色ステイン、蛍光画像に有機蛍光体、量子ドット、または量子ドットと一緒の有機蛍光体、またはステイン、生体指標、およびビューイングもしくはイメージングデバイスの任意の他の組合せを使用することができる。さらに、典型的な切片は、染色アッセイを切片に適用し、結果として染色された標本となる自動染色／アッセイプラットフォームで処理される。市場には染色／アッセイプラットフォームとして使用するのに適切な様々な商品があり、一例は、譲受人Ｖｅｎｔａｎａ  Ｍｅｄｉｃａｌ  Ｓｙｓｔｅｍｓ，Ｉｎｃ．のＳＹＭＰＨＯＮＹ（商標）製品である。染色された組織はイメージングシステム、例えば、顕微鏡上または顕微鏡を有する全スライドスキャナおよび／またはイメージング構成要素に供給することができ、一例は譲受人Ｖｅｎｔａｎａ  Ｍｅｄｉｃａｌ  Ｓｙｓｔｅｍｓ，Ｉｎｃ．のＩＳＣＡＮ  ＣＯＲＥＯ（商標）製品である。多重組織スライドは、同等の多重化スライドスキャナシステムでスキャンされ得る。イメージングシステム１０２によって提供される追加の情報は、染色に使用される化学薬品の濃度、染色中の組織に加えられる化学薬品の反応時間、および／または組織年齢、固定法、持続時間、切片の埋め込まれ方、切開などの組織の事前解析的条件を含む染色プラットフォームに関連した任意の情報を含むことができる。
【００３８】
[51]さらに、本明細書に説明する実施形態は、ＲＧＢ画像を作り出す明視野全スライド（ＷＳ）スキャナで画像化された肝臓における結腸直腸がん転移がんからのヘマトキシリンおよびエオシン（Ｈ＆Ｅ）染色切片に言及するが、本開示は、任意の生物試料または組織の画像の任意の種類に適用可能である。スライドなどの、またはスライドでない画像は、基板上に位置する生物試料の全部または一部から生成され得る。本開示は、ＲＧＢ、明視野、暗視野、および蛍光画像を含む任意の画像の種類にさらに適用可能である。
【００３９】
[52]画像チャネル抽出モジュール１１１は、特徴抽出および分類を容易にするために、入力画像を異なる画像チャネルに分離することによって、実行され得る。例えば、ヘマトキシリンの局所量、エオシンの局所量、および輝度を表す別々のチャネルを画像チャネル生成モジュール１１１によって生成することができる。例えば、Ｒｕｉｆｒｏｋ，Ａ．ａｎｄ  Ｊｏｈｎｓｔｏｎ，Ｄ．，「Ｑｕａｎｔｉｆｉｃａｔｉｏｎ  ｏｆ  ｈｉｓｔｏｃｈｅｍｉｃａｌ  ｓｔａｉｎｉｎｇ  ｂｙ  ｃｏｌｏｒ  ｄｅ−ｃｏｎｖｏｌｕｔｉｏｎ（カラーデコンボリューションによる組織化学的染色の定量化）」Ａｎａｌｙｔ．Ｑｕａｎｔ．Ｃｙｔｏｌ．Ｈｉｓｔｏｌ．２３，２９１−２９９（２００１）に説明されている方法などのカラーデコンボリューションまたは非混合法は、元のＲＧＢ画像をヘマトキシリン（ＨＴＸ）およびエオシンチャネルに分解するのに適用される。さらに、画像の輝度チャネル（Ｌａｂ色空間のＬ構成要素）も識別され得る。これらのチャネルは組織画像内の異なる組織構造を強調し、したがって、それらは構造画像チャネルとして表され得る。より正確には、ＨＴＸチャネルは核領域を強調し（図２Ａの灰色領域参照）、エオシンチャネルは好酸球構造を強調し（図２Ａの暗い領域）、一方、輝度チャネルは、脂肪性構造、内腔および空間を強調する（図２Ａの明るい領域）。したがって、これらのチャネルから抽出された特徴は、組織構造を説明する上で有用である。構造画像チャネルの選択は、各セグメント化問題に対して調整することができる。例えば、ＩＨＣ染色画像の場合、構造画像チャネルは、さらに図３Ａ〜Ｔに示すように、対比染色チャネル、１つまたは複数の免疫組織化学染色チャネル、色相、および輝度を含むことができる。
【００４０】
[53]格子点生成モジュール１１２は、画像内のシードポイントの均一な格子をサンプリングし、各シードポイントの間隔または近傍を指定することによって、ＷＳ画像を複数のパッチに分割するために実行することができる。例えば、ｄ＝８０画素の間隔を有する格子点（ＧＰ）をＷＳ画像上に重ね合わせることができ、特徴抽出モジュール１１３が特徴をこれらのＧＰの近傍から抽出することが可能になり、分類モジュール１１４および１１５が特徴を、したがって、ＧＰを異なる組織の種類に分類することが可能になる。間隔のサイズは、８０画素に限定されず、変えることができる。さらに、格子は、正方形、長方形、六角形など、任意の形状でよい。
【００４１】
[54]特徴抽出モジュール１１３は、画像チャネルのうちの１つまたは複数に対して特徴抽出を実施する。各画像チャネルに関連付けられた各ＧＰに対して、特徴抽出モジュール１１３は、これらのポイントの近傍における画像特徴を抽出し、テクスチャ特徴および生物学的特徴を含む異なる種類の画像特徴が抽出される。例えば、隣接サイズｓおよび画像チャネルｃを所与として、Ωｓ，ｃが特徴が抽出されるチャネルｃにおけるサイズｓ×ｓの近傍を示すとする。すべてのΩｓ，ｃ∀ｓ∈Ｓ，ｃ∈Ｃに対して計算された特徴（ここでＳ、Ｃがそれぞれ選択された隣接サイズおよび選択されたチャネルの組を示す）がＧＰを表す豊富な情報を含む特徴ベクトルを生成するために連結される。１つの実験的な実施形態において、例えば、Ｓ＝［１００；２００］画素およびＣ＝｛ＨＴＸ，エオシン，輝度｝。さらに、テクスチャ特徴がすべての画像チャネルに対して計算されるが、生物学的特徴は生物学的構造が存在する画像チャネルだけに対して計算される。例えば、細胞核の特徴は、核領域が顕著であるヘマトキシリンチャネルから抽出される。特徴選択方法は、分類用に良好な特徴のサブセットを選択するために訓練特徴のプールに適用される。例えば、核の豊富な部分における構造、例えば、腫瘍およびリンパ球凝集体（ＬＡ）は、ほとんどの兆候をＨＴＸチャネルに有するが、これに対して、正常肝臓、壊死、および間質はほとんどの兆候をエオシンチャネルに有する。これらの構造に関するさらなる詳細については図３Ａ〜Ｔを参照されたい。この相違を捕捉するために、１０瓶のヒストグラムを含む強度に基づいた特徴を計算することができ、各ｓ、ｃにおける画素強度の平均および分散とともに特徴として使用することができる。他の適用例の場合、１０瓶ヒストグラムに加えて、または１０瓶ヒストグラムの代わりに、平均および分散、多かれ少なかれ瓶、平均、標準偏差、尖度、異なる百分率などを有するヒストグラムのような他の記述統計値を計算することができる。瓶のサイズおよび瓶の種類は異なり得る。本明細書に開示される１つの実験的な実施形態において、特徴の総数は１２×２×３＝７２である。エオシン（好酸球組織とも呼ばれる）で強力に染色される組織の中で、正常肝臓は、通常大きな均質の細胞群を含み、エオシンおよび輝度チャネルにおいて同様に向いた縁部を有し、壊死には不規則に向いた縁部、間質には稜線状構造、および図３Ａ〜Ｔにさらに詳細に示すように他の変形を有する、強力な輝度の変動ならびに無秩序な構造を有する。これらのテクスチャの相違を活用して、特徴抽出モジュール１１３は、３つの画像チャネルの各々に対して、傾斜、ガボール、共起、および核特徴を抽出することができる。
【００４２】
[55]様々な種類の特徴抽出が本明細書に列挙されている。傾斜抽出では、特徴抽出モジュール１１３が、まず、画像の傾斜の大きさおよび傾斜の向きを計算することができる。傾斜特徴は、傾斜の大きさの１０瓶ヒストグラムと、傾斜ベクトルの向きの１０瓶ヒストグラムとを含む。これらの特徴は、均質領域と不均質領域とを区別し、同様に向いた縁部を有する領域と不規則に向いた縁部を有する領域とを区別する。この場合も、ヒストグラムに加えて、平均、標準偏差、尖度、百分率などの異なる記述統計を傾斜の大きさおよび向きの特徴として使用することができる。実験的な例において、特徴の総数は２０×２×３＝１２０である。ガボール特徴では、特徴抽出モジュール１１３が３つの異なる波長および６つの異なる向きを使用して１８のガボールフィルタを生成することができる［Ｊａｉｎ，Ａ．Ｋ．，Ｆａｒｒｏｋｈｎｉａ，Ｆ．：Ｕｎｓｕｐｅｒｖｉｓｅｄ  ｔｅｘｔｕｒｅ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｕｓｉｎｇ  Ｇａｂｏｒ  ｆｉｌｔｅｒｓ（ガボールフィルタを使用する教師なしテクスチャセグメント化）．Ｉｎ：ＩＥＥＥ  Ｉｎｔ．Ｃｏｎｆ．Ｓｙｓ．，Ｍａｎ．，Ｃｙｂｅｒ．，ｐｐ．１４−１９（１９９０）参照］。フィルタ応答の平均および分散が特徴として使用される。特徴として使用される波長の数、向き、および記述統計を各適用例に選択することができる。実験的な例において、特徴の総数は３６×２×３＝２１６である。共起特徴では、特徴抽出モジュール１１３が画素強度の共起行列（ＣＭ）を計算することができ、このＣＭからエネルギー、相関、慣性、エントロピー、逆差分モーメント、総和平均、総和分散、総和エントロピー、差分平均、差分分散、差分エントロピー、および２つの情報の相関の程度を含む、１３のハラリック特徴を計算することができる［Ｈａｒａｌｉｃｋ，Ｒ．ら．：Ｔｅｘｔｕｒａｌ  Ｆｅａｔｕｒｅｓ  ｆｏｒ  Ｉｍａｇｅ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ（画像分類のためのテクスチャ特徴）．ＩＥＥＥ  Ｔｒａｎｓ．Ｓｙｓ．，Ｍａｎ．，Ｃｙｂｅｒ．３（６），６１０−６２１（１９７３）参照］。各チャネルに対して個別に計算され得る従来のグレーレベルのＣＭ（ＧＬＣＭ）に加えて、チャネル間またはカラー共起行列（ＣＣＭ）をさらに使用することができる。ＣＣＭは２つの異なる画像チャネルにおける画素強度の共起から作り出されて、すなわち、変異ベクトルｄ＝［ｄｘ；ｄｙ］を使用して２つのチャネルＣｉ；ＣｊからＣＣＭを計算し、画素強度の共起がＣｉにおける位置（ｘ；ｙ）で計算され、画素強度がＣｊにおける位置（ｘ＋ｄｘ；ｙ＋ｄｙ）で計算される。ＣＣＭの利点は、異なる組織構造（異なるチャネルにおいて強調される）間の空間関係を、それらを明瞭にセグメント化する必要なく、捕捉することである。さらに、ハラリック特徴は、すべての３つのチャネルのＧＬＣＭから計算することができ、ハラリック特徴は、すべてのチャネルの対（ＨＴＸ−エオシン、ＨＴＸ−輝度およびエオシン−輝度）のＣＣＭから計算することができる。実験的な実施形態において、特徴の総数は１３×２×（３＋３）＝１５６であり得る。さらに、核特徴を、濃度、形状、サイズ、および細胞核の外観を使用して抽出して、強力な特徴を提供���、それによって、例えば、Ｍａｓａｈｉｒｏ，Ｉ．ら：Ａｕｔｏｍａｔｉｃ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ｈｅｐａｔｏｃｅｌｌｕｌａｒ  ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  ＨＥ−ｓｔａｉｎｅｄ  ｌｉｖｅｒ  ｔｉｓｓｕｅ（ＨＥ染色肝臓組織からの幹細胞の自動セグメント化）．Ｉｎ：Ｐｒｏｃ．ＳＰＩＥ，ｐｐ．８６７６１１−８６７６１１−７（２０１３）］に説明される方法を使用して、組織の種類を区別することができる。ＨＴＸチャネルから計算されたテクスチャ特徴は、ある量の核情報を捕捉するが、明確な核関連特徴をさらに計算することができる。例えば、システムは、まず、放射対称ベースの方法［Ｐａｒｖｉｎ，Ｂ．ら：Ｉｔｅｒａｔｉｖｅ  ｖｏｔｉｎｇ  ｆｏｒ  ｉｎｆｅｒｅｎｃｅ  ｏｆ  ｓｔｒｕｃｔｕｒａｌ  ｓａｌｉｅｎｃｙ  ａｎｄ  ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ  ｏｆ  ｓｕｂｃｅｌｌｕｌａｒ  ｅｖｅｎｔｓ（構造的特質の推論および細胞内事象の特性化のための反復投票）．ＩＥＥＥ  Ｔｒａｎｓ．  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  １６（３），６１５−６２３（２００７）］を使用してＨＴＸチャネル（核が最も顕著である）から中心核を検出することができ、続いて、Ｏｔｓｕの方法による核領域のセグメント化［Ｏｔｓｕ，Ｎ．：Ａ  ｔｈｒｅｓｈｏｌｄ  ｓｅｌｅｃｔｉｏｎ  ｍｅｔｈｏｄ  ｆｒｏｍ  ｇｒａｙ−ｌｅｖｅｌ  ｈｉｓｔｏｇｒａｍｓ（グレーレベルヒストグラムからの閾値選択方法）．ＩＥＥＥ  Ｔｒａｎｓ．  Ｓｙｓ．，Ｍａｎ．，Ｃｙｂｅｒ．９（１），６２−６６（１９７９）］がある。核領域における画素強度が変動するので、Ｏｔｓｕの方法は各検出された中心核の局所的近傍に適用され得る。セグメント化の結果に基づいて、システムは、（ｉ）核濃度（検出された核の数）、（ｉｉ）核サイズ（核面積の平均）、および（ｉｉｉ）核領域における平均強度値を計算することができる。要するに、合計７２＋１２０＋２１６＋１５６＋３＝５６７の特徴を、各ＧＰに対する特徴ベクトルを形成するために作り出すことができる。これらの核関連の特徴は、分類のために特徴を作り出すために検出される組織内の核、細胞、腺などの生体の発生、濃度、および特性を捕捉する生物学的特徴の一例である。
【００４３】
[56]特徴抽出に続いて、２段分類が組織の外観の変動を効率的におよび確実に処理するために実施される。まず、ソフト分類モジュール１１４がＳＶＭなどの「ソフト」分類を使用し、各パッチの信頼スコアおよびラベルを生成して各パッチを分類するために実行され得る。このソフト分類は、既知の特徴を含む外部（事前構築された）訓練データベースを使用し、各ＧＰのラベルおよび信頼スコアを生成して、ＷＳ画像Ｗｉ内のすべてのＧＰを分類するステップを含む。例えば、腫瘍領域などの特定の領域の種類のＳＶＭの出力ラベルは、０から１までのスカラー値であり得、その場合、０は領域が腫瘍である可能性が何もないことを示し、１はＧＰが腫瘍領域に属する高い可能性があることを示す。信頼マップが各ＧＰの信頼決定を使用して、画像内のパッチに対して生成され得る。Ｗｉからの最高信頼のＧＰを、外部データベースと組み合わせて、Ｗｉの適応訓練ＤＢを生成する内部訓練データベースに追加することができる。例えば、＞０．８の信頼スコアは、高信頼ＧＰとみなすことができ、データベースに追加することができる。訓練データベース１１６は、組み合わされたデータベースを含むことができる。他の実施形態において、ソフト分類の外部訓練データベースは、訓練データベース１１６内に組み込まれ得る。データベース１１６は、各画像に対するパッチの信頼およびラベルを記憶することもできる。
【００４４】
[57]適応分類モジュール１１５は、低信頼パッチを訓練データベース１１６内の高信頼パッチと比較するステップと、データベース内のパッチの空間コヒーレンスを増大させるために同様のパッチを使用するステップとを含む第２の分類ステップを実施するために実行される。低信頼パッチの組織特徴に基づいて、低信頼パッチの分類結果を改良するために、類似検索動作が画像内で実施される。言い換えれば、各低信頼パッチに対して、隣接した高信頼パッチが各パッチのラベルを改良する方により大きな寄与をし、それによって、低信頼パッチ内のセグメント化精度が改善される。例えば、上位１０の同様のパッチを取得することができ、それらからの大半のラベルを低信頼パッチまたは画素の新たなラベルとして使用することができる。したがって、データベース１１６に記憶された適応データベースにより、Ｗｉ内の低信頼パッチを再分類するステップが可能となる。低信頼パッチの周りの空間的拘束により、より多くの重みを高信頼パッチに与えるステップが可能となり、低信頼パッチからさらに離れている同様のパッチに低い重みを与えることが可能になる。
【００４５】
[58]各画像内の高解像度および大画素数により、結果として得られる画像ごとのデータベースは、極めて包括的であり得る。異なる画像間の大きな変動により、開示されるシステムおよび方法が、各画像内のパターンに基づくセグメント化の結果を適応的に改善することが可能になる。本開示の例示的な実施形態において、画像データに関する生体情報、例えば、本明細書に開示される方法により収集したまたは取得したデータは、具体的な画像のデータベース１１６を訓練するために具体的な特徴を設計するのに利用される。類似検索は、同じ画像内の特徴にうまく働き、低信頼領域内のセグメント化精度の改善が可能になる。さらに、改良された信頼マップを、各ＧＰの２番目の段階の信頼決定を使用して、画像内のパッチに対して生成することができる。信頼マップおよび組織の種類のマップは、ユーザ操作端末１０１に出力する、またはネットワークを介して遠隔端末に伝送することができる。信頼マップおよび組織の種類のマップは、電子的に解析して、画像の品質を決定し、または患者の治療または予後のための診断を取得することができる。
【００４６】
[59]本明細書に説明するように、様々な異なる分類方法を検出された特徴に適用することができる。例示的な実施形態において、これらの異なる方法を評価することができ、ランダムフォレスト分類方法を優れた性能により選択することができる。本明細書に開示される実験的な実施形態において、性能は、肝臓、ＣＲＣ転移がん、リンパ球、壊死および間質（グラウンドトルースは病理学者によって提供された）の５つの異なる組織の種類の８４，０００を超えるシードを含むデータベースにより評価された。これらの５つの組織の種類は、組織の種類の分類の例であり、開示されるシステムおよび方法は、これらの５つの組織の種類に限定されない。組織の種類は、異なる種類の組織には、例えば、組織画像が肝組織画像でないとき、異なることがある。取得したシード分類精度は８９％であった。さらに、画像セグメント化の結果が２７の全スライド組織画像に対しても取得された。実験結果は機械支援診断システムの有用性を示している。実験的な実施形態において、セグメント化は、Ｏｚｓｅｖｅｎ，Ｔ．ら：Ｑｕａｎｔｉｆｙｉｎｇ  ｔｈｅ  ｎｅｃｒｏｔｉｃ  ａｒｅａｓ  ｏｎ  ｌｉｖｅｒ  ｔｉｓｓｕｅｓ  ｕｓｉｎｇ  ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅ（ＳＶＭ）  ａｌｇｏｒｉｔｈｍ  ａｎｄ  Ｇａｂｏｒ  ｆｉｌｔｅｒｓ（サポートベクタマシン（ＳＶＭ）アルゴリズムおよびガボールフィルタを用いた肝組織上の壊死部分の定量化）の研究と同様の従来の教師ありの枠組みを使用して実施することができる。
【００４７】
[60]図２Ａ〜２Ｃは、本開示の例示的な実施形態による、適応分類のための方法を示す。大きなサイズのＷＳ画像（すなわち、スライドごとに生成される大量のＧＰ）を活用または利用するために、２段分類手順が、事前構築された訓練用の第１のデータベース（ＤＢ）Θ２１７が画像内のすべてのＧＰ（ステップ（１）、（２）、（３））を分類するのに使用される第１の段を含む。次に、高分類信頼を有するＧＰが新たな第２の訓練ＤＢ（２１９）とみなされ、それは適応訓練用の変更されたＤＢΘ＊２１８（ステップ（４））を作り出すためにΘ２１７と組み合わされる。訓練データが分類されなければならないデータと同じＷＳ画像に属するとき分類精度がより高いという仮定に基づいて、Θ＊２１８は適切なデータを提供して、Θを使用するとき低信頼で分類されたＧＰを再分類する（ステップ（５））。Θ＊２１８が各ＷＳ画像に対して適応的に構築されるので、方法は適応分類と称される。実装形態により、変更されたＤＢΘ＊２１８は、事前構築された訓練用の第１のデータベースが次第に改善されるように分析される必要がある後続の画像（例えば、同じ患者から取得した組織標本の同じスライドまたは別のスライドから取られた画像）として、事前構築された訓練用の第１のデータベース（ＤＢ）Θ２１７と置き換わることができる。この方法では、Τ＝｛正常肝臓、腫瘍、壊死、ＬＡ、間質｝は、対象のすべての組織の種類のリストと定義することができる。アルゴリズム１（図２Ｂ）におけるテスト標本の信頼スコアは、ＳＶＭにおける決定境界までの距離、ランダムフォレストによって生成された投票スコア、またはｋ最近傍分類子における最近傍のラベルのパーセンテージを使用して取得することができる。アルゴリズム１は、アルゴリズム２（図２Ｃに示す）を参照する。図２Ｂおよび２Ｃの実施形態において、「信頼閾値δｃ
[61]」は、０から１の間の信頼範囲をそれぞれδｃから１の間および０からδｃの間の第１および第２の範囲に分割することに留意されたい。「テストデータΓ」は分類されるべき画像データサブセットである。
【００４８】
[62]図３は、本開示の例示的な実施形態による、５つの組織の種類を例示する。図３Ａ、３Ｂ、３Ｃ、３Ｄ、および３Ｅは、それぞれ正常肝臓、壊死、間質（腫瘍周辺間質）、腫瘍、およびリンパ球凝集体（ＬＡ）切片からの結腸直腸がん転移がんのＨ＆Ｅ染色のスキャンを示す。図３Ｆ〜３Ｊは、これらの組織の種類の各々に対応するＨＴＸ構造画像チャネルを示し、図３Ｋ〜Ｏはエオシン構造画像チャネルを示し、３Ｐ〜３Ｔは輝度構造画像チャネルを示す。これらのチャネルの各々は、組織画像内の異なる組織構造を強調し、したがって、それらは構造画像チャネルと称される。腫瘍組織は腫瘍内間質（図３Ｄにおける。図３Ｎにおいて顕著である）を含むことがあるが、しかし、組織は依然として固形腫瘍とみなされ得る。
【００４９】
[63]本明細書に述べるように、核の豊富な部分における構造（例えば、腫瘍およびＬＡ）はＨＴＸチャネル（図３Ｆ〜３Ｊ）内にほとんどの兆候を有することがあるが、正常肝臓、壊死、および間質はエオシンチャネル（図３Ｋ〜３Ｏ）内にほとんどの兆候を有する。この相違を捕捉するために、１０瓶ヒストグラムを含む、強度に基づいた特徴を計算し、各ｓ、ｃにおける画素強度の平均および分散とともに特徴として使用することができる。他の適用例では、１０瓶ヒストグラム、平均、および分散に加えてまたはそれらの代わりに、多かれ少なかれ瓶、平均、標準偏差、尖度、異なる百分率などを有するヒストグラムのような他の記述統計値を計算することができる。瓶のサイズおよび瓶の種類は異なり得る。本明細書に開示される１つの実験的な実施形態において、特徴の総数は１２×２×３＝７２である。好酸球組織の中で、正常肝臓は、通常、大きな均質の細胞群を含み、エオシンおよび輝度チャネル内に同様に向いた縁部を有する（図３Ｋおよび３Ｐ）。対照的に、壊死の場合、これらのチャネルは、不規則に向いた縁部を有する、強力な輝度の変動および無秩序な構造を含む（図３Ｌおよび３Ｑ）。最後に、間質では、これらのチャネルは、より多くの稜線状構造（図３Ｍおよび３Ｒ）を含む。好塩基性組織の場合、腫瘍は、典型的には、より大きな核を含み、画素強度がＬＡよりもＨＴＸチャネル内の核領域においてより低い（図３Ｉおよび３Ｊ）。
【００５０】
[64]実験的な実施形態において、提案した方法を評価するのに使用されるデータセットは、２６，６００×２２，８００画素の平均サイズを用いてＶｅｎｔａｎａ  ｉＳｃａｎ  ＨＴ全スライドスキャナ（０．４６５μｍ／画素）上で２０倍の倍率でデジタル化された結腸直腸がんからの転移がんによる２７のスライドの肝臓標本を含んでいた。２７の画像の各々において、専門観察者によっていくつかのＧＰが選択され、５つの組織の種類に割り当てられ、結果として合計８４，０００を超えるラベル付きＧＰのＧＰデータセットとなっている。実験の第１の部分において、従来の訓練および分類手順が適応分類手順なしでＧＰデータセットに対して実施された。目的は抽出された特徴の弁別力を検証することである。ＧＰデータセットは、３つの群に分割され、２つが訓練用であり、１つが検証用である。過剰適合を回避するために、データは、同じ画像からのＧＰが訓練およびテストデータの両方に同時に存在しないように分割された。プロセスは各々異なる訓練および検証の群に対して３回繰り返され、平均分類精度が報告されている。異なる分類子の性能が比較され、すなわち、ｋ最近傍（ｋＮＮ）、サポートベクタマシン（ＳＶＭ）、およびランダムフォレスト（ＲＦ）である。さらに、特徴空間の高次元性により、主成分解析（ＰＣＡ）および最小冗長−最大関連（ｍＲＭＲ）［Ｐｅｎｇ，  Ｈ．ら：Ｆｅａｔｕｒｅ  ｓｅｌｅｃｔｉｏｎ  ｂａｓｅｄ  ｏｎ  ｍｕｔｕａｌ  ｉｎｆｏｒｍａｔｉｏｎ：ｃｒｉｔｅｒｉａ  ｏｆ  ｍａｘ−ｄｅｐｅｎｄｅｎｃｙ，ｍａｘ−ｒｅｌｅｖａｎｃｅ，ａｎｄ  ｍｉｎ−ｒｅｄｕｎｄａｎｃｙ（相互情報に基づく特徴選択：最大依存、最大関連、および最小冗長の基準）．ＩＥＥＥ  Ｔｒａｎｓ．Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  ２７（８），１２２６−１２３８（２００５）］が全特徴の組と競争で次元縮退について検討されている。多クラス分類問題が２つの戦略、すなわち、１対１および階層的戦略を使用して多値２値分類問題を組み合わせることによって解決される。本開示の例示的な実施形態による、多クラスＧＰセグメント化の階層的戦略の例示の図４を参照されたい。
【００５１】
[65]表１は、分類子の異なる選択、次元縮退方法、および多クラス分類の戦略の標準偏差によるすべての分類精度（％）をまとめたものである。
【００５２】
【表１】
0006588444.tif 000002
【００５３】
[66]適応分類方法を図２に示すようにＷＳセグメント化にさらに適用することができる。ＧＰデータセットは、一個抜き交差検証手順の訓練データとして使用される。ＷＳ画像Ｗｉにおけるセグメント化が、Ｗｉ以外のスライドのラベル付きＧＰを使用して、アルゴリズム１（図２Ｂ）における事前構築された訓練ＤＢΘとして実施される。プロセスは、ＤＢ内のすべての２７のＷＳ画像に対して繰り返すことができる。
【００５４】
[67]表１のＧＰ分類結果に基づいて、ＷＳセグメント化のｍＲＭＲおよび階層的戦略を、低い計算コストで優位性のある分類精度を提供するので、使用することができる。使用される分類子はＲＦ（第１の分類段に対して）およびｋＮＮ（改良分類段に対して）であり、それらは表１のものと同様の優位性のある検証の後選択することができるが、適応ステップ後の結果を比較した後である。外部ＤＢが大きく、ＲＦとしてのアンサンブル分類子がより適切である大きな特徴変動を含むが、内部ＤＢがより小さく、ｋＮＮとしてのより単純な分類子がより適切であるより低い特徴分散を含むと仮説を立てることができる。７つのＷＳ画像に対してセグメント化グラウンドトルース（専門観察者によって提供される）を使用して、人は各組織の種類のセグメント化精度をジャッカード指数（ＪＩ）によって計算することができる。ＳｔおよびＧｔがＷＳ画像Ｗｉ内の組織の種類の自動セグメント化の結果およびセグメント化グラウンドトルースを示すとすると、
ＪＩ（Ｓｔ、Ｇｔ）＝｜Ｓｔ∩Ｇｔ｜／｜Ｓｔ∪Ｇｔ｜
ＪＩ∈［０，１］により、ＪＩのより大きな値がより優れたセグメント化の結果に対応する。下記表２において、従来の方法（アルゴリズム１における第１の分類段だけを実施する）によって取得した各組織の種類の７つのＷＳ画像の平均ＪＩ値は、提案した適応分類方法と比較される。さらに、Ｗｉの全セグメント化精度（すべての組織の種類を考慮することによる）が次式として計算される。
【００５５】
【数１】
0006588444.tif 000003
【００５６】
ここで、ｌ（ｐ）およびｇ（ｐ）は画素ｐの割り当てられたラベルおよびグラウンドトルースラベルを表し、｜．｜はある組の濃度を表す。従来のおよび提案した方法によって取得した７つのＷＳ画像の平均ＳＡ値は、それぞれ、７２％および７４％である。これらの評価は、従来の方法に比べて提案した方法の改善された性能を示す。
【００５７】
【表２】
0006588444.tif 000004
【００５８】
[68]実験結果から、ＧＰデータセット（表１）に対して取得したＧＰ分類精度は、ＧＰデータセットではなくＷＳ画像が過渡的組織領域（混乱領域）を含むので、セグメント化精度（ＳＡ値）よりも高いことが観察された。これらの過渡的領域内のＧＰの近傍は、１つより多くの組織の種類を含み、それによってそれらを分類するのがより困難となる。ＳＡ値はＪＩ値よりも高く、それは各クラスがすべての他のクラスの偽陰性部分に寄与する５つのクラスセグメント化問題に対して予測される。さらに、第２段分類子Θが実験的にｋ最近傍として選択された。ＧＰデータセットは、一個抜き交差検証手順における事前構築されたＤＢ  Ｆ＊（図２Ｂ参照）として使用された。ＷＳ画像Ｗｉにおけるセグメント化は、ΘとしてのＷｉ以外のスライドのラベル付きＧＰを使用して実施された。
【００５９】
[69]図５Ａ〜５Ｄは、本開示の例示的な実施形態による、全スライド（ＷＳ）のセグメント化の結果を例示する。図５Ａは、サイズ１８，５００×１７，２００画素の入力ＷＳ画像を示す。図５Ｂは、異なる影付きの領域がそれぞれ腫瘍５３１、肝臓５３２、ＬＡ５３３、壊死５３４、および間質５３５領域をそれぞれ示すセグメント化グラウンドトルースを示す。図５Ｃは、従来の方法を使用したセグメント化結果を示す。図５Ｄは、提案の適応分類方法を使用したセグメント化結果を示す。図５Ｃにおいて誤って分類された領域５４０の一部が図５Ｄでは訂正して示される。
【００６０】
[70]セグメント化グラウンドトルース（専門観察者によって提供される）を使用して、分類精度を、再分類段を適用する前および後に、高信頼領域（ｘｈ）および低信頼領域における各組織の種類ｔｊ（ｊ∈［１，５］）に対して計算することができる（それぞれの分類されたラベルはｌ（ｘｉ）およびｌ＊（ｘｉ）であり、ここで、ｘｉ∈ｘｌ）。Ａ１、Ａ２、およびＡ３として表されるこれらの精度は、次式として計算される。すなわち、
【００６１】
【数２】
0006588444.tif 000005
【００６２】
ここで、ｇ（ｘｉ）はＷＳ画像Ｓ１＝ｘｈ，Ｓ２＝Ｓ３＝ｘｌ，ｌ１（ｘｉ）＝ｌ２（ｘｉ）＝ｌ（ｘｉ），ｌ３（ｘｉ）＝ｌ＊（ｘｉ）内の画素ｘｉのグラウンドトルースラベルを表す。５つの組織の種類の各々に対するすべてのＷＳ画像にわたるＡ１、Ａ２、およびＡ３の平均値が、表３に示される。
【００６３】
【表３】
0006588444.tif 000006
【００６４】
[71]さらに、平均Ａ２およびＡ３の値は、図６に示すように、２４のＷＳ画像の各々のすべての組織の種類にわたってプロットされる。この実験的実施形態において、以下の観察が取得されている。すなわち、（ｉ）Ａ１値は、一貫してＡ２値よりも高く、ＲＦ分類子によって選択された高信頼領域がＷＳ画像における信頼できる領域であり、適応ＤＢに適切であること示している。（ｉｉ）Ａ３値はＡ２値よりも高く、スライド間組織の変動の存在下で分類結果を改善する上で２段階適応分類方法の有用性を示している。（ｉｉｉ）図６に示すように、２段階適応分類方法は、従来技術の方法の結果を大抵改善している（２４の画像のうち２３の画像に改善が得られている）。
【００６５】
[72]したがって、包括的な枠組みが、一般的には組織画像のセグメント化問題に、具体的には肝臓のＨ＆Ｅ染色切片における組織セグメント化に対処するために提供される。異なる種類の特徴が異なる構造の画像チャネルから抽出され（カラーデコンボリューション手順およびＬａｂ色空間への変換を使用して取得され）、組織構造を説明するのに使用される。セグメント化を実施するために、適応分類方法は、事前構築された訓練データベースを使用し、事前構築された訓練データベースを改良するために高信頼スコアを有する分類されたＧＰを使用し、それによって、低信頼ＧＰを再分類するのにより適切である適応訓練データベースを生成して、第１のＧＰ分類を実施するステップを含む。そのような適応訓練データベースは、各々の新たなスライドに対して個別に生成され、入力ＷＳ画像の大きなサイズにより、数多くの高信頼ＧＰが第１の分類段からの各スライドに予測され、それによって、訓練用の組の改良がより信頼できるものになる。
【００６６】
[73]本開示の例示的な実施形態の前述の開示は、例示および説明の目的で提示されてきた。網羅的であることが意図されないし、新規の特徴を正確な形態に限定することが意図されない。本明細書に説明する実施形態の多くの変形および変更は、上記の開示を考慮すると当業者には明らかであろう。本開示の範囲は、本明細書に添付される特許請求の範囲によってのみ、およびそれらの同等物によってのみ、定義されるものとする。
【００６７】
[74]電子処理デバイスは、典型的には、プロセッサ、オペレーティングシステム、システムメモリ、メモリ記憶デバイス、入出力コントローラ、入出力デバイス、およびディスプレイデバイスなどの周知の構成要素を含む。電子処理デバイスの多くの可能な構成および構成要素があり、キャッシュメモリ、データバックアップユニット、および多くの他のデバイスを含むこともできることを当該技術分野の当業者にはやはり理解されよう。入力デバイスの例には、キーボード、カーソル制御デバイス（例えば、マウス）、マイクロホン、スキャナなどが含まれる。出力デバイスの例には、ディスプレイデバイス（例えば、モニタまたはプロジェクタ）、スピーカ、プリンタ、ネットワークカードなどが含まれる。ディスプレイデバイスは、視覚情報を与えるディスプレイデバイスを含むことができ、この情報は、典型的には、論理的におよび／または物理的に画素のアレイとして編成され得る。入力および出力インターフェースを提供するための様々な周知のまたは将来のソフトウェアプログラムのいずれかを備えることができるインターフェースコントローラを含むこともできる。例えば、インターフェースは、１つまたは複数のグラフィカル表現をユーザに提供する、一般に「グラフィカルユーザインターフェース」と称される（しばしばＧＵＩと称される）ものを含むことができる。インターフェースは、典型的には、関連技術分野の当業者に周知の選択または入力の手段を使用してユーザ入力を受けることが有効とされる。インターフェースは、タッチスクリーンデバイスでもよい。同じまたは代替実施形態において、電子処理デバイスの適用例は、「コマンドラインインターフェース」と称される（しばしばＣＬＩと称される）ものを含むインターフェースを採用することができる。ＣＬＩは、典型的には、アプリケーションとユーザとの間のテキストベースの相互作用を提供する。典型的には、コマンドラインインターフェースは、ディスプレイデバイスを通じてテキストのラインとして出力を提供し、入力を受け取る。例えば、いくつかの実装形態は、関連技術分野の当業者には周知のＵｎｉｘ  Ｓｈｅｌｌ、またはＭｉｃｒｏｓｏｆｔ  ．ＮＥＴ  ｆｒａｍｅｗｏｒｋなどのオブジェクト指向の種類のプログラミングアーキテクチャを採用したＭｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ  Ｐｏｗｅｒｓｈｅｌｌなどの「シェル」と称されるものを含むことができる。
【００６８】
[75]インターフェースは１つまたは複数のＧＵＩ、ＣＬＩまたはそれらの組合せを含むことができることを関連技術分野の当業者は理解するであろう。
[76]プロセッサは、Ｉｎｔｅｌ  Ｃｏｒｐｏｒａｔｉｏｎによって製作されたＣｅｌｅｒｏｎ、Ｃｏｒｅ、もしくはＰｅｎｔｉｕｍプロセッサ、Ｓｕｎ  Ｍｉｃｒｏｓｙｓｔｅｍｓによって製作されたＳＰＡＲＣプロセッサ、ＡＭＤ  Ｃｏｒｐｏｒａｔｉｏｎによって製作されたＡｔｈｌｏｎ、Ｓｅｍｐｒｏｎ、Ｐｈｅｎｏｍ、もしくはＯｐｔｅｒｏｎプロセッサなどの市販のプロセッサを含むことができ、またはプロセッサは、入手可能である、もしくは入手可能となる他のプロセッサの１つであり得る。プロセッサのいくつかの実施形態は、マルチコアプロセッサと称されるものを含むことができ、および／または単一コアもしくはマルチコア構成の並列処理技術を採用することが有効にされ得る。例えば、マルチコアアーキテクチャは、典型的には、２つ以上のプロセッサ「実行コア」を備える。本例では、各実行コアは、マルチスレッドの並列実行を可能にする独立プロセッサとして実施することができる。さらに、プロセッサは一般に３２ビットまたは６４ビットアーキテクチャと称されるもので、または現在周知のもしくは将来開発される他のアーキテクチャ構成で構成することができることを関連技術分野の当業者は理解するであろう。
【００６９】
[77]プロセッサは、典型的には、オペレーティングシステムを実行するが、オペレーティングシステムは、例えば、Ｍｉｃｒｏｓｏｆｔ  ＣｏｒｐｏｒａｔｉｏｎのＷｉｎｄｏｗｓの種類のオペレーティングシステム、Ａｐｐｌｅ  Ｃｏｍｐｕｔｅｒ  Ｃｏｒｐ．のＭａｃ  ＯＳ  Ｘオペレーティングシステム、多くのベンダーから入手可能なＵｎｉｘまたはＬｉｎｕｘ（登録商標）の種類のオペレーティングシステムまたはオープンソースと称されるもの、別のもしくは将来のオペレーティングシステム、またはそれらのいくつかの組合せであり得る。オペレーティングシステムは、よく知られたやり方でファームウェアおよびハードウェアとインターフェースし、プロセッサが様々なプログラミング言語で書くことができる様々なプログラムの機能を調整し実行するのを容易にする。オペレーティングシステムは、典型的には、プロセッサと協働して、電子処理デバイスの他の構成要素の機能を調整し実行する。オペレーティングシステムは、スケジューリング、入出力制御、ファイルおよびデータ管理、メモリ管理、ならびに通信制御および関連サービスも、すべて周知の技法により、提供する。
【００７０】
[78]システムメモリは、所望の情報を記憶するのに使用することができ、電子処理デバイスによってアクセスすることができる、様々な周知のまたは将来のメモリ記憶デバイスのいずれかを含むことができる。デジタル記憶媒体は、デジタルで符号化された命令、データ構造、プログラムモジュール、または他のデータなど、情報の記憶のための任意の方法または技術で実装される揮発性および不揮発性、取り外し可能および非取り外し可能媒体を含むことができる。例には、任意の一般に入手可能なランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電子的に消去可能プログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、常駐ハードディスクまたはテープなどの磁気媒体、読み出し書き込みコンパクトディスクなどの光媒体、または他のメモリ記憶デバイスが含まれる。メモリ記憶デバイスは、コンパクトディスクドライブ、テープドライブ、取り外し可能ハードディスクドライブ、ＵＳＢもしくはフラッシュドライブ、またはディスケットドライブを含む、様々な周知のまたは将来のデバイスのいずれかを含むことができる。そのような種類のメモリ記憶デバイスは、典型的には、それぞれコンパクトディスク、磁気テープ、取り外し可能ハードディスク、ＵＳＢもしくはフラッシュドライブ、またはフロッピーディスケットなどのプログラム記憶媒体から読み出しおよび／またはプログラム記憶媒体に書き込む。これらのプログラム記憶媒体または現在使用されているもしくは後で開発され得る他のもののうちのいずれかをプログラム製品とみなすことができる。理解されるように、これらのプログラム記憶媒体は、典型的には、ソフトウェアプログラムおよび／またはデータを記憶する。ソフトウェアプログラムは、制御論理とも呼ばれるが、典型的には、メモリ記憶デバイスと連動して使用されるシステムメモリおよび／またはプログラム記憶デバイスに記憶される。いくつかの実施形態において、中に記憶された制御論理（プログラムコードを含むソフトウェアプログラム）を有するデジタル記憶媒体を備えるプログラム製品が説明される。制御論理は、プロセッサによって実行されたとき、本明細書に説明する機能をプロセッサに実施させる。他の実施形態において、いくつかの機能は、例えば、ハードウェア状態マシンを使用して主にハードウェアで実装される。本明細書に説明する機能を実施するためのハードウェア状態マシンの実装形態は、当該技術分野の当業者には明らかであろう。入出力コントローラは、人間であるかマシンであるかにかかわらず、局部であるか遠隔であるかにかかわらず、ユーザからの情報を受けて処理するための様々な周知のデバイスのいずれかを含み得る。そのようなデバイスは、例えば、モデムカード、ワイヤレスカード、ネットワークインターフェースカード、サウンドカード、または様々な周知の入力デバイスのためのいずれかの他の種類のコントローラを含む。出力コントローラは、人間であるかマシンであるかにかかわらず、局部であるか遠隔であるかにかかわらず、情報をユーザに提示するための様々な周知のディスプレイデバイスのいずれかのコントローラを含み得る。現在説明する実施形態において、電子��理デバイスの機能要素は、システムバスを介して互いに通信する。電子処理デバイスのいくつかの実施形態は、ネットワークまたは他の種類の遠隔通信を使用していくつかの機能要素と通信することができる。当該技術分野の当業者には明らかであるように、測定器制御および／またはデータ処理アプリケーションは、ソフトウェアで実装された場合、システムメモリおよび／またはメモリ記憶デバイスに読み込み、システムメモリおよび／またはメモリ記憶デバイスから実行することができる。測定器制御および／またはデータ処理アプリケーションの全部または部分は、読み出し専用メモリまたはメモリ記憶デバイスの同様のデバイスに常駐することもできるが、そのようなデバイスは、測定器制御および／またはデータ処理アプリケーションがまず入出力コントローラを通じて読み込まれることを必要としないものである。測定器制御および／またはデータ処理アプリケーションまたはそれの部分は、周知のやり方で実行に有利なようにシステムメモリまたはキャッシュメモリまたは両方に、プロセッサによって読み込むことができることを当該技術分野の当業者には理解されよう。また、電子処理デバイスは、システムメモリに記憶された１つまたは複数のライブラリファイル、実験データファイル、およびインターネットクライアントを含むことができる。例えば、実験データは、検出された信号値または１つまたは複数の合成によるシーケンシング（ＳＢＳ）実験またはプロセスに関連付けられた他の値など、１つまたは複数の実験またはアッセイに関連したデータを含み得る。さらに、インターネットクライアントは、ネットワークを使用して、別の電子処理デバイス上の遠隔サービスにアクセスすることが有効なアプリケーションを含むことができ、例えば、一般に「ウェブブラウザ」と称されるものを備えることができる。本例では、いくつかの一般に採用されるウェブブラウザは、Ｍｉｃｒｏｓｏｆｔ  Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＭｉｃｒｏｓｏｆｔ  Ｉｎｔｅｒｎｅｔ  Ｅｘｐｌｏｒｅｒ、Ｍｏｚｉｌｌａ  ＣｏｒｐｏｒａｔｉｏｎからのＭｏｚｉｌｌａ  Ｆｉｒｅｆｏｘ、Ａｐｐｌｅ  Ｃｏｍｐｕｔｅｒ  Ｃｏｒｐ．からのＳａｆａｒｉ、Ｇｏｏｇｌｅ  ＣｏｒｐｏｒａｔｉｏｎからのＧｏｏｇｌｅ  Ｃｈｒｏｍｅ、または当技術分野で現在周知のまたは将来開発される他の種類のウェブブラウザを含む。また、同じまたは他の実施形態において、インターネットクライアントは、生物学的用途のデータ処理アプリケーションなど、ネットワークを介して遠隔情報にアクセスすることが有効な専用ソフトウェアアプリケーションを含むことができる、または専用ソフトウェアアプリケーションの要素であり得る。
【００７１】
[79]ネットワークは、当技術分野の当業者にはよく知られた、多くの様々な種類のネットワークのうちの１つまたは複数を含むことができる。例えば、ネットワークは、通信するために、一般にＴＣＰ／ＩＰプロトコル群と称されるものを採用することができる、ローカルまたはワイドエリアネットワークを含むことができる。ネットワークは、一般にインターネットと称される、相互接続されたネットワークの全世界システムを備えたネットワークを含むことができ、または様々なイントラネットアーキテクチャも含み得る。ネットワーク環境におけるユーザの中には、ハードウェアおよび／またはソフトウェアシステムとの情報トラフィックを制御するために、一般に「ファイアウォール」と称される（パケットフィルタまたは境界保護デバイスと称されることもある）ものを採用することを選ぶことができるものがいることを関連技術分野の当業者はやはり理解するであろう。例えば、ファイアウォールは、ハードウェアもしくはソフトウェア要素またはそれらのいくつかの組合せを備えることができ、典型的には、例えば、ネットワーク管理者などのユーザによって導入されるセキュリティポリシーを実施するように設計される。
【００７２】
[80]図７は、例えば、上記のように、本開示による、組織解析システム７００の実施形態を概略的に示す。
[81]例示する実施形態において、組織解析システム７００は、画像領域識別子モジュール７１０と、画像領域分類子モジュール７２０と、データベース変更子モジュール７３０と、画像領域再分類子モジュールと、任意選択の組織イメージングデバイス７５０と、任意選択のデータ記憶システム７６０と、任意選択の組織染色デバイス７７０と、複数の通信リンク７８１（読みやすさのために、通信リンクのうちの１つだけが参照符号を有する）を備えた通信バス７８０とを備える。通信バス７８０および通信リンク７８１は、前述の構成要素７１０〜７７０を通信可能に相互接続する。
【００７３】
[82]図７ａは、図７に示す画像領域分類子モジュール７２０の詳細を概略的に示す。
[83]例示する実施形態において、画像領域分類子モジュール７２０は、任意選択のサポートベクタマシン７２２ならびに任意選択の画像チャネル抽出器７２４を備える。サポートベクタマシン７２２および画像チャネル抽出器７２４のいずれかは、互いに、および通信バス７８０および通信リンク７８１を介して前述の構成要素７１０〜７７０のいずれかに通信可能に相互接続することができる。
【００７４】
[84]図８は、例えば、上記のように、本開示による、組織解析方法の実施形態の流れ図８００を概略的に示す。
[85]例示する実施形態において、流れ図８００は、組織標本を染色する任意選択のステップ８１０と、（染色された）組織標本を画像化する任意選択のステップ８２０と、画像データを受け取るステップ８３０と、画像領域データを生成するステップ８４０と、画像領域を分類するステップ８５０と、信頼スコアを決定するステップ８６０と、データベースの変更を実施するステップ８７０と、画像領域を再分類するステップ８８０と、再分類された組織の種類を出力するステップ８９０とを含む。
【００７５】
[86]図８ａは図８に示すステップ８６０の詳細を概略的に示す。
[87]例示する実施形態において、ステップ８６０は、サポートベクタマシンの動作を実施する任意選択のステップ８６２を含む。
【００７６】
[88]図８ｂは、図８に示すステップ８８０の詳細を概略的に示す。
[89]例示する実施形態において、ステップ８８０は、データを重み付けする任意選択のステップ８８２を含む。
【００７７】
[90]図８ｃは、図８に示すステップ８５０の実施形態を概略的に示す。
[91]例示する実施形態において、ステップ８５０は、少なくとも１つの特徴を画像領域から抽出する任意選択のステップ８５４を含む。
【００７８】
[92]図８ｄは、図８に示すステップ８５０の実施形態を概略的に示す。
[93]例示する実施形態において、ステップ８５０は、画像領域を構成要素チャネルに分離する任意選択のステップ８５２と、少なくとも１つの特徴を画像領域から抽出する任意選択のステップ８５４とを含む。
【００７９】
[94]本開示において、「することができる（ｍａｙ）」という動詞は、任意選択性／非強制を指定するのに使用される。言い換えれば、「することができる（ｍａｙ）」はすることができ、する必要がないものである。本開示において、「備える（ｃｏｍｐｒｉｓｅ）」という動詞は、含むの意味で理解することができる。したがって、「備える（ｃｏｍｐｒｉｓｅ）」という動詞は、他の要素／動作の存在を除外しない。本開示において、「第１の（ｆｉｒｓｔ）」、「第２の（ｓｅｃｏｎｄ）」、「最上位の（ｔｏｐ）」、「最下位の（ｂｏｔｔｏｍ）」などの関係語は、必ずしも任意の実際のそのような関係または順序をそのような実体または動作間に必要とすることなくまたは暗示することなく１つの実体または動作を別の実体または動作と区別することだけに使用することができる。
【００８０】
[95]本開示において、「任意の（ａｎｙ）」という用語は、それぞれの要素のうちの任意の数を指定するものとして、例えば、それぞれの要素のうちの１つ、少なくとも１つ、少なくとも２つ、各々または全部を指定するものとして理解することができる。同様に、「任意の（ａｎｙ）」という用語は、それぞれの要素の任意の集合を指定するものとして、例えば、それぞれの要素の１つまたは複数の集合、それぞれの要素のうちの１つ、少なくとも１つ、少なくとも２つ、各々もしくは全部を含む集合を指定するものとして理解することができる。それぞれの集合は、要素のうちの同じ数を含む必要はない。
【００８１】
[96]本開示において、「少なくとも１つ（ａｔ  ｌｅａｓｔ  ｏｎｅ）」という表現は、任意の（整数）数または（整数）数の範囲（所与の文脈において技術的に妥当である）を指定するのに使用される。したがって、「少なくとも１つ（ａｔ  ｌｅａｓｔ  ｏｎｅ）」という表現は、とりわけ、１つ、２つ、３つ、４つ、５つ、１０、１５、２０または１００として理解することができる。同様に、「少なくとも１つ（ａｔ  ｌｅａｓｔ  ｏｎｅ）」という表現は、とりわけ、「１つまたは複数（ｏｎｅ  ｏｒ  ｍｏｒｅ）」「２つ以上（ｔｗｏ  ｏｒ  ｍｏｒｅ）」または「５つ以上（ｆｉｖｅ  ｏｒ  ｍｏｒｅ）」として理解することができる。
【００８２】
[97]本開示において、かっこ内の表現は、任意選択として理解することができる。本開示では、引用符は引用符内の表現を比喩的な意味で理解することもできることを強調することができる。本開示では、引用符は論議中の特定の表現を識別することができる。
【００８３】
[98]本開示において、例えば、「できる（ｍａｙ）」という動詞の使用またはかっこの使用を通じて、多くの特徴が任意選択であるものとして説明される。簡潔さおよび読みやすさのために、本開示は、明示的に、任意選択の特徴の組から選択することによって取得することができる各々のおよびあらゆる置き換えを列挙しない。しかし、本開示は、すべてのそのような置き換えを明示的に開示すると解釈するものとする。例えば、３つの任意選択の特徴を有するものとして説明されたシステムは、７つの異なるやり方で、すなわち、３つの可能な特徴のうちの１つだけにより、３つの可能な特徴のうちの任意の２つにより、または３つの可能な特徴のすべての３つにより、具現化することができる。
【００８４】
さらに、本開示の代表的な実施形態を説明する際に、本明細書は、本発明の方法および／またはプロセスを特定のステップの配列として提示してきた可能性がある。しかし、方法またはプロセスが本明細書に記載した特定のステップの順序を利用しない限りにおいて、方法またはプロセスは、説明したステップの特定の配列に限定されてはならない。当技術分野の当業者が理解するように、ステップの他の配列が可能であり得る。したがって、本明細書に記載された特定のステップの順序は、特許請求の範囲に対する限定とみなしてはならない。さらに、本開示の方法および／またはプロセスを対象にした特許請求の範囲は、記載された順序でそれらのステップの性能に限定されてはならず、配列は変えることができ、それでも本開示の精神および範囲内にとどまることができることを当技術分野の当業者は容易に理解することができる。
【図１】
0006588444.tif 000007
【図２Ａ】
0006588444.tif 000008
【図２Ｂ】
0006588444.tif 000009
【図２Ｃ】
0006588444.tif 000010
【図３Ａ−Ｔ】
0006588444.tif 000011
【図４】
0006588444.tif 000012
【図５Ａ−Ｄ】
0006588444.tif 000013
【図６】
0006588444.tif 000014
【図７】
0006588444.tif 000015
【図７ａ】
0006588444.tif 000016
【図８】
0006588444.tif 000017
【図８ａ】
0006588444.tif 000018
【図８ｂ】
0006588444.tif 000019
【図８ｃ】
0006588444.tif 000020
【図８ｄ】
0006588444.tif 000021