(57)【特許請求の範囲】
【請求項１】
１つ又は複数のプロセッサ及び少なくとも１つのメモリを備える、ＰＤ−Ｌ１バイオマーカの存在に関するＩＨＣアッセイで染色された組織標本の画像（１１０）内の細胞を分類するためのコンピュータシステム（１４）であって、前記少なくとも１つのメモリが、前記１つ又は複数のプロセッサによる実行のための非一時的コンピュータ可読命令であって、前記１つ又は複数のプロセッサに、
核特徴メトリクスを計算させ（１１１）、特徴メトリクスは、１つ又は複数の特徴から導出されて特定の特徴の定量特性を示す数値データ値であり、前記核特徴メトリクスは、細胞核内の特徴から導出される特徴メトリクス又は前記組織標本の前記画像中の核を識別するのに用いられる核ブロブを取り囲むピクセルから導出される特徴メトリクスであり、対象の核の前記核特徴メトリクスは前記核自体の出現もしくは該核を含む細胞及び領域を記述し、又は該細胞に直接隣接する領域を記述し、
前記組織標本の前記画像内の対象の核の文脈情報メトリクスを計算させ（１１２）、前記文脈情報メトリクスは、（ｉ）対象の核の隣接する核を記述するデータ及び（ｉｉ）前記対象の核を取り囲む画像テクスチャ特徴のうちの少なくとも１つから導出され、前記文脈情報メトリクスは、前記対象の核の局所組織文脈における細胞の出現を記述し、前記文脈情報メトリクスは、共起行列により計算されるＨａｒａｌｉｃｋ特徴を含み、前記共起行列は、前記画像中の２つの指定されたピクセル間の角度の関係及び距離の両方の関数であり、前記共起行列は、前記画像の２つの異なる画像チャネル（Ｃｉ；Ｃｊ）におけるピクセル強度の共起から生成される色共起行列（ＣＣＭ）であり、前記共起行列は、前記異なるチャネルにおけるピクセル強度相関を捕獲し、
前記核特徴メトリクス及び文脈情報メトリクスに基づいて、前記組織標本の前記画像内の細胞を、ＰＤ−Ｌ１陽性免疫細胞、ＰＤ−Ｌ１陽性腫瘍細胞、ＰＤ−Ｌ１陰性免疫細胞及びＰＤ−Ｌ１陰性腫瘍細胞又は他の細胞のうちの少なくとも１つとして分類させる
ための非一時的コンピュータ可読命令を記憶するコンピュータシステム（１４）。
【請求項２】
前記角度は複数の所定の角度のうちの１つであり、前記共起行列は複数の所定の角度のうちの各々についてそれぞれ計算される複数の共起行列のうちの１つである、請求項１に記載のコンピュータシステム。
【請求項３】
前記核特徴が、形態学特徴、外観特徴及び背景特徴からなるグループから選択され、
外観特徴は、核を識別するために使用される核ブロブに含まれている、又は核ブロブを取り囲んでいるピクセルのピクセル強度値を比較することによって特定の核に対して計算された特徴であり、比較されるピクセル強度は、異なる画像チャネルから導出され、
背景特徴は、該背景特徴が前記画像から抽出された核を含む細胞の細胞質及び細胞膜に存在する外観及び／又は染色を示す特徴である、請求項１に記載のコンピュータシステム。
【請求項４】
前記核特徴が、局所総合染色強度を表す第１の画像チャネル、ＰＤ−Ｌ１バイオマーカの存在を示すＩＨＣラベルの強度を表す第２の画像チャネル、及び／又は細胞核の存在を示す局所対比染色強度を表す第３の画像チャネル上で計算される、請求項１から３のいずれか一項に記載のコンピュータシステム。
【請求項５】
前記画像テクスチャ特徴が、前記組織標本の前記画像中の対象の核を取り囲んでいる画像パッチから導出される、請求項１から４のいずれか一項に記載のコンピュータシステム。
【請求項６】
前記導出される画像テクスチャ特徴が、テクストンヒストグラム特徴、Ｇａｒｂｏｒ特徴、Ｈａｒａｌｉｃｋ特徴、強度特徴のヒストグラム、及び傾斜量及び傾斜配向特徴のヒストグラムからなるグループから選択される、請求項５に記載のコンピュータシステム。
【請求項７】
前記導出される画像テクスチャ特徴がテクストンヒストグラム特徴であり、
前記テクストンヒストグラム特徴が、テクストンの発生の頻度の分布であり、
テクストンヒストグラムが、特定のタイプのテクストンの数を示すグラフとして表され、前記テクストンヒストグラムが、前記テクストンの各々にそれぞれ割り当てられる前記画像パッチに含まれているピクセルの数を示す、請求項６に記載のコンピュータシステム。
【請求項８】
前記テクストンヒストグラム特徴が、（１）フィルタ応答画像であって、個々のフィルタ応答画像が１つ又は複数のフィルタ応答を含むフィルタ応答画像のリストを得るために、前記組織標本の前記画像に対して最大応答フィルタのバンクを適用すること、（２）前記フィルタ応答を前記フィルタ応答画像から前記テクストンにクラスタ化すること、（３）前記組織標本の前記画像中の個々のピクセルを前記テクストンのうちの１つに割り当てること、及び（４）前記対象の核の各々を取り囲んでいる前記画像パッチ中のすべてのピクセルから前記テクストンヒストグラムを計算することによって導出される、請求項７に記載のコンピュータシステム。
【請求項９】
前記導出される画像テクスチャ特徴が強度特徴のヒストグラムであり、強度特徴の前記ヒストグラムが、一次染色チャネル、対比染色チャネル、ＩＨＣ染色チャネル及び輝度チャネルからなるグループから選択される画像チャネルから導出される、請求項６から８のいずれか一項に記載のコンピュータシステム。
【請求項１０】
前記対象の核を取り囲んでいる前記画像パッチ内の強度ベース特徴を計算するために、異なる画像チャネルからの信号の差が解析され、前記強度ベース特徴が、例えば前記異なる画像チャネルの前記画像パッチ内のピクセル強度値から導出されるメトリック値を含む、請求項９に記載のコンピュータシステム。
【請求項１１】
前記導出される画像テクスチャ特徴がＨａｒａｌｉｃｋ特徴であり、前記Ｈａｒａｌｉｃｋ特徴が、前記画像パッチ中のピクセルとその指定された隣接ピクセルとの間の角関係に基づいて共起行列を計算するための命令を提供することによって導出される、請求項６から１０のいずれか一項に記載のコンピュータシステム。
【請求項１２】
前記組織標本の前記画像の前記細胞が、サポート・ベクター・マシンを使用して分類される、請求項１から１１のいずれか一項に記載のコンピュータシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
[001]本出願は、２０１５年４月８日に出願した米国仮特許出願第６２／１４４３６４号の出願日の利益、及び２０１４年１１月１０日に出願した米国仮特許出願第６２／０７７５３６号の利益を主張するものであり、これらの開示は、参照により本明細書に組み込まれている。
【背景技術】
【０００２】
[002]組織病理学画像から生物学的構造を自動で識別することは、デジタル病理学における中心的な課題である。多くの用途では、スライド組織の全体画像が与えられると、正常組織、腫瘍組織、壊死、リンパ管領域及び間質の中に出現する画像中の異なるタイプの細胞又は他の構造を識別することが必要になる。実際、標本中のこのような細胞又は構造の存在の定量評価は、癌を治療するために特定の化学療法薬品を選択するなど、特定の療法の影響を決定するために、しばしば必要とされる。例えばＰＤ−Ｌ１（Ｐｒｏｇｒａｍｍｅｄ  ｄｅａｔｈ−ｌｉｇａｎｄ  １：プログラム死リガンド１）を発現する腫瘍細胞は、ＰＤ−１／ＰＤ−Ｌ１経路の活性化を介して免疫応答を抑制するとされており、また、データによると、ＰＤ−Ｌ１腫瘍状態がＰＤ−１誘導療法（ｄｉｒｅｃｔｅｄ  ｔｈｅｒａｐｉｅｓ）及びＰＤ−Ｌ１誘導療法に対する応答の前兆であり得ることが示されている。したがってＰＤ−Ｌ１核分類及び定量化は、デジタル病理学における重要な仕事である。
【０００３】
[003]定量ＰＤ−Ｌ１組織分析には、タイプ（腫瘍、免疫、間質、等々）に応じた、又はＰＤ−Ｌ１染色に対する応答に応じた細胞又は核の検出及びラベル付けがしばしば必要である。ＰＤ−Ｌ１バイオマーカは、腫瘍細胞及び免疫細胞の膜の上に発現され得る。画像データの生物学的に意味のあるあらゆる自動分析は、第１にすべての細胞及び染色パターンを検出し、かつ、（１）ＰＤ−Ｌ１陽性免疫細胞、（２）ＰＤ−Ｌ１陽性腫瘍細胞、（３）ＰＤ−Ｌ１陰性免疫細胞（免疫組織化学（ＩＨＣ）染色を使用することなく、その核によって視認できる細胞）、（４）ＰＤ−Ｌ１陰性腫瘍細胞（ＰＤ−Ｌ１染色を使用することなく、その核の出現によって識別される細胞）、（５）間質細胞、正常組織細胞、等々を含むあらゆる他の細胞、及び／又は（６）アーチファクト、背景染色、等々を含む、細胞を表さない染色のうちの１つとしてそれらを識別しなければならない。
【０００４】
[004]ＰＤ−Ｌ１の文脈においては、分析は、細胞及びそれらのＩＨＣ染色を検出するだけではなく、追加として、ＩＨＣ染色が存在する理由を決定し、かつ、分類しなければならない。例えば局所染色の吸収は、ＰＤ−Ｌ１陽性腫瘍細胞、ＰＤ−Ｌ１陽性免疫細胞又は非標的人工染色によって引き起こされ得る。さらに、免疫細胞及び腫瘍細胞は、閉空間近辺で、互いに接触しているＰＤ−Ｌ１陽性及び陰性細胞と共に存在し得る。実際、単一の細胞を適切に識別するためには、細胞の核及び可能な膜の染色の外観が、複数の細胞、それらの外観、及びそれらの局所近辺における染色パターンと共に評価されなければならない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
[005]高倍率におけるスライド画像全体のサイズが大きく、また、処理されるべきデータが大量であるため、病理学者による画像の評価は問題である。実際、スライド組織画像全体に存在する細胞又は細胞核の数は、典型的には１０４程度になり、実行不可能ではないにしても、病理学者によるこのような仕事の手動での実施を困難にしている。したがってそれ自体の出現及びその局所組織文脈における細胞の出現に基づいて個々の細胞又は細胞核を識別することができる自動定量アッセイを開発することが望ましい。
【課題を解決するための手段】
【０００６】
[006]本開示の一態様では、１つ又は複数のプロセッサ及び少なくとも１つのメモリを備える、ＰＤ−Ｌ１バイオマーカの存在に関するＩＨＣアッセイで染色された組織標本の画像内の細胞を分類するためのコンピュータシステムに関し、少なくとも１つのメモリは、１つ又は複数のプロセッサによる実行のための非一時的コンピュータ可読命令であって、その１つ又は複数のプロセッサに、組織標本の画像中の細胞核内の特徴から導出される核特徴メトリクスを計算させ、組織標本の画像内の対象の（ｏｆ  ｉｎｔｅｒｅｓｔ）核の文脈情報メトリクスを計算させ、また、核特徴メトリクス及び文脈情報メトリクスに基づいて、組織標本の画像内の細胞を、陽性免疫細胞、陽性腫瘍細胞、陰性免疫細胞及び陰性腫瘍細胞又は他の細胞のうちの少なくとも１つとして分類させるための非一時的コンピュータ可読命令を記憶する。
【０００７】
[007]いくつかの実施形態では、核特徴は、形態学特徴、外観特徴及び背景特徴からなるグループから選択される。いくつかの実施形態では、核特徴は、局所総合染色強度、ＰＤ−Ｌ１バイオマーカの存在を示すＩＨＣラベルの強度、及び細胞核の存在を示す局所対比染色強度を表す画像チャネル上で計算される。
【０００８】
[008]いくつかの実施形態では、文脈情報メトリクスは、（ｉ）隣接する核を記述しているデータ、及び（ｉｉ）対象の核を取り囲んでいる画像テクスチャ特徴のうちの少なくとも１つから導出される（対象の核のために）。
【０００９】
[009]いくつかの実施形態では、画像テクスチャ特徴は、組織標本の画像中の対象の核を取り囲んでいる画像パッチから導出される。いくつかの実施形態では、導出される画像テクスチャ特徴は、テクストン（ｔｅｘｔｏｎ）ヒストグラム特徴、Ｇａｒｂｏｒ特徴、Ｈａｒａｌｉｃｋ特徴、強度特徴のヒストグラム、及び傾斜量（ｇｒａｄｉｅｎｔ  ｍａｇｎｉｔｕｄｅ）及び傾斜配向特徴のヒストグラムからなるグループから選択される。
【００１０】
本明細書において使用されている「隣接する核」は、例えば画像内の対象の核から定義済みの最大距離以内に存在する核である。
「画像テクスチャ特徴」は、例えば画像解析機能によって計算される特性値又はメトリクスであり、画像領域のテクスチャを定量化する。画像テクスチャ特徴は、画像中又は画像の選択された領域の色又は強度の空間配置に関する情報を提供する。
【００１１】
本明細書において使用されている「強度特徴のヒストグラム」は、例えば画像又は画像チャネルの強度値の発生頻度の分布である。例えばヒストグラムは、その画像中に見出される個々の異なる強度値における画像中のピクセルの数を示すグラフとして表され得る。
【００１２】
「テクストン」は、例えばピクセルブロブ（ｂｌｏｂ）、又は基準ピクセルから最大距離未満の離れた位置に存在する一組のピクセルの一組の１つ又は複数の属性であり、それにより前記属性が観察されているか、又は画像内で反復性であることが期待される。例えばテクストンは、配向された線形フィルタ出力の頻繁に共起（ｃｏ−ｏｃｃｕｒ）する組合せであってもよい。ピクセルブロブは、例えば核を含む細胞内に存在するものとして識別される核ブロブ又はピクセル領域であってもよい。基準ピクセルは、例えば核中心又は細胞中心あるいは細胞膜であってもよい。したがって「テクストン」は、「視覚語」、例えば特定のサイズ又は寸法の楕円、特定の平均強度値の円、特定の強度分布又はパターンを有するピクセルブロブ、等々と見なされ得る。
【００１３】
「テクストンヒストグラム特徴」は、例えば画像中又は特定の画像チャネル中で識別されるテクストン（「視覚語」）の発生頻度の分布である。例えばテクストンヒストグラムは、特定のタイプのテクストンの数を示すグラフとして表され得る。例えば軸ａ１．１及びａ１．２を有する「楕円体１」、軸ａ２．１及びａ２．２を有する「楕円体２」、及び直径ｄ１及び強度値範囲＝［０９−１１０］を有する「円１」の３つのタイプのテクストンは、画像から抽出され得る。テクストンヒストグラム特徴は、テクストン「楕円体１」が７９回見出され、テクストン「楕円体２」が画像中で１１２４回見出されたこと、また、「円１」が画像中で３４回見出されたことを示すヒストグラムであり得る。
【００１４】
[0010]本明細書において使用されている「傾斜」は、例えば、前記特定のピクセルを取り囲んでいる一組のピクセルの強度値傾斜を考慮することによって特定のピクセルに対して計算されたピクセルの強度傾斜である。個々の傾斜は、ｘ軸及びｙ軸がデジタル画像の２つの直交縁によって画定される座標系に対する特定の「配向」を有し得る。「傾斜配向特徴」は、前記座標系内の傾斜の配向を示すデータ値であり得る。
【００１５】
[0011]「陽性腫瘍細胞」又は「ＰＤ−Ｌ１陽性腫瘍細胞」は、腫瘍細胞として識別された細胞であり、支配的にＰＤ−Ｌ１バイオマーカを発現する。「陰性腫瘍細胞」又は「ＰＤ−Ｌ１陰性腫瘍細胞」は、腫瘍細胞として識別された細胞であり、ＰＤ−Ｌ１バイオマーカをごく弱く発現するか、又は全く発現しない。「支配的に」は、例えば染色されたＰＤ−Ｌ１バイオマーカから放出される光信号を識別するために使用される色チャネルのピクセル強度が所与の閾値強度より強いことを意味することができ、また、「弱い発現」は、例えば染色されたＰＤ−Ｌ１バイオマーカから放出される光信号を識別するために使用される色チャネルのピクセル強度が所与の閾値強度より弱いことを意味することができる。ＰＤ−Ｌ１染色によって生じる信号の強度は、腫瘍細胞又は非腫瘍細胞としての細胞の分類に対する影響を有する１つの特徴であり得るが、追加特徴も同じく評価され、したがって分類は、腫瘍細胞として分類されたＰＤ−Ｌ１陽性細胞、並びに非腫瘍細胞として分類されたＰＤ−Ｌ１陽性細胞をもたらし得る。「陰性リンパ球」又は「ＰＤ−Ｌ１陰性リンパ球」は、ＰＤ−Ｌ１バイオマーカをごく弱く発現するか、又は全く表さないリンパ球細胞として分類された細胞である。「陽性リンパ球」又は「ＰＤ−Ｌ１陽性リンパ球」は、腫瘍細胞として識別されたリンパ球であり、支配的にＰＤ−Ｌ１バイオマーカを発現する。
【００１６】
[0012]「前景分割マスク」は、例えば、他のピクセル（「背景」を構成している）からの１つ又は複数のピクセルブロブ（「前景ピクセル」として使用される）の分割を可能にする分割アルゴリズムによって生成される画像マスクである。例えば前景分割マスクは、核分割アルゴリズムによって生成されることが可能であり、また、組織切片を描写している画像上への前景分割マスクの適用は、画像中の核ブロブの識別を可能にし得る。
【００１７】
[0013]いくつかの実施形態では、導出される画像テクスチャ特徴は、テクストンヒストグラム特徴である。いくつかの実施形態では、テクストンヒストグラム特徴は、（１）フィルタ応答画像のリストを得るために、組織標本の画像に対して最大応答フィルタのバンクを適用すること、（２）フィルタ応答をフィルタ応答画像からテクストンにクラスタ化すること、（３）組織標本の画像中の個々のピクセルをテクストンのうちの１つに割り当てること、及び（４）対象の核を取り囲んでいる画像パッチ中のすべてのピクセルからテクストンヒストグラムを計算することによって導出される。いくつかの実施形態では、導出される画像テクスチャ特徴は強度特徴のヒストグラムであり、強度特徴のヒストグラムは、一次染色チャネル、対比染色チャネル、ＩＨＣ染色チャネル（例えばＰＤＬ１の存在を示すチャネル）及び輝度チャネルからなるグループから選択される画像チャネルから導出される。いくつかの実施形態では、対象の核を取り囲んでいる画像パッチ内の強度ベース特徴を計算するために、異なる画像チャネルからの信号の差が解析される。
【００１８】
[0014]「フィルタバンク」は、２つ以上のフィルタの集合である。例えばフィルタバンクは、エッジフィルタ、バーフィルタ及びスポットフィルタの混合を複数のスケール及び配向、並びに異なる位相で備えることができ、例えばＧａｕｓｓフィルタのＬａｐｌａｃｅ演算子及びＧａｕｓｓフィルタを備えることができる。回転不変フィルタセット並びに回転変化フィルタセットが存在している。４８個のフィルタを有する多重スケール多重配向フィルタバンクの一例は、Ｌｅｕｎｇ−Ｍａｌｉｋ（ＬＭ）Ｆｉｌｔｅｒ  Ｂａｎｋである。画像は、しばしば、強度の無作為変化によって、又は乏しいコントラストを有することによって害われる。１つ又は複数のフィルタリングされた画像を得るための画像上へのフィルタの適用は、ピクセル強度値を微分データ値に変換するために実施されることが可能であり、微分データ値は、関連する画像特性、例えば特定のテクスチャを表す画像特性を明らかにし、及び／又はより良好なコントラストを有する。
【００１９】
[0015]本発明の実施形態には、「最大応答」（ＭＲ）フィルタを備えるフィルタバンクが優先的に使用される。最大応答フィルタバンクは、特定のタイプの少なくとも１つのフィルタの複数のコピーを備えるフィルタバンクであり、個々のコピーは別様に配向される。前記特定のフィルタの複数のコピーを画像又は画像領域のピクセル強度に対して異なる回転角度で適用することにより、フィルタの適用が最大の信号を返した、前記異なる配向のうちの１つが識別される。したがってＭＲフィルタセットは、対象の特定の核に対する、特定のフィルタタイプが最大信号を返した角度の識別、及びさらなる解析のために前記特定のフィルタによって提供されるフィルタリングされた画像のみの考察を可能にし得る。別法としては、角度は、フィルタリング結果の回転不変性を達成する方法で、フィルタリングされた画像又は任意の微分データ値を画像から抽出された他の特徴に整列させるために使用され得る。したがってＭＲフィルタバンクの使用は、テクスチャ特徴メトリクスとして使用され得る配向に対するより高次の共起統計量の計算を可能にする最大応答の角度を記録することができるＭＲフィルタを含み得る。最大応答の角度を記録することができるＭＲフィルタバンクを使用することにより、回転した特徴を同じテクストンにマッピングすることによってより重要なテクストンを生成することができ、延いてはクラスタ化の間に考慮すべき特徴空間の寸法を低減することができる。
【００２０】
[0016]いくつかの実施形態では、導出される画像テクスチャ特徴はＨａｒａｌｉｃｋ特徴であり、Ｈａｒａｌｉｃｋ特徴は、画像パッチ中のピクセルとその指定された隣接ピクセルとの間の角関係に基づいて共起行列を計算することによって導出される。いくつかの実施形態では、隣接する核を記述しているデータは、クラスタ割当てのヒストグラムから導出される。いくつかの実施形態では、クラスタ割当てのヒストグラムは、（１）クラスタ中心を得るために、核特徴ベクトルに対してＫ平均アルゴリズムを適用することであって、例えばクラスタ中心は、クラスタ中心のクラスタに割り当てられたすべての核特徴ベクトルから導出される核特徴ベクトルであってもよい、核特徴ベクトルに対してＫ平均アルゴリズムを適用すること、（２）対象の特定の核の個々の隣接する核を最も近いクラスタ中心に割り当てること、及び（３）割当てに基づいてクラスタ割当てのヒストグラムを計算することによって導出される。クラスタ割当てのヒストグラムは、特定の画像又は画像領域に存在する核が特定のクラスタに割り当てられる数の多さを示すヒストグラムである。いくつかの実施形態では、（２ａ）個々の隣接する核の核特徴ベクトルから個々のクラスタの中心までのＥｕｃｌｉｄｅａｎ距離を測定し、かつ、（２ｂ）個々の隣接する核を、その中心がその核の核特徴ベクトルに最も近いクラスタに割り当てるための命令が実行される。いくつかの実施形態では、対象の特定の核の個々の隣接する核の最も近いクラスタ中心への割当ては、反復して繰り返され、それにより洗練された（ｒｅｆｉｎｅｄ）クラスタ中心を提供するためにクラスタ中心が再計算される２つのサブステップ２ａ、２ｂで実施され得る。いくつかの実施形態では、組織標本の画像の細胞は、サポート・ベクター・マシンを使用して分類される。いくつかの実施形態では、標本は肺組織標本である。
【００２１】
[0017]本開示の別の態様では、ＰＤ−Ｌ１バイオマーカの存在に関するＩＨＣアッセイで染色された組織標本の画像内の細胞を分類するコンピュータ実現方法であって、組織標本の画像内の核の特徴から核特徴メトリクスを計算するステップと、組織標本の画像内の対象の核に基づいて文脈情報メトリクスを計算するステップと、核特徴メトリクスと文脈情報メトリクスの組合せを使用して（分類器（ｃｌａｓｓｉｆｉｅｒ）の入力として）、組織標本の画像内の細胞を分類するステップとを含み、細胞は、陽性免疫細胞、陽性腫瘍細胞、陰性免疫細胞及び陰性腫瘍細胞又は他の細胞のうちの少なくとも１つとして分類される。いくつかの実施形態では、方法は、細胞内の個々の核を識別するための前景分割マスクを生成するステップをさらに含む。いくつかの実施形態では、核特徴は、形態学特徴、外観特徴及び背景特徴からなるグループから選択される。
【００２２】
[0018]いくつかの実施形態では、文脈情報メトリクスは、（ｉ）隣接する核を記述しているデータ、及び（ｉｉ）対象の核を取り囲んでいる画像テクスチャ特徴のうちの少なくとも１つから導出される。いくつかの実施形態では、方法は、対象の特定の核を取り囲んでいる画像パッチを生成するステップをさらに含み、画像テクスチャ特徴は、生成された画像パッチから導出される。いくつかの実施形態では、導出される、対象の核を取り囲んでいる画像テクスチャ特徴は、テクストンヒストグラム特徴、Ｇａｒｂｏｒ特徴、Ｈａｒａｌｉｃｋ特徴、強度特徴のヒストグラム、及び傾斜量及び傾斜配向特徴のヒストグラムからなるグループから選択される。いくつかの実施形態では、導出される画像テクスチャ特徴は、テクストンヒストグラム特徴である。いくつかの実施形態では、テクストンヒストグラム特徴は、（１）フィルタ応答画像のリストを得るために、組織標本の画像に対して最大応答フィルタのバンクを適用することであって、例えばフィルタバンクは、少なくとも１つのフィルタタイプの複数のコピーを備えることができ、個々のコピーは異なる配向を有し、個々のフィルタ応答画像は複数のフィルタ応答を含むことができ、それにより「フィルタ応答」は、特定の配向を有するフィルタのうちの１つを画像の特定のサブ領域に対して適用する結果であり、前記サブ領域のサイズは、適用されるフィルタによって決定することができ、フィルタ応答は、前記サブ領域内で識別されるエッジ又はブロブなどの前記サブ領域内のいくつかの特徴を表し、最大応答フィルタの「フィルタ応答」は、それらの配向のみが互いに異なる同じフィルタの複数のコピーを特定のサブ領域に対して適用する際に得られる最大フィルタ応答であり、最大フィルタ応答のみが得られ、かつ、さらに処理されるため、最大応答フィルタバンクを適用することによって得られるフィルタ応答は回転不変であり、フィルタ応答は、例えば画像又は画像サブ領域で識別されるエッジ又はブロブなどの１つ又は複数の特徴を表すか、又は示すことができ、フィルタ応答は、例えば畳込み及び／又は相関フィルタであってもよく、あるいはフィルタが適用された複数の画像ピクセルから導出された、重み付けされたデータ値であってもよい、組織標本の画像に対して最大応答フィルタのバンクを適用すること、（２）フィルタ応答をフィルタ応答画像からテクストンにクラスタ化することであって、例えば「フィルタ応答」は、特定のフィルタを特定の画像領域のピクセル強度値に対して適用することによって導出される一組のピクセルデータ値であってもよく、クラスタ化の間に識別されたクラスタ中心、あるいは前記クラスタ又はクラスタ中心から導出されたデータ値は、テクストンとして使用され得る、フィルタ応答をフィルタ応答画像からテクストンにクラスタ化すること、（３）組織標本の画像中の個々のピクセルをテクストンのうちの１つに割り当てること、及び（４）対象の核を取り囲んでいる画像パッチ中のすべてのピクセルからテクストンヒストグラムを計算するための命令を提供することによって導出される。
【００２３】
[0019]いくつかの実施形態では、導出される画像テクスチャ特徴は強度特徴のヒストグラムであり、強度特徴のヒストグラムは、一次染色チャネル、対比染色チャネル、ＩＨＣ染色チャネル（例えばＰＤＬ１の存在を示すチャネル）及び輝度チャネルからなるグループから選択される画像チャネルから計算される。例えば「輝度画像」は、白色光チャネルを介して受け取られる光スペクトル中のすべての波長からのデータを含むグレースケール画像である。いくつかの実施形態では、対象の核を取り囲んでいる画像パッチ内の強度ベース特徴を計算するために、異なる画像チャネルからの信号の差が捕獲される。いくつかの実施形態では、導出される画像テクスチャ特徴はＨａｒａｌｉｃｋ特徴であり、Ｈａｒａｌｉｃｋ特徴は、画像パッチ中のピクセルとその指定された隣接ピクセルとの間の角関係に基づいて共起行列を計算する命令を提供することによって導出される。
【００２４】
[0020]いくつかの実施形態では、隣接する核を記述しているデータは、クラスタ割当てのヒストグラムから導出される。いくつかの実施形態では、クラスタ割当てのヒストグラムは、（１）クラスタ中心を得るために、核特徴ベクトルに対してＫ平均アルゴリズムを適用することであって、例えば画像中で識別された個々の核（又は核ブロブ）がそれぞれの核特徴ベクトルによって表され、核特徴ベクトルが前記核の核特徴メトリクス及び文脈情報メトリクスを含み、Ｋ平均クラスタ化アルゴリズムの適用は、同様の核特徴ベクトルのクラスタ及びそれぞれのクラスタ中心を反復して識別することを含むことができ、クラスタ中心は、反復して洗練されることが可能である、核特徴ベクトルに対してＫ平均アルゴリズムを適用すること、（２）対象の特定の核の個々の隣接する核（それぞれの核特徴ベクトルによって表される）を最も近いクラスタ中心に割り当てること、及び（３）割当てに基づいてクラスタ割当てのヒストグラムを計算することによって導出される。したがって例えば「クラスタ割当てのヒストグラム」は、特定のクラスタに割り当てられる、対象の核の隣接する細胞の数を示す。
【００２５】
[0021]いくつかの実施形態では、方法は、（２ａ）個々の隣接する核の核特徴ベクトルから個々のクラスタの中心までのＥｕｃｌｉｄｅａｎ距離を測定するステップと、（２ｂ）個々の隣接する核を、その中心がその核の核特徴ベクトルに最も近いクラスタに割り当てるステップとをさらに含む。いくつかの実施形態では、組織標本の画像の細胞は、サポート・ベクター・マシンを使用して分類される。Ｅｕｃｌｉｄｅａｎ距離は、Ｅｕｃｌｉｄｅａｎ空間における２点間の「通常の」（すなわち直線）距離である。核特徴が非メトリックデータ値に関連している場合、このデータ値は、Ｅｕｃｌｉｄｅａｎ距離の計算を可能にするためにメトリック空間で表され得るメトリック値に変換され得る。追加又は別法として、追加距離関数を使用して、核特徴ベクトルの類似性（したがって個々に表された核の類似性）を決定するための基本である核特徴の距離が計算され得る。異なる核の核特徴メトリクスが類似していればいるほど、また、同様の核特徴の数が多ければ多いほど、２つの核特徴ベクトル及びそれぞれの核が同じクラスタ中心に割り当てられる可能性が高くなる。
【００２６】
[0022]本開示の別の態様は、本明細書において説明されるコンピュータシステム、及び画像化装置を備える細胞分析器である。
[0023]本開示の別の態様では、ＰＤ−Ｌ１発現のための腫瘍標本をスコアリング（ｓｃｏｒｉｎｇ）する方法であって、方法は、（ａ）コンピュータデバイス、細胞分析器、又は本明細書において説明される方法のうちの任意を使用して、腫瘍標本中の腫瘍細胞及び免疫細胞を識別するステップと、（ｂ）ＰＤ−Ｌ１を発現する腫瘍細胞及び免疫細胞の数、及び／又は前記細胞中のＰＤ−Ｌ１発現の相対強度を決定するステップと、（ｃ）（ｂ）で決定されたＰＤ−Ｌ１発現に従って腫瘍を類別するステップとを含む。いくつかの実施形態では、ＰＤ−Ｌ１の発現は、腫瘍中のＰＤ−Ｌ１タンパク質及び／又はＰＤ−Ｌ１  ｍＲＮＡを特異的に検出することによって決定される。いくつかの実施形態では、細胞は、ＩＨＣによって検出されたＰＤ−Ｌ１タンパク質の少なくとも部分膜染色を細胞が有している場合、ＰＤ−Ｌ１を発現していると見なされる。いくつかの実施形態では、腫瘍は、修正Ｈ−スコア（ｍｏｄｉｆｉｅｄ  Ｈ−ｓｃｏｒｅ）（ＭＨＳ）又は修正比率スコア（ｍｏｄｉｆｉｅｄ  ｐｒｏｐｏｒｔｉｏｎ  ｓｃｏｒｅ）（ＭＰＳ）のうちの一方又は両方に従って類別され、これらはいずれもステップ（ｂ）から計算される。
【００２７】
[0024]Ｈ−スコアは、例えば核免疫反応力の程度を評価する方法である。バイオマーカに応じて、Ｈ−スコア計算のための異なる手法が使用され得る。実例による例を与えるために、ステロイド受容体核に対するＨ−スコアは、０から３００の範囲を与える式、３×強く染色する核の百分率＋２×穏やかに染色する核の百分率＋弱く染色する核の百分率によって獲得され得る。
【００２８】
[0025]いくつかの実施形態では、ＭＨＳの割当ては、（ｉ）検査されたすべての腫瘍巣中の生存能力のある腫瘍細胞及び染色された単核炎症性細胞のすべてにわたる、染色を有さない細胞、弱い染色を有する細胞（＋１）、穏やかな染色を有する細胞（＋２）及び強い染色を有する細胞（＋３）に対する４つの個別の百分率を予測するステップであって、細胞は、弱い染色百分率、穏やかな染色百分率又は強い染色百分率に含まれる少なくとも部分膜染色を有していなければならず、また、すべての４つの百分率の合計が１００に等しいステップと、（ｉｉ）予測された百分率を１×（弱い染色細胞のパーセント）＋２×（穏やかな染色細胞のパーセント）＋３×（強い染色細胞のパーセント）の式に入力し、かつ、式の結果をＭＨＳとして組織切片に割り当てるステップとを含み、ＭＰＳの割当ては、検査されたすべての腫瘍巣中の生存能力のある腫瘍細胞及び単核炎症性細胞のすべてにわたる、任意の強度の少なくとも部分膜染色を有する細胞の百分率を予測するステップと、結果として得られた百分率をＭＰＳとして組織切片に割り当てるステップとを含み、ＭＨＳ及びＭＰＳの両方が割り当てられる場合、その割当ては、いずれかの順序で、又は同時になされ得る。
【００２９】
[0026]例えば「なし」、「弱い」、「穏やか」及び「強い」の４つのカテゴリが例えば非重畳強度閾値範囲として定義されることが可能であり、例えば細胞ピクセル領域は、平均強度値が５％未満である場合は「染色しない」細胞と見なされ、平均強度値が５％を超え、かつ２５％未満である場合は「弱い染色」を有する細胞と見なされ、平均強度値が２５％に等しいか、又はそれより大きく、かつ、７５％未満である場合は「穏やかな染色」を有する細胞と見なされ、また、平均強度値が７５％に等しいか、又はそれより大きい場合は「強い染色」を有する細胞と見なされ得る。
【００３０】
[0027]本開示のさらに別の態様では、ＩＨＣアッセイにおける抗ＰＤ−Ｌ１抗体で染色された腫瘍組織切片中のＰＤ−Ｌ１発現をスコアリングする方法である。いくつかの実施形態では、これらのスコアリングプロセスのスコアリング結果を使用して、例えばＰＤ−１アンタゴニストに対する被検体の応答を予測するための臨床試験における、また、癌患者を治療する方法における登録基準（ｅｎｒｏｌｌｍｅｎｔ  ｃｒｉｔｅｒｉａ）として、ＰＤ−１アンタゴニストで治療するための患者が選択され得る。
【００３１】
[0028]本開示の別の態様では、組織標本の画像内の細胞を分類し、及び／又は定量化するためのコンピュータデバイス又はシステムであって、１つ又は複数のプロセッサ及び少なくとも１つのメモリを備え、少なくとも１つのメモリは、１つ又は複数のプロセッサによる実行のための非一時的コンピュータ可読命令であって、その１つ又は複数のプロセッサに、組織標本の画像中の細胞又は細胞核を検出させ、組織標本の画像中の細胞核内の特徴から導出される核特徴メトリクスを計算させ、組織標本の画像内の対象の核の文脈情報メトリクスを計算させ、また、核特徴メトリクス及び文脈情報メトリクスに基づいて、画像内の細胞を分類させるための非一時的コンピュータ可読命令を記憶する。いくつかの実施形態では、組織標本は、ＰＤ−Ｌ１バイオマーカの存在のために染色されている。いくつかの実施形態では、組織標本は、ＰＤ−Ｌ１バイオマーカの存在のためにＩＨＣアッセイで染色されており、アッセイは、色素ラベル、化学発光ラベル又は蛍光ラベル、及び対比染色を含む。他の実施形態では、ＩＨＣアッセイは、ＰＤ−Ｌ１バイオマーカの存在を３，３’ジアミノベンジジンで染色し、また、対比染色としてヘマトキシリンを使用する。いくつかの実施形態では、細胞は、ＰＤ−Ｌ１陽性免疫細胞、ＰＤ−Ｌ１陽性腫瘍細胞、ＰＤ−Ｌ１陰性免疫細胞、ＰＤ−Ｌ１陰性腫瘍細胞又は他の細胞（ＰＤ−Ｌ１画像）として分類される。
【００３２】
[0029]本開示の別の態様では、組織標本の画像内の細胞を分類するコンピュータ実現方法であって、組織標本画像中の対象の細胞又は細胞核を検出するステップと、それらの出現及び染色アッセイに対する応答に基づいて、画像内の核から核特徴メトリクスを計算するステップと、画像内の核から文脈情報メトリクスを計算するステップと、核特徴メトリクスと文脈情報メトリクスの組合せを使用して画像内の核を分類するステップとを含む。「それらの出現及び染色アッセイに対する応答に基づいて」という表現は、前記核特徴に関する情報は、メトリック特徴値を計算するための入力として使用されることを暗に示し得る。いくつかの実施形態では、核特徴メトリクス及び文脈情報メトリクスは、特徴抽出モジュールを使用して計算される。いくつかの実施形態では、核は分類モジュールを使用して分類され、分類モジュールは、特徴抽出モジュールによって計算されたメトリクスを使用する。いくつかの実施形態では、組織標本は、ＰＤ−Ｌ１バイオマーカの存在のために染色されている。いくつかの実施形態では、組織標本は、ＰＤ−Ｌ１バイオマーカの存在のためにＩＨＣアッセイで染色されており、アッセイは、色素ラベル、化学発光ラベル又は蛍光ラベル、及び対比染色を含む。他の実施形態では、ＩＨＣアッセイは、ＰＤ−Ｌ１バイオマーカの存在を３，３’ジアミノベンジジンで染色し、また、対比染色としてヘマトキシリンを使用する。いくつかの実施形態では、細胞は、ＰＤ−Ｌ１陽性免疫細胞、ＰＤ−Ｌ１陽性腫瘍細胞、ＰＤ−Ｌ１陰性免疫細胞、ＰＤ−Ｌ１陰性腫瘍細胞又は他の細胞（ＰＤ−Ｌ１画像）として分類される。
【００３３】
[0030]本出願人は、現在開示されている方法は、従来技術による方法と比較すると優れた結果を提供することを示した。本出願人は、一組の従来の核特徴と組み合わせると、ＰＤ−Ｌ１染色画像中の核を分類するためには文脈情報が有用であることを示すために、広範囲に渡る実験評価を実施した。実際、文脈情報メトリクスを核メトリクスと共に使用すると、細胞が核メトリック特徴を使用して排他的に分類される従来技術と比較して核分類精度が改善される。また、本出願人は、核特徴メトリクスと組み合わせると、従来技術と比較してかなり優れた分類結果を提供する文脈情報メトリクスを導出するいくつかの方法を立証した。したがって本出願人は、ＰＤ−Ｌ１染色組織画像中の核の自動分類を可能にする方法であって、それ自体の出現（核特徴メトリクス）及びその局所組織文脈における細胞の出現（文脈情報メトリクス）に基づいて個々の核を識別する方法を開発した。ＰＤ−Ｌ１染色組織画像に対する精度は、ＰＤ−Ｌ１が細胞膜で同じく発現されるため、とりわけ高いことが分かっており、したがって核を取り囲んでいる領域に関する強度情報は、ＰＤ−Ｌ１陽性細胞及びＰＤ−Ｌ１陰性細胞への細胞の正確な分類を促進し得る。
【００３４】
[0031]特許ファイル又は出願ファイルは、カラーで実行された少なくとも１枚の図面を含む。カラー図面を有する本特許又は特許出願公開のコピーは、要求及び必要な手数料の支払いに応じて事務所に提供される。
【図面の簡単な説明】
【００３５】
【図１Ａ】[0032]開示される技術の実施形態による、標本を分析するためのコンピュータベースシステムを示す図である。
【図１Ｂ】[0033]コンピュータベースシステム及び方法で使用されるモジュールの概説を示すフローチャートである。
【図１Ｃ】[0034]核メトリクス及び文脈情報メトリクスに基づいて細胞を分類するステップの概説を示すフローチャートである。
【図２Ａ】[0035]ＰＤ−Ｌ１で染色された肺癌標本からの視野を示す図である。
【図２Ｂ】ＰＤ−Ｌ１で染色された肺癌標本からの視野を示す図である。
【図３】[0036]図３Ａは、四角の点で示された対象の異なる核の近辺領域を示す図である。図３Ｂは、四角の点で示された対象の異なる核の隣接する領域を示す図である。
【図４Ａ】[0037]画像パッチの例であって、円が重畳するパッチがＰＤ−Ｌ１に対して陽性の領域に対してのみ生成される画像パッチの例を示す図である。
【図４Ｂ】画像パッチの例であって、円が重畳するパッチがＰＤ−Ｌ１に対して陽性の領域に対してのみ生成される画像パッチの例を示す図である。
【図５Ａ】[0038]パッチ分類結果であって、赤が主として免疫細胞（ＩＣ）からの染色を示し、緑が主として腫瘍細胞（ＴＣ）からの染色を示し、また、黄が主として非標的からの染色を示すパッチ分類結果を示す図である。
【図５Ｂ】[0039]パッチ分類結果であって、円が主として免疫細胞（ＩＣ）からの染色を示し、正方形が主として腫瘍細胞（ＴＣ）からの染色を示し、また、黄が主として非標的からの染色を示すパッチ分類結果を示す図である。
【図６Ａ】[0040]文脈「語の多重集合（Ｂａｇ  ｏｆ  Ｗｏｒｄｓ）」方法を使用してテクスチャ特徴を計算するステップ方式による方法を示す図である。
【図６Ｂ】文脈「語の多重集合」方法を使用してテクスチャ特徴を計算するステップ方式による方法を示す図である。
【図６Ｃ】[0041]文脈−テクスチャ方法を使用して文脈情報を導出するステップを示すフローチャートである。
【図６Ｄ】[0042]文脈−テクストン方法を使用して文脈情報を導出するステップを示すフローチャートである。
【図７Ａ】[0043]ＰＤ−Ｌ１染色肺組織画像中の核の５つの等級を示す図である。
【図７Ｂ】ＰＤ−Ｌ１染色肺組織画像中の核の５つの等級を示す図である。
【図８】[0044]図８ａは、パラメータ選択に応じた文脈「語の多重集合」の精度を示す図である。図８ｂは、パラメータ選択に応じた文脈−ＣＲＦ方法の精度を示す図である。
【図９−１】[0045]分類結果の例を示す図である。
【図９−２】分類結果の例を示す図である。
【図１０】分類結果の例を示す図である。
【図１１Ａ】[0046]本明細書において説明される、提案されるスコアリング方法を使用して得られる例示的結果を示す図である。
【図１１Ｂ】本明細書において説明される、提案されるスコアリング方法を使用して得られる例示的結果を示す図である。
【図１１Ｃ】本明細書において説明される、提案されるスコアリング方法を使用して得られる例示的結果を示す図である。
【図１１Ｄ】本明細書において説明される、提案されるスコアリング方法を使用して得られる例示的結果を示す図である。
【発明を実施するための形態】
【００３６】
[0047]本明細書において使用されているように、単数形の表現には、複数ではないことを文脈が明確に示していない限り、複数指示を含む。同様に、「又は」という語には、「又は」ではないことを文脈が明確に示していない限り、「及び」を含むことが意図されている。
【００３７】
[0048]「備えている」、「含んでいる」、「有している」、等々という用語は交換可能に使用されており、同じ意味を有している。同様に、「備える」、「含む」、「有する」、等々も交換可能に使用されており、同じ意味を有している。詳細には、用語の各々は、「備えている」の共通の米国特許法定義と無矛盾に定義されており、したがって「少なくとも以下の」を意味する公開用語として解釈され、また、追加特徴、制限、態様、等々を排他しないものとして同じく解釈される。したがって例えば「構成要素ａ、ｂ及びｃを有しているデバイス」は、デバイスは少なくとも構成要素ａ、ｂ及びｃを含むことを意味している。同様に、「ステップａ、ｂ及びｃを含んでいる方法」という語句は、方法は少なくともステップａ、ｂ及びｃを含むことを意味している。さらに、ステップ及びプロセスは、本明細書においては特定の順序で概説されることがあるが、当業者は、ステップ及びプロセスの順序は変化し得ることを認識するであろう。
【００３８】
[0049]本開示は、組織画像中の細胞及び細胞核、例えばＰＤ−Ｌ１バイオマーカの存在のために染色された組織中の細胞及び細胞核の分類を補助するための文脈情報メトリクスの導出及び後続する使用を対象としている。本開示は、（１）核特徴メトリクスの頂部への条件付き確率場（ｃｏｎｄｉｔｉｏｎａｌ  ｒａｎｄｏｍ  ｆｉｅｌｄ）（「ＣＲＦ」）モデルの適用（「文脈−ＣＲＦ方法」）、（２）核を中心とする画像パッチ中の追加テクスト特徴の抽出（及びテクスト特徴と核特徴メトリクスの結合）（「文脈−テクスチャ方法」）、（３）核を中心とする画像パッチ中のテクストンヒストグラムの計算（及びテクストンヒストグラム特徴と核特徴メトリクスの結合）（「文脈−テクストン方法」）、及び（４）隣接する核の外観を捕獲するための「語の多重集合」モデルの使用（「語の多重集合」モデルは、訓練核特徴を多数のクラスタ中心にクラスタ化し、かつ、対象の個々の核の隣接する核をこれらのクラスタに割り当てる）（「文脈−ＢｏＷ方法」）を含む、文脈情報メトリクスを導出する４つの異なる方法を説明する。
【００３９】
[0050]何らかの特定の理論に縛られるつもりはないが、対象の核の文脈情報（すなわち対象の核を中心とする領域の隣接する核又は画像テクスチャを記述している情報）は、細胞核の分類には有用であるとされている。一例として、細胞核は、その近辺の細胞及び他の生物学的構造を考慮することにより、より確信をもってラベル付けされ得る（例えば腫瘍細胞中の核として）とされている。実際、本出願人は、文脈情報メトリクスを核特徴メトリクスと共に考察することにより、核特徴のみに基づく細胞の分類と比較すると、分類精度が体系的に改善されることを示した（例えば本明細書における例１及び表１を参照されたい）。
【００４０】
[0051]本明細書において開示される技術の少なくともいくつかの実施形態は、ＰＤ−Ｌ１バイオマーカのための免疫組織化学（ＩＨＣ）染色で前処理された組織標本から捕獲されたデジタル画像を解析するためのコンピュータシステム及び方法に関している。いくつかの実施形態では、本開示において評価中の組織標本は、ＰＤ−Ｌ１バイオマーカが存在しているところでＤＡＢで染色されており、また、そこではヘマトキシリンが対比染色として使用された（例えば、ＰＤ−Ｌ１で染色された肺癌標本からの視野を提供する図２Ａ及び２Ｂを参照されたい）。いくつかの実施形態では、ＰＤ−Ｌ１（ＳＰ２６３）アッセイが最新染色器機のＶＥＮＴＡＮＡ  ＢｅｎｃｈＭａｒｋシリーズと共に使用される。本明細書において説明される例示的実施形態は、ＰＤ−Ｌ１バイオマーカのためのＩＨＣ染色の適用を開示しているが、技術は、組織標本中の異なるタイプの細胞及び／又は画像領域を検出するために、他のプローブ及び／又はアッセイで処理された組織標本の画像を解析するために使用され得ることは認識されよう。
【００４１】
[0052]ＩＨＣは、組織の標本を対象のペプチドに特異的に結合する実体と接触させることによって組織中の対象のペプチドを検出するための技法である（「特異的結合実体」）。いくつかの例では、特異的結合実体は、抗体、抗体の抗原結合断片、単鎖抗体、Ａｆｆｉｍｅｒｓ（商標）、及びＤＡＲＰＩＮ、アファーマ、及びＤＡＲＰＩＮからなるグループから選択される。本明細書において使用されているように、「ペプチド」という用語は、オリゴペプチド、ポリペプチド及びタンパク質を含む、ペプチド結合によって互いに連結されたアミノ酸の鎖を含む任意の分子を包含するものとする。例えばいくつかの実施形態では、ＩＨＣは、その対応する抗原に対しそれを検出するための特異的結合実体と、染料を処理して視覚化用の染色を生成する酵素ステップとに依拠している。他の方法及びアッセイが当業者によって代替され得る。観察された組織中に特異的ペプチドが存在すること、又は存在しないことを明らかにすることにより、ＩＨＣは、腫瘍の起点に存在する細胞タイプの決定を支援する。ＩＨＣによって明らかにされたタンパク質に応じて、検出された癌のタイプに対する特異的治療処置が同じく選択また適合され得る。
【００４２】
[0053]本明細書において使用されているように、「抗体」という用語は、所望の生物学的活性又は結合活性を示す任意の形態の抗体を意味している。したがって「抗体」という用語は、最も広範囲の意味で使用され、また、それらに限定されないが、とりわけ、単クローン抗体（全長（ｆｕｌｌ  ｌｅｎｇｔｈ）単クローン抗体を含む）、ポリクローン抗体、多重特異性抗体（例えば２重特異性抗体）、ヒト化抗体、完全ヒト抗体、キメラ抗体及びカメライズ化（ｃａｍｅｌｉｚｅｄ）単領域抗体を包含する。
【００４３】
[0054]本明細書において使用されているように、特に指示されていない限り、「抗体断片」又は「抗原結合断片」は、抗体の抗原結合断片、すなわち完全長抗体によって拘束された抗原に特異的に結合する能力を保持する抗体断片、例えば１つ又は複数のＣＤＲ領域を保持する断片を意味している。抗体結合断片の例には、それらに限定されないが、Ｆａｂ断片、Ｆａｂ’断片、Ｆ（ａｂ’）２断片及びＦｖ断片、二重特異性抗体、線形抗体、単鎖抗体分子、例えばｓｃ−Ｆｖ、ナノボディ及び抗体断片から形成された多重特異性抗体がある。
【００４４】
[0055]Ａｆｆｉｍｅｒｓ（商標）は、抗体の特異性及び結合親和力を模倣する改変タンパク質であるが、はるかに小さく、また、約１４ｋＤａの分子量を有している。それらは、高度に安定であり、また、特異的な標的タンパク質のための高親和力結合表面を提供するペプチドループを示すように改変されるとされている。
【００４５】
[0056]ＤＡＲＰｉｎｓ（ｄｅｓｉｇｎｅｄ  ａｎｋｙｒｉｎ  ｒｅｐｅａｔ  ｐｒｏｔｅｉｎｓ）は、典型的には高度に特異的な、高親和力標的タンパク質結合を示す、遺伝学的に改変された抗体模倣性タンパク質である。それらは天然アンキリンタンパク質から導出され、また、３つのタンパク質の少なくとも３つ、通常は４つ又は５つの反復モチーフからなっている。Ｐｒｏｇｒａｍｍｅｄ  ｃｅｌｌ  ｄｅａｔｈ  １  ｌｉｇａｎｄ  １（プログラム細胞死１リガンド１）（ＰＤ−Ｌ１）は、細胞の調節及び液素性免疫応答に含まれる１型膜貫通タンパク質である。ＰＤ−Ｌ１は、主として、抗原提示細胞、胎盤、及び黒色腫、びまん性大細胞型Ｂ細胞性リンパ腫、及び肺、結腸、直腸、腎臓並びに他の臓器の癌腫などのいくつかの腫瘍の中で発現される。正常組織及び腫瘍組織における免疫組織化学（ＩＨＣ）用途のためには、２つのウサギ単クローン抗ヒトＰＤ−Ｌｌ抗体、すなわちＳＰ１４２（Ｃａｌｉｆｏｒｎｉａ州ＰｌｅａｓａｎｔｏｎのＳｐｒｉｎｇ  Ｂｉｏｓｃｉｅｎｃｅ）及びクローンＥ１Ｌ３Ｎ（Ｍａｓｓａｃｈｕｓｅｔｔｓ州ＤａｎｖｅｒｓのＣｅｌｌ  Ｓｉｇｎａｌｉｎｇ  Ｔｅｃｈｎｏｌｏｇｙ）が商用的に入手可能である。参照によりその開示全体が本明細書に組み込まれているＷＯ２０１４１６５４２２（ＰＣＴ／ＵＳ２０１４／０３２３０５）に、腫瘍組織中のＰＤ−Ｌ１を検出するための他のＩＨＣアッセイが開示されている。
【００４６】
[0057]本明細書において使用されているように、「ペプチド」という用語は、オリゴペプチド、ポリペプチド及びタンパク質を含む、ペプチド結合によって互いに連結されたアミノ酸の鎖を含む任意の分子を包含するものとする。
【００４７】
[0058]「標本」又は「組織標本」は、それらに限定されないが、とりわけバクテリア、酵母菌、原生動物及びアメーバなどの単細胞生体、組織化学的分析又は細胞化学的分析のために適している、分析されるべき細胞及び／又は組織の形態学的特性を保持している標本などの多細胞生体（健康な、又は外見上健康なヒト被検体からの標本、又は癌などの診断又は調査されるべき状態又は疾病による影響を受けたヒト患者からの標本を含む植物又は動物など）を含む、任意の生きた生体から得られた、任意の生きた生体によって排泄された、又は任意の生きた生体によって分泌された任意の固体標本又は流体標本であってもよい。例えば生物学的標本は、例えば血液、血漿、血清、尿、胆汁、腹水、唾液、脳脊髄液、房水又は硝子体液あるいは任意の身体分泌物、漏出液、滲出液（例えば膿瘍又は感染あるいは炎症の任意の他の部位から得られる流体）、又は関節（例えば正常関節又は疾病による影響を受けた関節）から得られる流体から得られる生物学的流体であってもよい。また、生物学的標本は、任意の臓器又は組織（腫瘍生検などの生検標本又は剖検標本を含む）から得られる標本であってもよく、あるいは細胞（一次細胞であれ、あるいは培養された細胞であれ）又は任意の細胞、組織又は臓器によって条件付けられた媒質を含むことも可能である。いくつかの例では、生物学的標本は核抽出物である。特定の例では、標本は、開示された細胞小球切片標本のうちの１つなどの品質管理標本である。他の例では、標本は試験標本である。例えば試験標本は、被検体から得られた生物学的標本から準備される細胞、組織又は細胞小球切片である。一例では、被検体は、危険な状態にある被検体又は獲得された被検体である。標本は、当業者に知られている任意の方法を使用して準備され得る。標本は、日常的なスクリーニングのために被検体から獲得されるか、又は遺伝的異常、感染又は異常増殖などの障害を有していることが疑われる被検体から獲得され得る。開示される方法の説明した実施形態は、「正常」標本と呼ばれる、遺伝的異常、疾病、障害、等々を有していない標本にも同じく適用され得る。標本は、複数の標的を含むことができる。
【００４８】
[0059]標本を分析するためのコンピュータベース標本分析器は、図１Ａに示されている。当業者は、他のコンピュータシステムが利用され得ること、また、本明細書において説明されているコンピュータシステムは、追加構成要素、例えば分析器、スキャナ、等々に通信結合され得ることを認識するであろう。これらの追加構成要素及び利用され得る様々なコンピュータのうちのいくつかは、本明細書においてさらに説明される。一般に、画像化装置１２は、それには限定されないが、１つ又は複数の画像捕獲デバイスを含むことができる。画像捕獲デバイスは、それらに限定されないが、カメラ（例えばアナログカメラ、デジタルカメラ、等々）、光学（例えば１つ又は複数のレンズ、センサ焦点レンズグループ、顕微鏡対物レンズ、等々）、画像化センサ（例えば電荷結合デバイス（ＣＣＤ）、相補性金属酸化膜半導体（ＣＭＯＳ）画像センサ、等々）、写真フィルム、等々を含むことができる。デジタル実施形態では、画像捕獲デバイスは、共同してオンザフライ集束を証明する複数のレンズを含むことができる。ＣＣＤセンサは、標本のデジタル画像を捕獲することができる。デジタル画像を生成する１つの方法は、標本の少なくとも一部を含む顕微鏡スライドの領域を含む走査領域を決定するステップを含む。走査領域は、複数の「スナップショット」に分割され得る。画像は、個々の「スナップショット」を結合することによって生成され得る。いくつかの実施形態では、画像化装置１２は標本全体の高解像度画像を生成し、このような装置のための一例は、Ｖｅｎｔａｎａ  Ｍｅｄｉｃａｌ  Ｓｙｓｔｅｍｓ社（Ａｒｉｚｏｎａ州Ｔｕｃｓｏｎ）のＶＥＮＴＡＮＡ  ｉＳｃａｎ  ＨＴスライドスキャナである。
【００４９】
[0060]コンピュータデバイス１４は、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、等々を含むことができ、また、デジタル電子回路機構、ファームウェア、ハードウェア、メモリ、コンピュータ記憶媒体、コンピュータプログラム、プロセッサ（プログラムされたプロセッサを含む）、等々を含むことができる。図１の図解されている計算システム１４は、スクリーン１６及びタワー１８を有するデスクトップコンピュータである。タワー１８は、デジタル画像を２進形態で記憶することができる。画像は、ピクセルの行列に同じく分割され得る。ピクセルは、ビット深度によって画定される１つ又は複数のビットのデジタル値を含むことができる。ネットワーク２０又は直接接続は、画像化装置１２及びコンピュータシステム１４を相互接続する。コンピュータシステムは、一連のコンピュータ実行可能命令を使用してプログラムされる１つ又は複数のプロセッサを含み、命令はメモリに記憶される。
【００５０】
[0061]図１Ｂ及び１Ｃを参照すると、命令が実行されると、コンピュータシステムのプロセッサのうちの少なくとも１つが、組織標本のデジタル画像などの入力１００及び１１０を受け取る。いくつかの実施形態では、デジタル画像は、ＰＤ−Ｌ１バイオマーカの存在のために染色された組織標本のデジタル画像である。必要な入力が提供されると、特徴抽出モジュール１０１が実行されて、核特徴メトリクス１１１及び文脈情報メトリクス１１２を導出する。核特徴メトリクス及び文脈情報メトリクスは、導出されると、分類モジュール１０２に提供されて細胞核を分類１１３し、かつ、出力１０３をユーザに提供する。出力は、ディスプレイ、メモリ、又は当分野における適切な任意の他の手段に提供され得る。
【００５１】
[0062]特徴抽出モジュール
[0063]一般に、特徴抽出モジュールは、画像データを受け取り、入力された画像データに基づいて特定のメトリクスを導出し（例えばメトリクスのベクトル）、また、これらのメトリクスを分類モジュールに出力する。本明細書においてさらに詳細に説明されるように、特徴抽出モジュールは、入力画像内の細胞の核特徴から核特徴メトリクスを導出し（図１Ｃ、ステップ１１１）、また、本明細書において説明される４つの方法のうちの１つを利用して、入力画像から対象の核（ＮｏＩ）の文脈情報を同じく導出する（図１Ｃ、ステップ１１２）。次に、細胞核が分類され得るよう、様々なメトリクスが分類モジュールに供給される。分類のために核特徴メトリクスのみが使用される従来技術と比較すると、核特徴メトリクスと文脈情報メトリクスの組合せは、優れた分類精度を提供する（例１を参照されたい）。
【００５２】
[0064]「特徴メトリクス」は、例えば１つ又は複数の特徴から導出されたデータ値である。例えば特徴メトリクスは、特定の特徴の定量特性を示す数値データ値、ヒストグラム、分布、等々であってもよい。
【００５３】
[0066]特徴抽出モジュールは、１つ又は複数の画像チャネルに基づいて核メトリクス及び文脈情報メトリクスを計算することができ、また、画像チャネルは、当業者に知られている任意の手段によって導出され得る。例えばいくつかの実施形態では、画像チャネルは、色逆たたみこみ（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）又は非混合を介して導出され得る（すなわち色逆たたみこみスキームを使用して、個々の画像がＲＧＢ色空間から、利用される染色のスペクトル特性によってモデル化される新しい空間に変換される）。非混合は、例えばＺｉｍｍｅｒｍａｎｎ「Ｓｐｅｃｔｒａｌ  Ｉｍａｇｉｎｇ  ａｎｄ  Ｌｉｎｅａｒ  Ｕｎｍｉｘｉｎｇ  ｉｎ  Ｌｉｇｈｔ  Ｍｉｃｒｏｓｃｏｐｙ（光学顕微鏡法におけるスペクトル画像化及び線形非混合）」Ａｄｖ  Ｂｉｏｃｈｅｍ  Ｅｎｇｉｎ／Ｂｉｏｔｅｃｈｎｏｌ  （２００５）  ９５：２４５−２６５、及びＣ．  Ｌ．  Ｌａｗｓｏｎ  ａｎｄ  Ｒ．  Ｊ．  Ｈａｎｓｏｎ、「Ｓｏｌｖｉｎｇ  ｌｅａｓｔ  ｓｑｕａｒｅｓ  Ｐｒｏｂｌｅｍｓ（最小２乗問題の解決）」、ＰｒｅｎｔｉｃｅＨａｌｌ、１９７４、Ｃｈａｐｔｅｒ  ２３、ｐ．１６１に記載されており、これらの開示は、参照によりその全体が本明細書に組み込まれている。実際、入力画像は、組織標本内の染色及びラベルのための局所染色強度を表す画像チャネルを提供するために非混合され得る。異なるチャネルは、組織画像中の異なる組織構造を強調し、これらの個々のチャネルに目を向けることにより、細胞の核及び膜染色の出現が、これらの細胞の局所近辺における複数の細胞、これらの細胞の外観及び染色パターンと共に評価され得る。
【００５４】
[0067]いくつかの実施形態では、選択される画像チャネルは、利用されるアッセイに基づかれる（例えば一次染色チャネル、ＩＨＣ染色チャネル又は対比染色チャネル、ＰＤＬ１を示す染色チャネル）。当然、異なるアッセイのために異なるチャネルが使用され得る。ＰＤ−Ｌ１バイオマーカ染色の文脈においては、いくつかの実施形態では、様々な特徴が導出され得るチャネルは、ヘマトキシリンチャネル、輝度チャネル及びＤＡＢチャネルであり、この場合も使用される特定のアッセイで決まる。いくつかの実施形態では、組織標本の画像は、スライド上の染色及びラベルのための局所染色強度を表す画像チャネルの提供などのために非混合されることが可能であり、一例は、ヘマトキシリンチャネル及びＤＡＢチャネルである。いくつかの実施形態では、輝度チャネルは、Ｌ＊ａ＊ｂ色空間のＬ成分に基づかれる（Ｌ＊ａ＊ｂ色空間では、「Ｌ」チャネルはピクセルの輝度を表し、「Ａ」チャネルは、ピクセルの赤成分及び緑成分を反映し、また、「Ｂ」チャネルは、ピクセルの青成分及び黄成分を表す）。
【００５５】
[0068]核特徴
[0069]「核特徴」は、例えば細胞核の特徴又は前記核を含む細胞の特徴であってもよく、核又は細胞は組織標本の画像中で識別されている。
【００５６】
[0070]核特徴メトリクスは、最初に、細胞又は細胞核毎に、それらの視覚特性及び記述子（ｄｅｓｃｒｉｐｔｏｒｓ）、例えばそれぞれ以下で説明される形態学特徴、外観特徴及び背景特徴に基づいて計算される。
【００５７】
[0071]本明細書において使用されている「形態学特徴」は、例えば核又は核を含む細胞の形状及び寸法を示す特徴である。例えば形態学特徴は、核ブロブに含まれている、又は核ブロブを取り囲んでいるピクセルに対して様々な画像解析アルゴリズムを適用することによって計算され得る。
【００５８】
[0072]本明細書において使用されている「外観特徴」は、例えば、核を識別するために使用される核ブロブに含まれている、又は核ブロブを取り囲んでいるピクセルのピクセル強度値を比較することによって特定の核に対して計算された特徴であり、比較されるピクセル強度は、異なる画像チャネルから導出される（例えば背景チャネル、ＰＤ−Ｌ１バイオマーカの染色のためのチャネル、等々）。
【００５９】
[0073]「背景特徴」は、例えば背景特徴が画像から抽出された核を含む細胞の細胞形質特徴及び細胞膜特徴に存在する外観及び／又は染色を示す特徴である。背景特徴及び対応するメトリクスは、例えば、核を表している核ブロブを識別し、識別されたセットの細胞のすぐ隣のピクセル領域（例えば核ブロブ境界の周りの２０個のピクセルのリボン−約９ミクロン−の厚さ）を解析し、したがってこの核を有する細胞の細胞形質及び膜における外観及び染色の存在を細胞のすぐ隣の領域と共に捕獲することにより、デジタル画像中に描写されている核及び対応する細胞に対して計算され得る。
【００６０】
[0074]当然、当業者に知られている他の特徴が考慮され、また、核特徴メトリクスを計算するための基本として使用され得る。核特徴は、組織標本中の核、細胞、等々を含む生物学的対象の発生、密度及び他の同様の特性を捕獲することができ、また、これらの対象を検出することにより、分類に使用するためのメトリクスを導出することができるとされている（従来技術の場合と同様に単独で、又はここでは文脈情報メトリクスとの組合せで）。これらの核特徴から計算される様々な核特徴メトリクスは、核特徴メトリクスのベクトルとして提供され、また、文脈情報メトリクスと共に分類モジュールに供給される。
【００６１】
[0075]いくつかの実施形態では、入力として受け取られたデジタル画像は、核中心の検出及び／又は核の分割などのために予備処理される。例えば、当業者に広く知られている技法を使用した放射対称票決（ｒａｄｉａｌ−ｓｙｍｍｅｔｒｙ  ｖｏｔｉｎｇ）に基づいて、核中心を検出する命令が提供され得る（参照によりその開示全体が本明細書に組み込まれている、Ｐａｒｖｉｎ、Ｂａｈｒａｍらの「Ｉｔｅｒａｔｉｖｅ  ｖｏｔｉｎｇ  ｆｏｒ  ｉｎｆｅｒｅｎｃｅ  ｏｆ  ｓｔｒｕｃｔｕｒａｌ  ｓａｌｉｅｎｃｙ  ａｎｄ  ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ  ｏｆ  ｓｕｂｃｅｌｌｕｌａｒ  ｅｖｅｎｔｓ．（構造的特徴の推定に対する反復票決及び細胞レベル下の事象の特性化）」Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  １６．３  （２００７）：  ６１５−６２３を参照されたい）。
【００６２】
[0076]核は、次に、引き続いて、核毎に個別に計算された閾値を使用して分割される。例えば、核領域のピクセル強度は変化するとされているため、Ｏｔｓｕの方法を使用して核の周りの領域が分割され得る。当業者には認識されるように、Ｏｔｓｕの方法を使用して、等級内変化を最小化することによって最適閾値が決定され、これは当業者に知られている。より詳細には、Ｏｔｓｕの方法を使用して、クラスタ化ベース画像閾値化、又は２進画像に対するグレーレベル画像の低減が自動的に実施される。アルゴリズムは、画像は、２モードヒストグラムに従って２つの等級のピクセルを含むことを仮定している（前景ピクセル及び背景ピクセル）。アルゴリズムは、次に、２つの等級の結合散布量（ｃｏｍｂｉｎｅｄ  ｓｐｒｅａｄ）（クラス内分散）が最小になるか、又は等価になるように（ペアワイズ２乗距離（ｐａｉｒｗｉｓｅ  ｓｑｕａｒｅｄ  ｄｉｓｔａｎｃｅｓ）の合計は一定であるため）それらを分割する最適閾値を計算し、したがってそれらの等級間変化は最大である。
【００６３】
[0077]次に、核特徴メトリクスが、組織標本中の細胞の核から抽出された特徴から導出される。核特徴メトリクスの計算は当分野でよく知られており、知られている任意の核特徴が本開示の文脈に使用され得る。計算され得るメトリクスの非制限例は、以下を含む。
【００６４】
[0078]形態学特徴から導出されるメトリクス：（面積、短軸長及び長軸長、周囲、半径及び固体性）［面積＝核領域におけるピクセルの総数；Ｍｉｎｏｒ／ＭａｊｏｒＡｘｉｓＬｅｎｇｔｈ：領域と同じ正規化第２中心モーメントを有する楕円の短軸／長軸の長さ（ピクセル内の）を規定するスカラー；周囲：核領域の境界上のピクセルの数；半径：核の中心から核の境界ピクセルまでの平均距離；固体性：同じく領域に存在している凸閉包中のピクセルの割合を規定するスカラー（Ａｒｅａ／ＣｏｎｖｅｘＡｒｅａとして計算される）］
[0079]外観特徴から導出されるメトリクス：異なる画像チャネルから計算されたピクセル強度及び傾斜量の百分位数値（例えば１０番目、５０番目及び９５番目の百分位数値）。例えば、最初に対象の核を表している核ブロブ内の画像チャネル（例えばＨＴＸ、ＤＡＢ、輝度の３つのチャネル）の複数のＩＣの各々のピクセル値のＸ−百分位数値（Ｘ＝１０、５０、９５）の数Ｐが識別される。したがってＰ×ＩＣ個の特徴値が前記核ブロブによって表される対象の特定の核に対して計算され、Ｐは、調査された百分位数値の数を示し、また、ＩＣは、特徴値が計算される画像チャネルの数を表す。この例では、「核特徴メトリクス」として作用する３*３個の特徴値がＮｏＩに対して計算される。
【００６５】
[0080]さらに、ＮｏＩを表している核ブロブを取り囲んでいるピクセルのリボン内の同じ数及びタイプの画像チャネルのピクセル値の同じＸ−百分位数値が識別され、「文脈情報メトリクス」として作用するＰ×ＩＣ個の特徴値（ここでは３＊３＝９個の特徴値）がＮｏＩに対して計算される。最後に、Ｐ×ＩＣ個（ここでは９個）の核特徴メトリクス及びＰ×ＩＣ個（ここでは９個）の文脈情報メトリクスが、例えば２×Ｐ×ＩＣ個（ここでは９＋９＝１８個）の特徴メトリクスを含む結合特徴ベクトルに結合され、これらは対象の核の外観特徴として使用される。前記メトリクスは核領域の特性（例えば暗褐色の核、暗い青色の核、明るい青色の核、等々）を記述することができ、また、例えば膜染色が明るい茶色、暗褐色又は全く染色がない、等々の場合は、核の周りの膜領域（リボン領域）を記述するため、外観特徴メトリクスの計算は有利であり得る。
【００６６】
[0081]ＰＤ−Ｌ１バイオマーカのためのＩＨＣ染色の文脈では、画像チャネルは、分割された核中のヘマトキシリン、輝度（ＬＡＢ色空間）及びＤＡＢである。外観特徴を決定するために必要な局所画像強度は、参照によりその開示全体が組み込まれている、Ｒｕｉｆｒｏｋ、Ａｒｎｏｕｔ  Ｃ及びＤｅｎｎｉｓ  Ａ．  Ｊｏｈｎｓｔｏｎ「Ｑｕａｎｔｉｆｉｃａｔｉｏｎ  ｏｆ  ｈｉｓｔｏｃｈｅｍｉｃａｌ  ｓｔａｉｎｉｎｇ  ｂｙ  ｃｏｌｏｒ  ｄｅｃｏｎｖｏｌｕｔｉｏｎ．（色逆たたみこみによる組織化学的染色の定量化）」Ａｎａｌｙｔｉｃａｌ  ａｎｄ  ｑｕａｎｔｉｔａｔｉｖｅ  ｃｙｔｏｌｏｇｙ  ａｎｄ  ｈｉｓｔｏｌｏｇｙ／ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ａｃａｄｅｍｙ  ｏｆ  Ｃｙｔｏｌｏｇｙ［及び］Ａｍｅｒｉｃａｎ  Ｓｏｃｉｅｔｙ  ｏｆ  Ｃｙｔｏｌｏｇｙ  ２３．４  （２００１）：２９１−２９９によって開示されている方法を含む、当業者に知られている任意の方法によって計算され得る。
【００６７】
[0082]背景特徴から導出されるメトリクス：これらのメトリクスは核外観特徴に類似しているが、個々の核境界の周りの２０個のピクセルのリボン（約９ミクロン）の厚さで計算され、したがってこの核を有する細胞の細胞形質及び膜に存在する外観及び染色を細胞のすぐ隣の領域と共に捕獲する。このサイズは、核を区別するための有用な情報を提供するために使用され得る核の周りの十分な量の背景組織領域を捕獲するように選択される。これらの特徴は、参照によりその開示全体が本明細書に組み込まれている、Ｊ．  Ｋｏｎｇらの「Ａ  ｃｏｍｐｒｅｈｅｎｓｉｖｅ  ｆｒａｍｅｗｏｒｋ  ｆｏｒ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｏｆ  ｎｕｃｌｅｉ  ｉｎ  ｄｉｇｉｔａｌ  ｍｉｃｒｏｓｃｏｐｙ  ｉｍａｇｉｎｇ：  Ａｎ  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｄｉｆｆｕｓｅ  ｇｌｉｏｍａｓ，（デジタル顕微鏡画像化における核の分類のための包括的フレームワーク：びまん性グリオーマに対する適用）」ｉｎ  ＩＳＢＩ、２０１１年、頁２１２８−２１３１によって開示されている特徴に類似している。これらの特徴を使用して、周囲の組織が間質であるか、又は上皮であるかどうかが決定され得るとされている。何らかの特定の理論に縛られるつもりはないが、ＰＤ−Ｌ１バイオマーカは、主として細胞膜を染色し、かつ、核境界の外側に沿って茶色のリボン、茶色のスポット又は両方を生成するため、これらの背景特徴は、膜染色パターンを同じく捕獲するとされている。
【００６８】
[0083]文脈情報
[0084]核特徴メトリクスが計算されると、文脈情報メトリクスが対象の核（ＮｏＩ）毎に導出される。ＮｏＩの文脈情報、すなわちＮｏＩを中心とする領域における隣接する核又は画像テクスチャを記述している情報は、そのラベルを予測するための有用な証拠を提供するとされている。例えば核は、隣接する核が同じく腫瘍組織に属していることを条件として、腫瘍としてより確信的にラベル付けされ得るとされている。同様に、核は、核を取り囲んでいる領域のテクスチャパターンが腫瘍領域で見出されたテクスチャパターンに類似していることを条件として、腫瘍としてより確信的にラベル付けされ得るとされている。これは、異なるＮＯＩの近辺領域を示す図３Ａ及び３Ｂに示されている（長方形の点で示されている）。赤（中間の幅の線）、緑（細い幅の線）及び青（太い幅の線）の長方形は、それぞれＰＤ−Ｌ１陽性免疫細胞核、ＰＤ−Ｌ１陽性腫瘍細胞核及びＰＤ−Ｌ１陰性腫瘍細胞核の近辺領域を示している。図３Ａ及び３Ｂに提供されている少なくとも例から、示されている近辺領域におけるテクスチャ情報及び核情報は互いに異なっており、核特徴メトリクスと共に考察されると、優れた分類結果の獲得を可能にするのは、このタイプの文脈情報であることは明らかである。
【００６９】
[0085]文脈情報は、当業者に知られている任意の方法によって導出され得る。いくつかの実施形態では、文脈情報は、（１）文脈−テクスチャ方法、（２）文脈−テクストン方法、（３）文脈−ＣＲＦ方法、及び（４）文脈−語の多重集合（ＢｏＷ）方法のうちの少なくとも１つから導出される。いくつかの実施形態では、文脈情報には、個々の核の近辺におけるすべての画像ピクセルからの追加特徴の計算が必要である（例えば本明細書における文脈−テクスチャ方法及び文脈−テクストン方法を参照されたい）。他の実施形態では、文脈情報メトリクスは事前計算され、隣接する特定の核の文脈情報を評価するための追加特徴を計算する必要はない。その代わりに、事前計算済み核特徴及びラベルが隣接する核から利用される。例えば核特徴及び文脈情報メトリクスの事前計算は、画像内又は前記画像中の対象の領域内で識別されたすべての核に対して一度実施され得る。
【００７０】
[0086]文脈−テクスチャ方法
[0087]文脈−テクスチャ方法は、個々のＮｏＩを中心とする画像パッチから一組のテクスチャ特徴を計算するために使用される。より詳細には、文脈−テクスチャ方法は、個々のＮｏＩの周りの領域におけるテクスチャパターンの捕獲を可能にし、この情報を使用して、ＮｏＩが存在し得る組織の局所タイプの識別が補助される（例えば任意のＮｏＩの周りの領域は、固化した腫瘍、リンパ球（免疫細胞）の集合体、間質及び／又は総合染色応答を含み得る）。例えば間質は、線維様テクスチャによって特性化され、一方、可変サイズの複数の「ブロブ」の存在は腫瘍領域の特性である。線維様テクスチャ又はブロブを取り囲んでいる領域の画像パッチ中のテクスチャ特徴を計算することにより、情報は、領域における任意の細胞又は細胞核の、間質に属するものとしての分類を補助することができ、これは腫瘍組織とは対照的でありまた、あるいはその逆も真である。
【００７１】
[0088]ＰＤ−Ｌ１染色組織の文脈では、ＰＤ−Ｌ１バイオマーカを発現しないリンパ球（「陰性リンパ球」）を有する領域は、小さい青のブロブによって特性化され、ＰＤ−Ｌ１バイオマーカを発現するリンパ球（「陽性リンパ球」）を有する領域は、小さい青のブロブ及び茶色のブロブによって特性化され、ＰＤ−Ｌ１バイオマーカを支配的に発現する細胞（「陽性腫瘍細胞」）を有する腫瘍領域は、大きい青のブロブ及び茶色のリングによって特性化され、また、ＰＤ−Ｌ１バイオマーカを発現しない細胞（「陰性腫瘍細胞」）の腫瘍領域は、大きい青のブロブによってのみ特性化される。
【００７２】
[0089]一般に、また、図６Ｃを参照すると、文脈−テクスチャ方法は、個々のＮｏＩを中心とする画像パッチを捕獲することによって実施される（ステップ３２０）。いくつかの実施形態では、核に関する豊富な文脈情報を提供する適度に大きい組織領域を捕獲するサイズＳ×Ｓを有するパッチサイズが選択される。他の実施形態では、パッチサイズは、任意のＳ×Ｓ寸法における約５０個のピクセルと約２００個のピクセルの間の範囲である。さらに他の実施形態では、約１５０個のピクセルのパッチサイズ（約７０ミクロン）が使用される。
【００７３】
[0090]画像パッチが捕獲されると（ステップ３２０）、テクスチャ特徴が個々のパッチ内で計算される（ステップ３２１）。いくつかの実施形態では、計算されるテクスチャ特徴は、強度のヒストグラム、傾斜量及び傾斜配向のヒストグラム、Ｇａｂｏｒ特徴及びＨａｒａｌｉｃｋ特徴などの特徴を含み、これらの各々は、本明細書においてさらに説明される。計算されるテクスチャ特徴は、文脈情報メトリクスとして分類モジュールに出力される（ステップ３２２）。
【００７４】
[0091]いくつかの実施形態では、画像はパッチの格子に仕切られる。パッチの分配は多くの異なる方法で実現され得る。例えばパッチは、円形又は長方形であってもよい。いくつかの実施形態ではパッチが重畳する。他の実施形態では、パッチの中心間の距離（半径）は、同じであっても、あるいは異なっていてもよい。例えばパッチの格子の個々のパッチは、パッチ内の任意の位置に配置され得る１つ又は複数の核を含むことができる。前記核のうちの１つがＮｏＩとして使用される場合、前記核を含むパッチが、前記パッチに含まれているすべての他の核がＮｏＩの隣接する核として見なされる領域を画定する。したがって核の近辺を画定しているパッチは、いくつかの実施形態ではＮｏＩの周囲に中心が置かれ得るが、例えばパッチの格子の周囲の格子点に同じく中心が置かれ得る。当然、当業者は、提供される任意のこれらの変数を使用して、パッチの任意の格子がアセンブルされ得ることを認識するであろう。そのために、点の格子が画像中に一様に分配される（点と点の間の間隔距離は一定である）。個々の点では、パッチと呼ばれる、点を中心とする長方形（又は円形）の領域が生成される。パッチのサイズ及び形状の効果は、実験によって評価されなければならない。一般に、何らかの特定の理論に縛られるつもりはないが、極めて小さいパッチは、生物学的に意味のあるラベルを割り当てるための十分な情報を提供しないとされている。一方、何らかの特定の理論に縛られるつもりはないが、大きいパッチには長い計算時間が必要であり、その上、複数の組織タイプを含むことがあり、それは、方法にとっては好ましくないとされている。したがってパッチサイズは、差し迫った組織特性を反映するために、分析問題毎に選択される。
【００７５】
[0092]いくつかの実施形態では、生成されるパッチは、「スーパピクセル」の形態である。「スーパピクセル」は、複数の隣接するピクセルを網羅している画像の副領域である。「スーパピクセル」は、画像を自由形態形状を使用して非交差画像パッチに分割する。いくつかの実施形態では、形状は、個々のスーパピクセルが目標サイズ範囲に合致し、かつ、１つのタイプの組織又は細胞を支配的に含むように選択され得る。スーパピクセルは、「グラフベースアルゴリズム」、「傾斜−上昇ベースアルゴリズム」、ＳＬＩＣアルゴリズム、平均変位及び正規化切断を含む多くの方法によって生成され得る。したがって実施形態によれば、スーパピクセル生成手順は、個々のパッチがスーパピクセルであるパッチを生成するための画像に対して適用され得る。
【００７６】
[0093]スーパピクセル生成に対するグラフベース手法は、個々のピクセルをグラフ中のノードとして取り扱う。いくつかの実施形態では、２つのノード間の縁重量（ｅｄｇｅ  ｗｅｉｇｈｔｓ）は、隣接するピクセル間の類似性に比例する。一方、傾斜上昇ベースアルゴリズムは、グラフ上で定義される費用関数を最小化することによってスーパピクセルを生成する。ピクセルの大まかな初期クラスタ化から開始して、傾斜上昇方法は、スーパピクセルを形成するための何らかの集束基準に合致するまで反復してクラスタを洗練する。
【００７７】
[0094]実施形態によれば、「パッチ」（すなわちスーパピクセル）として使用される隣接するピクセルセットを識別するために、単純な線形反復クラスタ化が使用される。単純な線形反復クラスタ化（ＳＬＩＣ）は、スーパピクセルを生成するためのｋ平均の適合であり、（ｉ）探索空間をスーパピクセルサイズに比例する領域に制限することにより、最適化における距離計算の数が劇的に低減される（これは、ピクセルの数Ｎにおける線形化の複雑性を低減し、また、スーパピクセルの数ｋに無関係であるとされている）、及び（ｉｉ）重み付き距離測度が色と空間近接性を結合し、その一方で、それと同時にスーパピクセルのサイズ及びコンパクト性に対する制御を提供する、という２つの重要な区別がある。（参照によりその開示全体が本明細書に組み込まれている、Ａｃｈａｎｔａらの「ＳＬＩＣ  Ｓｕｐｅｒｐｉｘｅｌｓ  Ｃｏｍｐａｒｅｄ  ｔｏ  Ｓｔａｔｅ−ｏｆ−ｔｈｅ−Ａｒｔ  Ｓｕｐｅｒｐｉｘｅｌ  Ｍｅｔｈｏｄｓ，（最新のスーパピクセル方法と比較したＳＬＩＣスーパピクセル）」ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．３４、Ｎｏ．１１、２０１２年１１月を参照されたい。）例えばスーパピクセルサイズに比例する領域は、スーパピクセルを識別するために使用されるスーパピクセル領域の定義済み上部リミットと全く同じであってもよい。スーパピクセルの上部サイズリミットは、例えば１００００個のピクセルであってもよい。
【００７８】
[0095]色と空間近接性の間の結合の重みは、例えば０．２に設定され得る。これらのパラメータは、訓練フェーズの間、とりわけ高い検証精度を提供することが観察されている。
【００７９】
[0096]個々の核に割り当てられる文脈特徴（又は「文脈情報メトリクス」）は、単一の組織タイプ等級又は周囲の組織が可能組織タイプのリストに属する確率のいずれかを含むことができるとされている。いくつかの実施形態では、パッチは、特異的なの組織タイプのためにのみ生成される。例えばパッチは、図４Ａ及び４Ｂに示されている領域などの、ＰＤ−Ｌ１などのバイオマーカに対して陽性の領域のためにのみ生成され得る。さらに、図５Ａ及び５Ｂは、パッチ分類結果を示したもので、主として免疫細胞によるＰＤ−Ｌ１染色を有する領域は、赤（又は円）で示されており、主として腫瘍細胞による染色ＰＤ−Ｌ１染色を有する領域は、緑（又は正方形）で示されており、また、非標的ＰＤ−Ｌ１染色は、黄（又は三角形）でそれぞれ示されている。核ｎｉがパッチｐｉに属すると仮定し、また、パッチｐｉが主として特定の細胞タイプの細胞を含む組織の均質な領域からのパッチ、例えば免疫細胞領域からのパッチとして分類されると仮定すると、核ｎｉの特徴は、［ｎｉの核特徴＋パッチラベル情報（前記特定の細胞タイプからのパッチ−例えば免疫細胞−領域）］を含む。したがってパッチ（すなわち「スーパピクセル」）には、一組の定義済み又は学習済み細胞タイプのうちの１つだけが割り当てられ得る。しかしながらこれは、パッチは異なる細胞タイプの細胞の核を含み得ることを排除しない。しかしながら特定の細胞タイプの細胞に含まれている核の確率は、核を含むパッチが異なる細胞タイプを割り当てたところでは低減され得る。
【００８０】
[0097]パッチ生成方法には無関係に、文脈情報メトリクスは、パッチ領域すなわちスーパピクセルから導出される文脈テクスチャ特徴である。いくつかの実施形態では、テクスチャ特徴は、異なる画像チャネル（ヘマトキシリン、輝度及びＤＡＢ）から導出され、また、強度のヒストグラム、傾斜量及び傾斜配向のヒストグラム、Ｇａｂｏｒ特徴及びＨａｒａｌｉｃｋ特徴を含む。
【００８１】
[0098]いくつかの実施形態では、テクスチャ特徴は、異なる画像チャネルから計算される。例えば異なる画像チャネルは、組織標本を準備するために使用される染色又は対比染色に基づかれ得る（例えばヘマトキシリン、輝度、ＩＨＣチャネル、ＰＤＬ１染色チャネル）。いくつかの実施形態では、異なる画像チャネルからの信号の差を捕獲して、組織構造を記述するのに役に立ち得る強度ベース特徴が計算される。これは、値の範囲を「ビニング（ｂｉｎｎｉｎｇ）」することによって達成され、すなわち値（強度）の全範囲が一連の小さいインターバル（ｉｎｔｅｒｖａｌ）に分割され、次に、どれだけ多くの値が個々のインターバルに入るかが計数される。したがって「強度ベース特徴」は、ピクセル又は一組のピクセルのビニングされた強度値であり得る。これらの特徴は、分類モジュールに供給され得る。他の実施形態では、画像の傾斜量及び傾斜配向を計算することによって傾斜特徴が決定される。いくつかの実施形態では、傾斜特徴は、傾斜量のヒストグラム及び／又は傾斜ベクトル配向のヒストグラムを含む。例えば傾斜特徴は、傾斜量の１０−ビンヒストグラム（ｂｉｎ  ｈｉｓｔｏｇｒａｍ）及び傾斜ベクトル配向の１０−ビンヒストグラムを含み得る。これらの特徴は、例えばパッチ内のピクセルのために選択的に計算され、パッチは、例えばスーパピクセル生成アルゴリズムによって識別され得る。これらの特徴は、均質領域を非均質領域から区別することができ、また、同様に配向された縁を有する領域を無作為に配向された縁を有する領域から区別することができるとされている。ヒストグラムの計算は、値の範囲の「ビニング」に関する上記説明と同様である。ヒストグラムに加えて、いくつかの実施形態では、平均、標準偏差、尖度（ｃｕｒｔｏｓｉｓ）、百分位数、等々のような異なる記述統計量が傾斜量及び傾斜配向の特徴として導出され得る。これらの特徴は、分類モジュールに供給され得る。
【００８２】
[0099]他の実施形態では、メトリクスは、Ｇａｂｏｒフィルタを適用することによって抽出されるテクスチャ特徴に基づいて計算される。
[00100]「Ｇａｒｂｏｒ特徴」は、例えば、１つ又は複数のＧａｂｏｒフィルタをデジタル画像に対して適用することによってデジタル画像から抽出されたデジタル画像の特徴である。１つ又は複数のＧａｒｂｏｒフィルタは、異なる周波数及び／又は配向を有し得る。Ｇａｂｏｒフィルタは、例えば、画像中のパターンを検出するため、例えば縁を検出するために使用され得る線形フィルタである。Ｇａｂｏｒフィルタの周波数及び配向表現は、ヒト視覚システムのそれらと同様であり、それらは、テクスチャ表現及び区別にとりわけ適していることが分かっている。Ｇａｂｏｒフィルタは、画像解析、例えば縁検出のためにしばしば使用される線形フィルタである。例えばＧａｂｏｒフィルタは、正弦平面波によって変調されたＧａｕｓｓカーネル関数であってもよい。
【００８３】
[00101]Ｇａｂｏｒフィルタは、ヒト視覚システムの周波数及び配向感度特性をモデル化する能力を有しているとされている。Ｇａｂｏｒフィルタは、画像を複数の異なる配向及び異なるスケールのログ−Ｇａｂｏｒフィルタで巻き込み、次に、同じスケールの異なる配向の応答を平均して回転不変特徴を得る。Ｇａｂｏｒフィルタの応答は、Ｇａｂｏｒフィルタを一組の画像ピクセルの強度値に対して適用した結果である。ＮｏＩを含む画像パッチのピクセルに対して計算された応答は、ＮｏＩの文脈情報メトリクスとして使用され得る。いくつかの実施形態では、Ｇａｂｏｒフィルタを使用して、文脈情報メトリクスとして使用され得る平均、標準偏差、平均応答に対する最小−最大比率が計算される。Ｇａｂｏｒフィルタ及びそれらの適用に関するさらなる情報は、参照によりその開示全体が本明細書に組み込まれている、Ｊａｉｎ，Ａ．Ｋ．，Ｆａｒｒｏｋｈｎｉａ，Ｆ．「Ｕｎｓｕｐｅｒｖｉｓｅｄ  ｔｅｘｔｕｒｅ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｕｓｉｎｇ  Ｇａｂｏｒ  ｆｉｌｔｅｒｓ．（Ｇａｂｏｒフィルタを使用した非監視テクスチャ分割）」ＩＥＥＥ  Ｉｎｔ．  Ｃｏｎｆ．  Ｓｙｓｔｅｍ、Ｍａｎ．、Ｃｙｂｅｒ．、頁１４−１９（１９９０）に見出され得る。この場合も、これらの特徴は、分類モジュールに供給され得る。
【００８４】
[00102]さらに他の実施形態では、文脈情報メトリクスはＨａｒａｌｉｃｋ特徴を含む。
[00103]Ｈａｒａｌｉｃｋ特徴は、テクスチャのパターン中に出現するパターンに関する情報を捕獲するとされている。Ｈａｒａｌｉｃｋテクスチャ値は、共起行列を使用して計算される。この行列は、２つのピクセル（これらは何らかの距離によって互いに分離され得る）間の角関係及び距離の両方の関数であり、２つの指定されたピクセル間の関係の発生数を示す。「Ｈａｒａｌｉｃｋテクスチャ特徴」又は「Ｈａｒａｌｉｃｋ特徴」は、例えば共起行列から抽出されたデジタル画像の特徴であり、互いに対する関係で特定の位置を有するデジタル画像のピクセル中の画像強度が共に生じる様子に関する情報を含む。Ｈａｒａｌｉｃｋ特徴を計算するために、共起行列は、例えば、行列の強度レベルをデジタル画像中で識別された個々の対象内で観察された最大及び最小強度に基づくことによって正規化され得る。
【００８５】
[00104]Ｈａｒａｌｉｃｋ、Ｓｈａｎｍｕｇａｎ及びＤｉｎｓｔｅｉｎ（１９７３）は、これを「グレートーン空間依存行列」と呼んでいる。本発明の実施形態に使用されるそれらの実施態様は、何らかの距離ｄによって分離されるピクセル間の４つの方向（０°、４５°、９０°及び１３５°）を考察している。（参照によりその開示全体が本明細書に組み込まれている、Ｈａｒａｌｉｃｋ，  Ｒ．，  Ｓｈａｎｍｕｇａｎ，  Ｋ．，及びＤｉｎｓｔｅｉｎ，  Ｉ．「Ｔｅｘｔｕｒａｌ  Ｆｅａｔｕｒｅｓ  ｆｏｒ  Ｉｍａｇｅ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ．（画像分類のためのテクスチャ特徴）」ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｓｙｓｔｅｍｓ，  Ｍａｎ，  ａｎｄ  Ｃｙｂｅｒｎｅｔｉｃｓ  ３、ｎｏ．６（１９７３）：６１０−６２１を参照されたい。）
[00105]実施形態によれば、共起行列（すなわち空間依存性共起行列）は、ＮｏＩを中心とするパッチ中のピクセルに対して計算される。実施形態によれば、共起行列は、複数の定義済み方向（すなわち「角度」）の各々に対して計算され、例えば４つの方向０°、４５°、９０°及び１３５°に対して計算される。
【００８６】
[00106]生成された１つ又は複数の共起行列から、自己相関、コントラスト、相関、非類似性、エネルギー、エントロピー、均質性、最大確率、分散、和平均、和分散、和エントロピー、差分散、差エントロピー、相関の２つの情報測度、逆差、正規化逆差及び逆モーメントを含む複数の特徴が計算され得る。パラメータの各々は、共起行列中の異なるデータエントリー間の関係、例えば特徴「茶色の色チャネル中の高強度値」と、グレー値傾斜サイズに対する特定のビン値との相関を表すことができる。これらの値を考察中の個々のチャネルから抽出し、かつ、平均、標準偏差及び個々の特徴画像のモードを取ることにより、極めて多くの共起特徴が得られる。これらの特徴のうちの任意の特徴が文脈情報メトリクスとして使用され得る。
【００８７】
[00107]共起行列は、特定の細胞タイプ又は組織タイプの指標であり得る生物学的情報を示し得るため、パッチ中のピクセルに対する共起行列を計算することは有利であり得る。例えば共起行列及びその共起行列から導出される文脈情報メトリクスは、青いピクセル（核内のピクセル）が茶のピクセル（膜染色のピクセル）にしばしば接近する（距離ｄ内で）様子を記述し得る。
【００８８】
[00108]いくつかの実施形態によれば、グレーレベル共起行列（「ＧＬＣＭ」）は、画像チャネル毎に個々に計算され、また、それぞれのＨａｒａｌｉｃｋテクスチャ値が個々の画像チャネルから個別に導出される。
【００８９】
[00109]チャネル毎に個々に計算される従来のグレーレベル共起行列（「ＧＬＣＭ」）に加えて、チャネル間すなわち色共起行列（「ＣＣＭ」）が使用され得る。ＣＣＭは、２つの異なる画像チャネルにおけるピクセル強度の共起から生成され、すなわち、変位ベクトル（例えばｄ＝［ｄｘ；ｄｙ］）を使用して、２つのチャネル（例えばＣｉ；Ｃｊ）からＣＣＭを計算する。共起は、Ｃｉの位置（ｘ；ｙ）におけるピクセル強度及びＣｊの位置（ｘ＋ｄｘ；ｙ＋ｄｙ）におけるピクセル強度から計算される。ＣＣＭは、異なる組織構造間の空間関係を、それらを明確に分割する必要なく捕獲する利点を提供するとされている（異なるチャネルで強調される）。例えば第１のバイオマーカは、細胞膜の外部表面で発現されることが知られており、また、第２のバイオマーカは、細胞膜の内部表面で発現されることが知られており、第１及び第２のバイオマーカは、その信号が２つの異なる画像チャネルで捕獲される異なる染料によって染色される場合、内部膜タンパク質及び外部膜タンパク質は、常に、又は支配的に、互いに空間的に極めて近接して信号を生成することになるため、２つの異なるチャネルの信号の強度値は相関することになる（定義済みオフセットで）。前記空間近接は、異なるチャネルにおけるピクセル強度相関の形態のＣＣＭ行列で捕獲され得る。
【００９０】
[00110]いくつかの実施形態では、Ｈａｒａｌｉｃｋ特徴は、考察中のすべてのチャネルのＧＬＣＭから計算される。この場合も、ＣＣＭから計算された特徴のうちの任意の特徴が文脈情報メトリクスとして使用され得る。チャネル間行列は、実施形態によれば、ＧＬＣＭ行列と同じ又は同様の方法で計算される。複数の異なる角度及び距離が考察され得る。唯一の相違は、ピクセルの対が２つの異なるチャネルから拾い上げられ、例えばピクセルｐ１が画像チャネル１に属し、また、ｐ２が画像チャネル２に属し、その一方でこれらの２つのピクセルは、同じ座標系に存在すると見なされることである（したがってそれらの間の距離及び角度が計算され得る）。これらの特徴は、同様に分類モジュールに供給され得る。
【００９１】
[00111]文脈−テクストン方法
[00112]文脈−テクストン方法は、個々のＮｏＩを中心とする画像パッチからテクストンマップのヒストグラムを計算する。（参照によりその全体が組み込まれている、Ｍａｌｉｋ、Ｊｉｔｅｎｄｒａらの「Ｔｅｘｔｏｎｓ，  Ｃｏｎｔｏｕｒｓ  ａｎｄ  Ｒｅｇｉｏｎｓ：  Ｃｕｅ  Ｉｎｔｅｇｒａｔｉｏｎ  ｉｎ  Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ．（テクストン、輪郭及び領域：画像分割におけるキュー統合）」ｓ．ｉ．：  ＩＥＥＥ  Ｃｏｍｕｔｅｒ  Ｓｏｃｉｅｔｙ、１９９９年、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ、Ｃｏｒｆｕ、Ｇｒｅｅｃｅ。）テクストンマップは、以下のように計算され得る。
【００９２】
[00113]文脈−テクスチャ方法と同様、この方法の目的も、個々のＮｏＩの周りの領域のテクスチャパターンを同じく捕獲することである。しかしながら、上で説明したようにテクスチャ特徴から文脈情報メトリクスを導出する代わりに、図６Ｄを参照すると、フィルタ応答画像のリストを得るために、最大応答フィルタのバンクが組織標本の画像に対して（又はそのチャネル画像に対して）適用される（ステップ３３０）。（参照によりその全体が組み込まれている、Ｖａｒｍａ及びＺｉｓｓｅｒｍａｎ「Ｃｌａｓｓｉｆｙｉｎｇ  ｉｍａｇｅｓ  ｏｆ  ｍａｔｅｒｉａｌｓ：  Ａｃｈｉｅｖｉｎｇ  ｖｉｅｗｐｏｉｎｔ  ａｎｄ  ｉｌｌｕｍｉｎａｔｉｏｎ  ｉｎｄｅｐｅｎｄｅｎｃｅ，（材料の画像の分類：視点及び照明独立性の達成」ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ＥＣＣＶ  ２００２、２００２年、ｖｏｌ．  ２３５２、頁２５５−２７１を参照されたい。）個々のフィルタ応答画像は、１つ又は複数のフィルタ応答を含むデジタル画像である。「フィルタ応答」は、[0018]で定義されるフィルタ応答であってもよい。訓練画像から導出されたフィルタ応答画像、及びその中に含まれているフィルタ応答が収集され、かつ、「テクストン」と呼ばれる複数のＫ個のクラスタにクラスタ化される（ステップ３３１）。
【００９３】
[00114]例えば複数の最大応答フィルタを組織標本の画像に対して適用することによって得られるフィルタ応答の各々は、直径、強度、等々などのいくつかの特性値を有するベクトルであり得る。前記フィルタ応答のクラスタ化は、一組のＫ個のクラスタを提供することができ、それによりクラスタ中心が前記クラスタに属しているすべてのフィルタ応答の平均値のベクトルとしてクラスタ毎に反復して計算される。したがって個々のクラスタ中心は、「平均」フィルタ応答ベクトル（その値は、前記クラスタ中心に割り当てられたフィルタ応答のそれぞれの特徴ベクトルの平均値である）、又は前記クラスタ中心に割り当てられたフィルタ応答から導出された他の形態の「プロトタイプ」フィルタ応答ベクトルであり得る。クラスタのクラスタ中心を表す前記「微分」フィルタ応答ベクトルは、「テクストン」として使用される。例えば個々のクラスタ中心は、特定の画像パッチ上への個々のフィルタの一組の投影を表す。反復して洗練され得る前記Ｋ個の「クラスタ中心テクストン」は、Ｋ平均クラスタ化アルゴリズムの出力として提供され得る。クラスタ化アルゴリズムのための基準は、個々のフィルタ応答ベクトルを最も近くの中心に割り当てた後に、中心からの２乗された距離の合計が最小化されるようなＫ個の「中心」を見出すことである。したがって組織標本画像に含まれている情報を処理することにより、Ｋ個のテクストンのテクストン語彙が自動的に抽出される。次に、テクストンマップがクラスタ中心を構成しているテクストンから計算され得る。
【００９４】
[00115]複数の訓練されたクラスタ中心に基づいて、組織標本の画像の個々のピクセルがＫ個のテクストンのうちの１つに割り当てられる（ステップ３３２）。
[00116]例えば割当ては、画像中の個々のピクセル（又はＮｏＩの周りを中心とする画像パッチ中の少なくとも個々のピクセル）が、マップされる前記ピクセルを含む一組のピクセルのために生成されたフィルタ出力の特性であるテクストンのうちの１つに割り当てられるように実施され得る。個々のピクセルは、テクストンのうちの厳密に１つにマップされるため、画像は、異なるテクストンに割り当てられた領域に仕切られる。前記「仕切られた画像」は、「テクストンマップ」と呼ばれ得る。
【００９５】
[00117]次に、ＮｏＩを中心とするサイズＳ×Ｓを有する画像パッチ中のすべてのピクセルからテクストンヒストグラムが計算される（ステップ３３３）。いくつかの実施形態では、パッチサイズは、任意のＳ×Ｓ寸法における約５０個のピクセルと約２００個のピクセルの間の範囲である。他の実施形態では、約１５０個のピクセルのパッチサイズ（約７０ミクロン）が使用される。前記パッチサイズ範囲は、テクスチャ関連文脈情報が予測パラメータである細胞タイプを正確に識別するためにとりわけ適していることが観察されている。
【００９６】
[00118]この方法に従って出力として分類器に供給される文脈情報メトリクス（ステップ３３４）は、テクストンヒストグラムである。テクストンヒストグラムは、ＮｏＩを取り囲んでいるピクセルの前記パッチ中のテクストンの発生の頻度を示す。テクストンヒストグラムは、分類器による組織スライド画像中の細胞の細胞タイプの識別を可能にするための分類器への入力として提供される。テクストンの分配は、組織の個々のタイプのための区別サインを提供するとされており、計算された核特徴メトリクスと共に分類器への入力として使用される。
【００９７】
[00119]文脈−ＣＲＦ方法
[00120]文脈−ＣＲＦ方法は、条件付き確率場（ＣＲＦ）モデルを使用して分類結果の均質性を強化する（参照によりその開示全体が本明細書に組み込まれている、Ｊ．  ＬａｆｆｅｒｔｙらのＣｏｎｄｉｔｉｏｎａｌ  Ｒａｎｄｏｍ  Ｆｉｅｌｄｓ：  Ｐｒｏｂａｂｉｌｉｓｔｉｃ  Ｍｏｄｅｌｓ  ｆｏｒ  Ｓｅｇｍｅｎｔｉｎｇ  ａｎｄ  Ｌａｂｅｌｉｎｇ  Ｓｅｑｕｅｎｃｅ  Ｄａｔａ．（条件付き確率場：シーケンスデータを分割し、かつ、ラベル付けするための確率的モデル）ＩＣＭＬ、頁２８２−２８９、２００１年を参照されたい）。本明細書におけるＢｏＷモデルのようなＣＲＦモデルは、隣接する核からの事前計算済み核特徴／メトリクス及びラベルを文脈情報として利用し、それにより追加特徴抽出を必要とすることなく文脈情報の組み込みを可能にする（文脈テクスチャ方法及び文脈テクストン方法と比較して）。ＣＲＦモデルは、ペアワイズ制約を組み込むための自然な方法を提供し、同じ等級に属する隣接領域を補強するとされている。
【００９８】
[00121]文脈情報（ＣＩ）メトリクスの計算のために、ＣＲＦモデルを使用してラベル付け結果の均質性が促進され、すなわちＣＲＦモデルは、近くに配置された核が同じラベルを有するように促進する。均質な組織領域（組織、間質、等々）は、通常、同じタイプの核を含むとされている。それぞれすべての核ラベル及び核特徴ベクトルのセットとして表されるｙ＝｛ｙ１、ｙ２、．．．ｙｎ｝及びｘ＝｛ｘ１、ｘ２．．．ｘｎ｝である場合、ラベル付け問題は、最適化問題ｙ＊＝ａｒｇ＿ｍｉｎｙｐ（ｙ｜ｘ）として形式化される。このような問題は、通常、有効な推定のための確率分布を要因化するためにグラフ表現を使用して解かれる。ここではグラフＧ＝（Ｖ、Ｅ）を使用して核間の関係がモデル化され、個々の頂点ｖｉ＝∈Ｖは核ｎｉに対応する。縁ｅｉｊ∈Ｅは、２つの核ｎｉとｎｊの間の距離がｄ未満である場合、ｖｉとｖｊの間に生成される。いくつかの実施形態では、ｄ＝Ｓ／２＝７５個のピクセルである。ｙ＊は、Ｇｉｂｂｓエネルギー関数
【００９９】
【数１】
0006800152.tif 000002
【０１００】
を最小化することによって得られる。
[00122]単項ポテンシャル（ｕｎａｒｙ  ｐｏｔｅｎｔｉａｌ）φｕ（ｙｉ｜ｘｉ）は、ＳＶＭ分類器などの分類器の負ログ確率出力として計算される。いくつかの実施形態では、ｖｉとｖｊの間に縁が存在する場合、Ｇを使用してφｐ（ｙｉ｜ｙｊ）が［ｙｉ≠ｙｊ］に設定され、さもなければφｐ（ｙｉ｜ｙｊ）＝０が使用される。エネルギー出力関数は、グラフ切断手法を使用して最小化される。（参照によりその開示全体が組み込まれている、Ｙ．  Ｂｏｙｋｏｖらの「Ｆａｓｔ  ａｐｐｒｏｘｉｍａｔｅ  ｅｎｅｒｇｙ  ｍｉｎｉｍｉｚａｔｉｏｎ  ｖｉａ  ｇｒａｐｈ  ｃｕｔｓ，（グラフ切断を介した高速近似エネルギー最小化）」ＩＥＥＥ  ＰＡＭＩ、ｖｏｌ．２３、頁１２２２−１２３９、２０１１年を参照されたい。）規則化パラメータ∝は重要なパラメータとされている。実際、より大きい値の∝は、ラベル付けのより高い均質性をもたらすとされている。規則化パラメータの選択は、図８ａ及び８ｂに示されている（最良の規則化パラメータを見出すために異なるパラメータが試験される）。この方法は、実際の出力を生成しないため、他の方法とは異なっている。その代わりにこの方法では、核分類は、最初に核特徴のみを使用して実施され、次に、初期核ラベルが得られる。引き続いてＣＲＦ方法は、初期核ラベルの洗練を支援して核均質性を強化し、すなわち２つの近くに配置された核が同じラベルを有する可能性がより高くなる。
【０１０１】
[00123]文脈−ＢｏＷ方法
[00124]語の多重集合モデルは、基本ブロック（語）の頻度に基づく単純で、しかも強力な表現技法である。広く使用されている特徴符号化方法である語の多重集合（ＢｏＷ）は、画像から抽出される局所特徴は互いに独立していると仮定しており、個々の画像中に出現する個々の視覚「語」の頻度を計数するだけである。本明細書において使用されているように、「語」は核特徴ベクトルである。
【０１０２】
[00125]この方法は、ＮＯＩの文脈情報は、その隣接する核の外観（例えば数及び／又は細胞タイプ分布）を介して記述され得る、という観察を使用している。いくつかの実施形態では、隣接する核は、距離ｄ＝７５個のピクセル内の核として画定される。他の実施形態では、距離の範囲は、約２５個のピクセルと約１００個のピクセルの間である。
【０１０３】
[00126]隣接する核の外観を文脈情報として捕獲するために、「語の多重集合」を使用して、以下で概説される、また、図３Ａ及び３Ｂに示されているステップを使用してそれらの外観が定量化される。
【０１０４】
[00127]最初に、一組の訓練画像が提供される。個々の訓練画像は、ＰＤ−Ｌ１陽性及び陰性腫瘍細胞並びに非腫瘍細胞、例えばリンパ球細胞を含む、異なるタイプの複数の細胞を含む。訓練画像は、核識別アルゴリズムのための入力として使用される。
【０１０５】
[00128]核が検出され（ステップ６００）、次に、当分野で知られているように、また、上で説明した方法に従って、訓練画像中のすべての核に対する核特徴が抽出される（ステップ６１０を参照されたい）。次に、「Ｃ個の」クラスタ中心を得るために、すべての訓練核特徴に対するＫ平均アルゴリズムを使用してクラスタ化手順が実施される（ステップ６２０を参照されたい）。いくつかの実施形態では、Ｋ平均アルゴリズムは候補「語」をクラスタ化し、また、得られたクラスタ中心（Ｃ個）は、「視覚語彙」を構築するために獲得される。例えば訓練画像中の核の各々に対して抽出された核特徴メトリクスは、核特徴ベクトルとして記憶される。個々の識別された核は、前記核の核特徴及び／又は文脈情報メトリクスを含むそのそれぞれの核特徴ベクトルによって表される。次に、Ｋ平均アルゴリズムが訓練画像の核特徴ベクトルに対して反復して適用され、それにより個々のクラスタの中心が、前記クラスタ中心に割り当てられたすべての核特徴メトリクスのそれぞれの核特徴メトリクスの平均値のベクトルとして導出された計算核特徴ベクトルとして表される。クラスタ中心を表している核特徴ベクトルは、反復毎に再計算され、かつ、洗練され、訓練画像の核の核特徴と、クラスタ中心を表しているベクトル中のそれぞれの特徴値との間の相違が最小化されるよう、反復毎に個々の核特徴ベクトルがそれぞれのクラスタ中心に再割り当てされる。終了基準に到達すると、複数のクラスタ中心は、訓練フェーズの結果として、「視覚語彙」として提供される。それにより訓練された分類器、及び例えばＣ個の核特徴ベクトルの形態の一組のＣ個の事前訓練済みクラスタ中心が訓練フェーズで得られる。
【０１０６】
[00129]次に、組織標本の画像中で、例えば本発明の他の実施形態に対して既に説明した画像分割アルゴリズムによって核が識別される。組織標本の画像は、訓練画像を使用して訓練された、又は訓練ステップを実施した機械学習アプリケーションから「視覚ライブラリ」（すなわちＣ個のクラスタ中心を有する訓練された分類モデル）を受け取った分類器のための入力として使用される。
【０１０７】
[00130]組織標本の前記画像中の所与のＮｏＩに対して、次に、Ｃ個の中心までの個々の隣接する核の核特徴ベクトルのＥｕｃｌｉｄｅａｎ距離を使用して、その隣接する核が最も近くのクラスタ中心に割り当てられ、また、クラスタ割当てのヒストグラムが計算される（ステップ６３０を参照されたい）。クラスタ割当てのヒストグラムは、特定のクラスタに属するＮｏＩの前記環境に含まれている核の数を示す。近辺における核のクラスタ割当ては、ＮｏＩの周りの環境を記述するための手段である。このヒストグラムは、ＮｏＩの文脈情報メトリックである。最後に、核特徴及び文脈特徴が訓練及び分類のために単一のベクトルに結合される。
【０１０８】
[00131]いくつかの実施形態では、文脈−ＢｏＷ方法は、（ａ）個々の核から抽出された１つ又は複数の核特徴に基づいて、訓練画像の個々の核に対する核特徴ベクトルを生成すること、（ｂ）Ｋ平均アルゴリズムを使用してクラスタ化手順を核特徴ベクトルに対して実施することによって、複数のＣ個の事前訓練済みクラスタを獲得すること、（ｃ）訓練核に隣接する個々の核を、（ｃ１）個々の個別の隣接する核の核特徴ベクトルから個々のＣ個のクラスタの中心までのＥｕｃｌｉｄｅａｎ距離を測定し、かつ、（ｃ２）個々の隣接する核を、その中心がその核の核特徴ベクトルに最も近いクラスタに割り当てることによって、複数のＣ個のクラスタのうちの１つに割り当てること、（ｄ）隣接する核のクラスタ割当てのヒストグラムを計算することによって、個々の訓練核の文脈特徴を決定すること、及び（ｅ）核特徴及び文脈特徴を訓練核のための単一の完全な特徴ベクトルに結合すること、並びに（ｆ）すべての訓練核の完全な特徴ベクトルを使用して分類モデルを訓練することによって、複数の訓練画像からの複数の訓練核上で訓練される。
【０１０９】
[00132]いくつかの実施形態では、文脈−ＢｏＷ方法は、（ａ）核から抽出された１つ又は複数の核特徴に基づいて、試験画像の個々の核に対する核特徴ベクトルを生成すること、（ｂ）対象の核の個々の個別の隣接する核を、（ｃ１）個々の個別の隣接する核の核特徴ベクトルから複数のクラスタの中心までのＥｕｃｌｉｄｅａｎ距離を測定し、かつ、（ｃ２）個々の隣接する核を、その中心がその核の核特徴ベクトルに最も近いクラスタに割り当てることによって、複数の事前訓練済みクラスタのうちの１つに割り当てること、（ｄ）隣接する核のクラスタ割当てのヒストグラムを計算することによって、対象の核の文脈特徴を決定すること、及び（ｅ）対象の核の核特徴ベクトルを文脈特徴と結合して、対象の核のための完全な特徴ベクトルにすること、（ｆ）訓練された分類モデルを対象の核の完全な特徴ベクトルに対して適用してそれを分類することによって試験画像中の対象の核を分類する。
【０１１０】
[00133]いくつかの実施形態では、ＢｏＷ方法は文脈−ＣＲＦ方法より安定であり、及び／又は必要な計算コストが文脈−テクスチャ方法及び文脈−テクストン方法より安価であるとされている（追加特徴を計算する必要がないため）。
【０１１１】
[00134]分類モジュール
[00135]核メトリクス及び文脈情報メトリクスが特徴抽出モジュールによって導出されると、メトリクスは、タイプ（例えば腫瘍、免疫、間質、等々）、又は特定の染色（例えばＰＤＬ１の存在を示す染色）に対する応答に従って細胞核を検出し、かつ、ラベル付けするために分類モジュールに提供される。いくつかの実施形態では、分類器が訓練され、次に、陽性腫瘍、陰性腫瘍、陽性リンパ球、非標的染色、及びその他を含むＰＤ−Ｌ１染色組織中の核の５つの等級を区別するために使用される（ＰＤ−Ｌ１染色肺組織画像中の核の５つの等級を示し、陽性腫瘍、陰性腫瘍、陽性リンパ球、非標的染色及びその他がそれぞれ緑矢印（「Ｅ」）、青矢印（「Ａ」）、赤矢印（「Ｂ」）、黄矢印（「Ｃ」）及び青緑矢印（「Ｄ」）で示されている図７Ａ及び７Ｂを参照されたい）。訓練中、専門家観察者によって、当業者に知られている手順に従って提供されるグラウンドトルース識別と共に例示的細胞が提供される。
【０１１２】
[00136]いくつかの実施形態では、分類モジュールは、Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ（「ＳＶＭ」）である。一般に、ＳＶＭは、統計的学習理論に基づかれる分類技法であり、非線形ケースの場合、非線形入力データセットがカーネルを介して高次元線形特徴空間に変換される。何らかの特定の理論に縛られるつもりはないが、サポート・ベクター・マシンは、２つの異なる等級を表す一組の訓練データＥをカーネル関数Ｋによって高次元空間に投入するとされている。この変換されたデータ空間では、非線形データが変換され、したがって等級を分離して等級分離を最大化するための平らな線が生成され得る（識別超平面）。次に、試験データがＫを介して高次元空間に投入され、それらが超平面に関して降下する場所を基本として試験データが分類される。カーネル関数Ｋは、データが高次元空間に投入される方法を定義する。
【０１１３】
[00137]以下の例１で詳細に説明されるように、本出願人は、ＰＤ−Ｌ１核の分類には文脈情報が有用であることを示すために広範囲にわたる実験評価を実施した。さらに、本出願人は、提案される文脈−Ｂｏｗ方法は、典型的には数万の細胞核を含む組織標本の分析に関連する良好な分類精度を低計算コストで提供するため、魅力的であることを示した。
【０１１４】
[00138]例１
[00139]ＰＤ−Ｌ１染色肺標本からの腫瘍のある組織から検出された核を有する核データベースを使用して包括的評価が実施された。スライドがＶＥＮＴＡＮＡ  ｉＳｃａｎ  ＨＴスキャナ上で走査され、０．４６５μｍピクセルサイズのＲＧＢ全スライド画像が得られた。
【０１１５】
[00140]これらのＰＤ−Ｌ１染色組織画像（図７Ａ及び７Ｂを参照されたい）の場合、５つの異なるタイプの核を分類しなければならなかった。ＰＤ−Ｌ１データベースは、ＰＤ−Ｌ１染色肺標本から得られた６００×７００個のピクセルの２５６個の画像を含んでいた。スライドは、再度ＶＥＮＴＡＮＡ  ｉＳｃａｎ  ＨＴスキャナ上で走査され、０．４６５μｍピクセルサイズのＲＧＢ全スライド画像が得られた。これらの画像から、ＰＤ−Ｌ１陽性腫瘍細胞（２，４１４個）からの核、ＰＤ−Ｌ１陰性腫瘍細胞（１，６２０個）からの核、ＰＤ−Ｌ１陽性リンパ球（２，８５１個）からの核、非標的染色細胞（１，７５３個）からの核及び残りのＰＤ−Ｌ１陰性細胞（１，８３４個）からの核を含む５つのタイプの多数の核が病理学者によって選択された（図７Ａ及び７Ｂ）。これらは、ＰＤ−Ｌ１陽性腫瘍核、ＰＤ−Ｌ１陰性腫瘍核、ＰＤ−Ｌ１陽性リンパ球、非標的染色応答（非標的染色）、及び他の細胞の残りのＰＤ−Ｌ１陰性核である。ＰＤ−Ｌ１マーカは、細胞の膜を染色して、核境界に沿って茶色のブロブ又は茶色のリングを生成する。表１は、３つのデータベースを要約したものである。図９及び１０は、分類結果の追加例を提供したものである。図９及び１０では、緑の点（ひし形）、青い点（開いた円）、赤い点（開いた正方形）、黄色い点（三角形）及び青緑の点（アスタリスク）は、それぞれ陽性腫瘍、陰性腫瘍、陽性リンパ球、非標的染色及びその他の核を表している。図９Ｅ及び９Ｆは、組織の特定の切片を示しており、また、同様に陽性腫瘍、陰性腫瘍、陽性リンパ球、非標的染色及びその他の核を示している。
【０１１６】
[00141]１０倍画像ベース交差検証がこのデータベースに対して実施され、平均精度及び標準偏差が報告される。個々の画像中の核が訓練又は試験のいずれかのために使用され、すなわち核は、同じ画像から取り上げられた核を使用して訓練されたモデルは決して試験されなかった。文字通り他の研究と同様、ＳＶＭ分類器が使用された。核特徴のみ（文脈情報なし）が使用された場合に得られる分類精度、並びに４つの文脈−認識方法（ｃｏｎｔｅｘｔ−ａｗａｒｅ  ｍｅｔｈｏｄｓ）によって得られる精度が表１に報告されている。文脈−ＣＲＦ方法及び文脈−Ｂｏｗ方法が、図８Ａ及び８Ｂにおけるパラメータ選択に関して、それらの精度をプロットすることによってさらに比較された。異なるパラメータ値（図８Ａ及び８Ｂに示されている）を使用した文脈−Ｂｏｗ方法及び文脈ＣＲＦ方法の性能の評価は、文脈−ＢｏＷ方法は、パラメータ選択に対してより安定であることを立証した。
【０１１７】
[00142]上で言及したように、文脈−ＣＲＦ方法の重要なパラメータは規則化パラメータであり、一方、文脈−ＢｏＷ方法の重要なパラメータはクラスタの数Ｃである。「規則化パラメータ」は、例えば所与のクラスタの核に割り当てられるラベルの均質性を制御するパラメータである。このパラメータの値が大きいほど、同じ等級に割り当てられた核に同じラベルが割り当てられるようになる確率が高くなる。
【０１１８】
[00143]３つのすべてのデータベースに対して、文脈−ＣＲＦ方法の試験は、２［０：００１；０：０１；０：０５；０：１；０：５；１］を含み、また、文脈−ＢｏＷ方法は、Ｃ２［１０；３０；５０；７０；１００；１５０；２００］を使用している。結果は、最良の精度が得られるパラメータ選択に対して報告されている。文脈−テクスチャ方法の場合、重要なパラメータはパッチサイズＳのみである。このパラメータは、文脈−ＣＲＦ方法及び文脈−ＢｏＷ方法におけるパラメータｄと整合するよう、１５０個のピクセルとして固定されている。パラメータｄは、例えば２つの核ｎｉとｎｊの間の距離閾値であってもよく、２つの核は、それらの距離がｄ未満である場合、隣接する核と見なされ、ｄは、例えば７５ｐｘであってもよい。公平な比較のために同じサイズの局所組織近辺が強制されている。すべての分類精度が表２に報告されている。
【０１１９】
[00144]これらの結果は、（ｉ）核メトリクスと相俟った文脈情報メトリクスの使用は、核メトリクスのみに依拠している従来技術と比較すると、核分類精度の改善を提供する、（ｉｉ）提案される文脈−Ｂｏｗ方法は、文脈−ＣＲＦ方法より良好に実施すると思われる、（ｉｉｉ）また、文脈−テクスチャ方法及び文脈−テクストン方法は、文脈−ＢｏＷ方法より幾分か良好に実施するが、それらは、計算的に高価である、個々の核を中心とする画像パッチに対するテクスチャ特徴又はフィルタ応答の余計な計算を必要とすると思われる、という主要な結論をもたらした。それとは対照的に、文脈−Ｂｏｗ方法及び文脈−ＣＲＦ方法は、隣接する核からの事前計算済み核特徴及びラベルをＣＩとして利用し、したがってそれらの方法は、追加特徴抽出を必要とすることなくＣＩを組み込むことができる。
【０１２０】
【表１】
0006800152.tif 000003
【０１２１】
[00145]例２
[00146]ＰＤ−Ｌ１染色スライドをスコアリングするための例が図１１Ａ〜Ｄに示されている。ＰＤ−Ｌ１（茶色のＤＡＢでラベルが付けられている）及び対比染色ヘマトキシリンで免疫組織化学的に染色された組織標本のデジタル画像が図１１Ａ及び１１Ｂに示されている。開示されている方法を実現している自動分析は、細胞を個々に検出し（この解像度では見られない）、かつ、それらをＰＤ−Ｌ１陽性腫瘍細胞、ＰＤ−Ｌ１陰性腫瘍細胞、ＰＤ−Ｌ１陽性リンパ球又は任意の他の細胞のうちの１つとしてラベル付けした。これらの自動生成読取りから、免疫及び免疫細胞に関して、このスライド上の組織がそのＰＤ−Ｌ１状態に対して個々にスコアされた。腫瘍細胞をスコアするために、ＰＤ−Ｌ１陽性腫瘍細胞の微小部分が腫瘍細胞の総数（すなわちＰＤ−Ｌ１陽性腫瘍細胞及びＰＤ−Ｌ１陰性腫瘍細胞）で割られる。スライド上の組織は、腫瘍細胞の約９０％がＰＤ−Ｌ１に対して陽性としてスコアされた。免疫細胞をスコアするために、これらの細胞を含む画像中の面積が測定される。ＰＤ−Ｌ１陽性リンパ球（免疫細胞）を含む腫瘍面積の微小部分がスコアされる。図１１Ｂ及び１１Ｄに示されている組織の場合、腫瘍の面積は４３．９ｍｍ２であり（緑又は軽く影が付けられたオーバレイとして示されている）、また、ＰＤ−Ｌ１陽性免疫細胞を有する面積は３．２ｍｍ２である（赤又は暗く影が付けられたオーバレイとして示されている）。したがってこの組織スライドに対するＰＤ−Ｌ１免疫スコアは、３．２／（３．２＋４３．９）＝６．８％である。
【０１２２】
[00147]本開示の実施形態を実践するための他の構成要素
[00148]本開示の別の態様では、組織学画像中の核を分類する方法であって、前記方法は、ＮｏＩの抽出された特徴及びＮｏＩを取り囲んでいる領域に関する文脈情報に基づいて対象の核（ＮｏＩ）を分類するようにプログラムされたコンピュータプロセッサを備えたコンピュータ装置上で組織学画像を解析するステップを含む。いくつかの実施形態では、文脈情報は、ＮｏＩを取り囲んでいる核に関する文脈情報を含む。いくつかの実施形態では、文脈情報は、文脈−ＣＲＦ方法又は文脈−Ｂｏｗ方法を使用して計算される。いくつかの実施形態では、文脈−ＢｏＷ方法は、（ａ）個々の核から抽出された１つ又は複数の核特徴に基づいて、訓練画像の個々の核に対する核特徴ベクトルを生成すること、（ｂ）Ｋ平均アルゴリズムを使用してクラスタ化手順を核特徴ベクトルに対して実施することによって、複数のＣ個の事前訓練済みクラスタを獲得すること、（ｃ）訓練核に隣接する個々の核を、（ｃ１）個々の個別の隣接する核の核特徴ベクトルから個々のＣ個のクラスタの中心までのＥｕｃｌｉｄｅａｎ距離を測定し、かつ、（ｃ２）個々の隣接する核を、その中心がその核の核特徴ベクトルに最も近いクラスタに割り当てることによって、複数のＣ個のクラスタのうちの１つに割り当てること、（ｄ）隣接する核のクラスタ割当てのヒストグラムを計算することによって、個々の訓練核の文脈特徴を決定すること（「隣接する核」は、例えば前記訓練核のコアからの最大距離以内に存在する核、及び／又は前記訓練核の周りを中心とするパッチであって、例えば１５０個のピクセル（約７０ミクロン）の寸法を有するパッチ内に存在する核である）、及び（ｅ）核特徴及び文脈特徴を訓練核のための単一の完全な特徴ベクトルに結合すること、（ｆ）すべての訓練核の完全な特徴ベクトルを使用して分類モデルを訓練することによって、複数の訓練画像からの複数の訓練核上で訓練されている。いくつかの実施形態では、文脈−Ｂｏｗ方法は、（ａ）核から抽出された１つ又は複数の核特徴に基づいて、試験画像の個々の核に対する核特徴ベクトルを生成すること、（ｂ）ＮｏＩの個々の個別の隣接する核を、（ｃ１）個々の個別の隣接する核の核特徴ベクトルからＣ個のクラスタの中心までのＥｕｃｌｉｄｅａｎ距離を測定し、かつ、（ｃ２）個々の隣接する核を、その中心がその核の核特徴ベクトルに最も近いクラスタに割り当てることによって、Ｃ個の事前訓練済みクラスタのうちの１つに割り当てること、（ｄ）隣接する核のクラスタ割当てのヒストグラムを計算することによって、ＮｏＩの文脈特徴を決定すること、及び（ｅ）ＮｏＩの核特徴ベクトルを文脈特徴と結合して、ＮｏＩのための完全な特徴ベクトルにすること、（ｆ）訓練された分類モデルをＮｏＩの完全な特徴ベクトルに対して適用してそれを分類することによって試験画像中のＮｏＩを分類する。
【０１２３】
[00149]訓練並びに試験フェーズでは、クラスタ割当てのヒストグラムは、特定のクラスタ（又はクラスタ中心）に割り当てられる特定のＮｏＩに隣接する核である核の数を示す。「割り当てられる」は、隣接する核の核特徴ベクトルの、その割り当てられたクラスタの中心までのＥｕｃｌｉｄｉａｎ距離が、他のすべてのクラスタの中心までのＥｕｃｌｉｄｉａｎ距離よりも短いことを暗に意味し得る。したがって個々のクラスタ中心は、核特徴ベクトルとして同じく表されることが可能であり、また、ｋ平均クラスタ化を実施している間、反復して計算され、かつ、洗練され得る。クラスタ中心核特徴ベクトルは、微分、例えば平均核特徴メトリクスのベクトル、又は特定の反復で前記クラスタに割り当てられるすべての隣接する核の核特徴ベクトルとして計算され得る。
【０１２４】
[00150]本開示のコンピュータシステムは、組織標本に対する１つ又は複数の準備プロセスを実施することができる標本処理装置に結合され得る。準備プロセスは、それらに限定されないが、標本の脱パラフィン化、標本の条件付け（例えば細胞条件付け）、標本の染色、抗原回収の実施、免疫組織化学染色（ラベル付けを含む）又は他の反応の実施、及び／又はインサイチューハイブリダイゼーション（例えばＳＩＳＨ、ＦＩＳＨ、等々）染色（ラベル付けを含む）又は他の反応の実施、並びに顕微鏡法、微量分析、質量分析方法又は他の分析方法のための標本を準備するための他のプロセスを含むことができる。
【０１２５】
[00151]標本は組織標本を含むことができる。組織の標本は、その中又は上に標的が存在し得る任意の液体、半固体又は固体物質（又は材料）であってもよい。詳細には、組織標本は、生物学的標本又は生物学的組織から得られる組織標本であってもよい。組織は、生体内の同様の機能を実施する相互接続された細胞の集合であってもよい。いくつかの例では、生物学的標本は、ヒト被検体などの動物被検体から得られる。生物学的標本は、それらに限定されないが、とりわけバクテリア、酵母菌、原生動物及びアメーバなどの単細胞生体、多細胞生体（健康な、又は外見上健康なヒト被検体からの標本、又は癌などの診断又は調査されるべき状態又は疾病による影響を受けたヒト患者からの標本を含む植物又は動物など）を含む、任意の生きた生体から得られた、任意の生きた生体によって排泄された、又は任意の生きた生体によって分泌された任意の固体標本又は流体標本であってもよい。例えば生物学的標本は、例えば血液、血漿、血清、尿、胆汁、腹水、唾液、脳脊髄液、房水又は硝子体液あるいは任意の身体分泌物、漏出液、滲出液（例えば膿瘍又は感染あるいは炎症の任意の他の部位から得られる流体）、又は関節（例えば正常関節又は疾病による影響を受けた関節）から得られる流体から得られる生物学的流体であってもよい。また、生物学的標本は、任意の臓器又は組織（腫瘍生検などの生検標本又は剖検標本を含む）から得られる標本であってもよく、あるいは細胞（一次細胞であれ、あるいは培養された細胞であれ）又は任意の細胞、組織又は臓器によって条件付けられた媒質を含むことも可能である。いくつかの例では、生物学的標本は核抽出物である。特定の例では、標本は、開示された細胞小球切片標本のうちの１つなどの品質管理標本である。他の例では、標本は試験標本である。例えば試験標本は、被検体から得られた生物学的標本から準備される細胞、組織又は細胞小球切片である。一例では、被検体は、危険な状態にある被検体、又は特定の条件又は疾病にかかった被検体である。いくつかの実施形態では、標本は乳房組織である。
【０１２６】
[00152]処理装置は、固定剤を標本に加えることができる。固定剤は、架橋剤（アルデヒド、例えばホルムアルデヒド、パラホルムアルデヒド及びグルタルアルデヒド、並びに非アルデヒド架橋剤など）、酸化剤（例えば、無水オスミン酸及びクロム酸などの、金属イオン及び錯体）、タンパク質変性剤（例えば酢酸、メタノール及びエタノール）、未知の機構の固定剤（例えば塩化第二水銀、アセトン及びピクリン酸）、組合せ試薬（例えばカルノア（Ｃａｒｎｏｙ）の固定剤、メタカルン（ｍｅｔｈａｃａｒｎ）、ブアン（Ｂｏｕｉｎ）液、Ｂ５固定剤、ロスマン（Ｒｏｓｓｍａｎ）液及びジェンドル（Ｇｅｎｄｒｅ）液、マイクロ波及び多様な固定剤（例えば排除体積定着及び蒸気定着）を含むことができる。
【０１２７】
[00153]標本がパラフィン中に埋め込まれた標本である場合、標本は、適切な脱パラフィン化流体を使用して脱パラフィン化され得る。廃棄物除去剤が脱パラフィン化流体を除去すると、任意の数の物質が連続的に標本に加えられ得る。物質は、前処理（例えばタンパク質の架橋、核酸の露出、等々）、変性化、ハイブリダイゼーション、洗浄（例えば厳重洗浄）、検出（例えば視覚又はマーカ分子をプローブに連結する）、増幅（例えばタンパク質、遺伝子、等々の増幅）、対比染色、カバーガラス化、等々のためのものであってもよい。
【０１２８】
[00154]標本処理装置は、広範囲にわたる物質を標本に加えることができる。物質は、それらに限定されないが、染料、プローブ、試薬、リンス及び／又はコンディショナを含む。物質は、流体（例えば気体、液体又は気体／液体混合物）、等々であってもよい。流体は、溶媒（例えば極性溶媒、非極性溶媒、等々）、溶液（例えば水溶液又は他のタイプの溶液）、等々であってもよい。試薬は、それらに限定されないが、染料、湿潤剤、抗体（例えば単クローン抗体、ポリクローン抗体、等々）、抗原回収流体（例えば水溶性又は非水溶性ベース抗原回収溶液、抗原回収緩衝剤、等々）、等々を含むことができる。プローブは、検出可能ラベル又はリポータ分子に取り付けられた、隔離された核酸又は隔離された合成オリゴ核酸塩であってもよい。ラベルは、放射性アイソトープ、酵素基質、補因子、リガンド、化学発光又は蛍光薬品、ハプテン及び酵素を含むことができる。
【０１２９】
[00155]標本処理装置は、Ｖｅｎｔａｎａ  Ｍｅｄｉｃａｌ  Ｓｙｓｔｅｍｓ社が販売しているＢＥＮＣＨＭＡＲＫ  ＸＴ器機及びＳＹＭＰＨＯＮＹ器機などの自動装置であってもよい。Ｖｅｎｔａｎａ  Ｍｅｄｉｃａｌ  Ｓｙｓｔｅｍｓ社は、自動分析を実施するためのシステム及び方法を開示している、米国特許第５６５０３２７号、第５６５４２００号、第６２９６８０９号、第６３５２８６１号、第６８２７９０１号及び第６９４３０２９号、並びに米国公開特許出願第２００３０２１１６３０号及び第２００４００５２６８５号を含む多くの米国特許の譲受人であり、これらの各々は、参照によりその全体が本明細書に組み込まれている。別法としては、標本は手動で処理され得る。
【０１３０】
[00156]標本が処理されると、ユーザは、標本を担ったスライドを画像化装置に輸送することができる。ここで使用される画像化装置は、明視野イメージャスライドスキャナである。明視野イメージャの１つは、Ｖｅｎｔａｎａ  Ｍｅｄｉｃａｌ  Ｓｙｓｔｅｍｓ社が販売しているｉＳｃａｎ  Ｃｏｒｅｏ（商標）明視野スキャナである。自動化実施形態では、画像化装置は、ＩＭＡＧＩＮＧ  ＳＹＳＴＥＭＳ  ＡＮＤ  ＴＥＣＨＮＩＱＵＥＳ（画像化システム及び技法）という名称の国際特許出願第ＰＣＴ／ＵＳ２０１０／００２７７２号（特許公開第ＷＯ／２０１１／０４９６０８号）に開示されているデジタル病理学デバイス、又は２０１１年９月９日に出願した、ＩＭＡＧＩＮＧ  ＳＹＳＴＥＭＳ，  ＣＡＳＳＥＴＴＥＳ，  ＡＮＤ  ＭＥＴＨＯＤＳ  ＯＦ  ＵＳＩＮＧ  ＴＨＥ  ＳＡＭＥ（画像化システム、カセット及びその使用方法）という名称の米国特許出願第６１／５３３１１４号に開示されているデジタル病理学デバイスである。国際特許出願第ＰＣＴ／ＵＳ２０１０／００２７７２号及び米国特許出願第６１／５３３１１４号は、参照によりその全体が組み込まれている。他の実施形態では、画像化装置は、顕微鏡に結合されたデジタルカメラを含む。
【０１３１】
[00157]画像化システム又は装置は、多重スペクトル画像化（ＭＳＩ）システム又は蛍光顕微鏡法システムであってもよい。ここで使用される画像化システムはＭＳＩである。ＭＳＩは、通常、病理学標本の分析には、ピクセルレベルにおける画像のスペクトル分布へのアクセスを提供することによるコンピュータ化された顕微鏡ベース画像化システムが必要である。様々な多重スペクトル画像化システムが存在しているが、これらのシステムのすべてに共通している動作態様は、多重スペクトル画像を形成する能力である。多重スペクトル画像は、特定の波長又は電磁スペクトルにわたる特定のスペクトル帯域幅で画像データを捕獲する画像である。これらの波長は、光フィルタによって、又は例えば赤外線（ＩＲ）などの可視光範囲の範囲を超える波長における電磁放射を含む所定のスペクトル成分を選択することができる他の器機を使用することによって選び出され得る。
【０１３２】
[00158]ＭＳＩは、光学画像化システムを含むことができ、その一部は、所定の数Ｎの離散光帯域を画定するべく同調可能なスペクトル選択システムを含む。光学システムは、広帯域光源を使用した伝送で光検出器上に照明された組織標本を画像化するように適合され得る。一実施形態では例えば顕微鏡などの拡大システムを含むことができる光学画像化システムは、通常は光学システムの単一の光出力と空間的に整列される単一の光軸を有する。システムは、画像が異なる離散スペクトル帯域で獲得されることを補償するなどのためにスペクトル選択システムが調整すなわち同調されると（例えばコンピュータプロセッサを使用して）、組織の一連の画像を形成する。装置は、追加で、獲得された一連の画像から、組織の少なくとも１つの視覚的に知覚可能な画像が出現するディスプレイを含むことも可能である。スペクトル選択システムは、回折格子、薄膜干渉フィルタなどの光フィルタの集合、又はユーザ入力又は事前プログラム済みプロセッサのコマンドのいずれかに応答して、光源から標本を介して検出へ向けて伝送される光のスペクトルから特定の通過帯域を選択するように適合された任意の他のシステムなどの光学分散要素を含むことができる。
【０１３３】
[00159]代替実施態様では、スペクトル選択システムは、Ｎ個の離散スペクトル帯域に対応するいくつかの光出力を画定する。このタイプのシステムは、光学システムからの伝送光出力を取り込み、かつ、識別されたスペクトル帯域中の標本をこの識別されたスペクトル帯域に対応する光路に沿った検出器システム上に画像化する方法で、この光出力の少なくとも一部をＮ個の空間的に異なる光路に沿って方向を向けなおす。
【０１３４】
[00160]本明細書において説明されている本主題の実施形態及び動作は、デジタル電子回路機構の中、又は本明細書において開示されている構造及びそれらの構造的等価物を含むコンピュータソフトウェア、ファームウェア又はハードウェアの中、あるいはそれらのうちの１つ又は複数の組合せの中で実現され得る。本明細書において説明されている本主題の実施形態は、１つ又は複数のコンピュータプログラム、すなわちデータ処理装置による実行のため、又はデータ処理装置の動作を制御するためにコンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の１つ又は複数のモジュールとして実現され得る。
【０１３５】
[00161]コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダム又はシリアルアクセスメモリアレイ又はデバイス、あるいはそれらのうちの１つ又は複数の組合せであっても、あるいはそれらの中に含まれ得る。さらに、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝搬信号中に符号化されたコンピュータプログラム命令のソース又は行先であってもよい。また、コンピュータ記憶媒体は、１つ又は複数の個別の物理的構成要素又は媒体（例えば複数のＣＤ、ディスク又は他の記憶デバイス）であっても、あるいはそれらの中に含まれ得る。本明細書において説明されている動作は、１つ又は複数のコンピュータ可読記憶デバイス上に記憶された、又は他のソースから受け取られるデータ上でデータ処理装置によって実施される動作として実現され得る。
【０１３６】
[00162]「プログラムされたプロセッサ」という用語は、一例としてプログラマブルマイクロプロセッサ、コンピュータ、チップ上システム又は複数のチップ上システム、又はそれらの組合せを含む、データを処理するためのあらゆる種類の装置、デバイス及び計算機を包含する。装置は、専用論理回路機構、例えばＦＰＧＡ（書替え可能ゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）を含むことができる。また、装置は、ハードウェアに加えて、当該コンピュータプログラムのための実行環境を生成するコード、例えばプロセッサファームウェア、プロトコルスタック、データベースマネジメントシステム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想計算機、又はそれらのうちの１つ又は複数の組合せを構成するコードを含むことも可能である。装置及び実行環境は、ウェブサービス、分散計算及び格子計算インフラストラクチャなどの様々な異なる計算モデルインフラストラクチャを実現することができる。
【０１３７】
[00163]コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト又はコードとしても知られている）は、コンパイル済み又は翻訳済み言語、宣言又は手続き形言語を含む任意の形態のプログラミング言語で作成されることが可能であり、また、コンピュータプログラムは、独立型プログラムとして、あるいはモジュールとして、コンポーネント、サブルーチン、オブジェクト又は計算環境に使用するために適した他のユニットを含む任意の形態で展開され得る。コンピュータプログラムは、必ずしもその必要はないが、ファイルシステム内のファイルに対応し得る。プログラムは、他のプログラム又はデータ（例えばマーク付け言語文書に記憶されている１つ又は複数のスクリプト）を保持しているファイルの一部、当該プログラム専用の単一のファイル又は複数の調整済みファイル（例えば１つ又は複数のモジュール、サブプログラム又はコードの一部を記憶するファイル）に記憶され得る。コンピュータプログラムは、１つのコンピュータ上、又は１つのサイトに配置されている、あるいは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開され得る。
【０１３８】
[00164]本明細書において説明されているプロセスフロー及び論理フローは、入力データ上で動作し、かつ、出力を生成することによってアクションを実施するために、１つ又は複数のコンピュータプログラムを実行する１つ又は複数のプログラマブルプロセッサによって実施され得る。また、プロセスフロー及び論理フローは、専用論理回路、例えばＦＰＧＡ（書替え可能ゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）によって実施されることも可能であり、また、装置は、専用論理回路、例えばＦＰＧＡ（書替え可能ゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）として同じく実現され得る。
【０１３９】
[00165]コンピュータプログラムを実行するために適したプロセッサには、一例として、汎用及び専用の両方のマイクロプロセッサ、及び任意の種類のデジタルコンピュータの任意の１つ又は複数のプロセッサがある。通常、プロセッサは、リードオンリメモリ又はランダムアクセスメモリあるいはそれらの両方から命令及びデータを受け取ることになる。コンピュータの本質的な要素は、命令に従ってアクションを実施するためのプロセッサ、及び命令及びデータを記憶するための１つ又は複数のメモリデバイスである。通常、コンピュータは、データを記憶するための１つ又は複数の大容量記憶装置、例えば磁気ディスク、光磁気ディスク又は光ディスクを含むことも可能であり、あるいはデータを受け取り、もしくはデータを転送し、又はそれらの両方のためにこれらの大容量記憶装置に動作結合され得る。しかしながら、コンピュータはこのようなデバイスを有する必要はない。さらに、コンピュータは別のデバイスの中に埋め込まれることも可能であり、例えばほんのいくつかを挙げると、移動電話、パーソナルデジタルアシスタント（ＰＤＡ）、移動オーディオ又はビデオプレーヤ、ゲームコンソール、広域位置決めシステム（ＧＰＳ）受信機又は携帯型記憶装置（例えばユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ）の中に埋め込まれ得る。コンピュータプログラム命令及びデータを記憶するために適したデバイスには、一例として半導体メモリデバイス、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス、磁気ディスク、例えば内部ハードディスク又は取外し可能ディスク、光磁気ディスク、及びＣＤ−ＲＯＭ並びにＤＶＤ−ＲＯＭディスクを始めとする、あらゆる形態の不揮発性メモリ、媒体及びメモリデバイスがある。プロセッサ及びメモリは、専用論理回路機構によって補足され、あるいは専用論理回路機構の中に組み込まれ得る。
【０１４０】
[00166]ユーザとの対話を提供するために、本明細書において説明されている主題の実施形態は、表示デバイス、例えばユーザに情報を表示するためのＬＣＤ（液晶ディスプレイ）、ＬＥＤ（発光ダイオード）ディスプレイ又はＯＬＥＤ（有機発光ダイオード）ディスプレイ、及びユーザがコンピュータに入力を提供することができるキーボード及び位置決め装置、例えばマウス又はトラックボールを有するコンピュータ上で実現され得る。いくつかの実施態様では、タッチスクリーンを使用して情報が表示され、かつ、ユーザから入力が受け取られ得る。他の種類のデバイスを使用してユーザとの対話が提供されることも可能であり、例えばユーザに提供されるフィードバックは、任意の形態の知覚フィードバック、例えば視覚フィードバック、聴覚フィードバック又は触覚フィードバックであってもよく、また、ユーザからの入力は、音響、音声又は触覚入力を含む任意の形態で受け取られ得る。さらに、コンピュータは、ユーザが使用しているデバイスに文書を送り、また、ユーザが使用しているデバイスから文書を受け取ることによってユーザと対話することができ、例えばウェブブラウザから受け取った要求に応答してユーザのクライアントデバイス上のウェブブラウザにウェブページを送ることによって対話することができる。
【０１４１】
[00167]本明細書において説明されている主題の実施形態は、例えばデータサーバとしてのバックエンド構成要素を含む計算システム、又はミドルウェア構成要素、例えばアプリケーション・サーバを含む計算システム、あるいはフロントエンド構成要素、例えばユーザが本明細書において説明されている主題の実施態様と対話することができるグラフィカル・ユーザ・インタフェース又はウェブブラウザを有するクライアント・コンピュータを含む計算システム、あるいは１つ又は複数のこのようなバックエンド構成要素、ミドルウェア構成要素又はフロントエンド構成要素の任意の組合せを含む計算システムの中で実現され得る。システムの構成要素は、デジタルデータ通信の任意の形態の媒介物、例えば通信ネットワークによって相互接続され得る。通信ネットワークの例には、ローカル・エリア・ネットワーク（「ＬＡＮ」）及び広域ネットワーク（「ＷＡＮ」）、インターネットワーク（例えばＩｎｔｅｒｎｅｔ）及びピア・トゥ・ピアネットワーク（例えばアドホック・ピア・トゥ・ピアネットワーク）がある。例えば図１のネットワーク２０は、１つ又は複数のローカル・エリア・ネットワークを含むことができる。
【０１４２】
[00168]計算システムは、任意の数のクライアント及びサーバを含むことができる。クライアント及びサーバは、通常、互いに遠隔に位置しており、典型的には通信ネットワークを介して対話する。クライアントとサーバの関係は、それぞれのコンピュータ上で走るコンピュータプログラムによって生じ、互いにクライアント−サーバ関係を有している。いくつかの実施形態では、サーバは、データ（例えばＨＴＭＬページ）をクライアントデバイスに伝送する（例えばクライアントデバイスと対話しているユーザにデータを表示し、また、ユーザからユーザ入力を受け取るために）。クライアントデバイスで生成されたデータ（例えばユーザ対話の結果）は、サーバでクライアントデバイスから受け取られ得る。
【０１４３】
[00169]以上、本明細書における開示について、特定の実施形態を参照して説明したが、これらの実施形態は、本開示の原理及び用途についての単なる例証にすぎないことを理解されたい。したがって添付の特許請求の範囲で定義されている本開示の精神及び範囲を逸脱することなく、多くの修正が実例実施形態に加えられ得ること、また、他の構造が工夫され得ることを理解されたい。書面にされた上記明細書は、当業者による本開示の実践を可能にするのに十分であると見なされる。
【図１Ａ】
0006800152.tif 000004
【図１Ｂ】
0006800152.tif 000005
【図１Ｃ】
0006800152.tif 000006
【図２Ａ】
0006800152.tif 000007
【図２Ｂ】
0006800152.tif 000008
【図３】
0006800152.tif 000009
【図４Ａ】
0006800152.tif 000010
【図４Ｂ】
0006800152.tif 000011
【図５Ａ】
0006800152.tif 000012
【図５Ｂ】
0006800152.tif 000013
【図６Ａ】
0006800152.tif 000014
【図６Ｂ】
0006800152.tif 000015
【図６Ｃ】
0006800152.tif 000016
【図６Ｄ】
0006800152.tif 000017
【図７Ａ】
0006800152.tif 000018
【図７Ｂ】
0006800152.tif 000019
【図８】
0006800152.tif 000020
【図９−１】
0006800152.tif 000021
【図９−２】
0006800152.tif 000022
【図１０】
0006800152.tif 000023
【図１１Ａ】
0006800152.tif 000024
【図１１Ｂ】
0006800152.tif 000025
【図１１Ｃ】
0006800152.tif 000026
【図１１Ｄ】
0006800152.tif 000027