(57)【特許請求の範囲】
【請求項１】
生体組織における組織種、細胞単位及び細胞内単位の多重チャネル階層的画像分割解析を実行するためのコンピュータ実施方法であって、
連続的に蛍光染色された生体組織の多重チャネル多重化画像に対応し、生体組織における複数の形態学的バイオマーカーの発現レベルを示す画像データにアクセスすること、
バイオマーカーの発現レベルに基づいて、画像データ上で、多重チャネル画像分割解析を実行して、生体組織における１以上の細胞の位置及び構成を特定すること、
バイオマーカーの発現レベルに基づいて、画像データ上で、多重チャネル画像分割解析を実行して、１以上の細胞内の１以上の細胞内形態学的単位の位置及び構成を特定すること、並びに、
１以上の細胞及び、１以上の細胞における１以上の細胞内形態学的単位の階層的表示を、視覚表示装置上にレンダリングすることを含み、
１以上の細胞内形態学的単位が、膜又は細胞質を含み、画像分割解析が、確率分布図を使用することにより、膜又は細胞質を特定して、膜又は細胞質をモデル化するリング様構造を生成する、方法。
【請求項２】
細胞レベルでの１以上の細胞形態学的単位におけるバイオマーカーの発現レベルを自動的に測定すること、及び、
細胞内形態学的単位のレベルでの１以上の細胞内形態学的単位におけるバイオマーカーの発現レベルを自動的に測定することをさらに含む、請求項１記載の方法。
【請求項３】
細胞内形態学的単位におけるバイオマーカーの発現レベルに基づいて、複数の生体組織領域を、自動的にグループ化することをさらに含む、請求項２記載の方法。
【請求項４】
１以上の細胞内形態学的単位におけるバイオマーカーの発現レベルと、１以上の細胞内形態学的単位の構成との間の関係を決定するための解析を実行することをさらに含む、請求項１記載の方法。
【請求項５】
１以上の細胞内形態学的単位が、１以上の核、１以上の細胞質及び／又は１つ上の膜を含む、請求項１記載の方法。
【請求項６】
バイオマーカーの発現レベルの表示を、１以上の細胞及び、１以上の細胞における１以上の細胞内形態学的単位の表示において、重ね合わせ法で、視覚表示装置上に自動的にレンダリングすることをさらに含む、請求項１記載の方法。
【請求項７】
バイオマーカーの発現レベルの測定を決定することをさらに含み、測定が、１以上の細胞における、１以上の細胞内形態学的単位に特異的である、請求項１記載の方法。
【請求項８】
バイオマーカーの発現レベルの測定が、発現レベルの平均である、請求項７記載の方法。
【請求項９】
１以上の細胞内形態学的単位の位置及び構成を、細胞内において形態的制約を強いることにより決定する、請求項１記載の方法。
【請求項１０】
複数の形態学的バイオマーカーが、１種類の細胞内形態学的単位を描写する複数のバイオマーカーを含む、請求項１記載の方法。
【請求項１１】
バイオマーカーの発現レベル及びバイオマーカーの形態学に基づいて、画像データ上で、画像分割解析を実行して、１以上の所望の組織系領域を特定すること、及び、
１以上の細胞、１以上の細胞における１以上の細胞内形態学的単位及び１以上の所望の組織系領域の階層的表示を、視覚表示装置上にレンダリングすることをさらに含む、請求項１記載の方法。
【請求項１２】
１以上の細胞内形態学的単位が、１以上の細胞の１以上の細胞膜、１以上の細胞の細胞質及び１以上の細胞の核を含み、及び、
１以上の細胞、１以上の所望の組織系領域、並びに、１以上の細胞の１以上の細胞膜、１以上の細胞の細胞質及び１以上の細胞の核の階層的表示を、視覚表示装置上にレンダリングすることを含む、請求項１１記載の方法。
【請求項１３】
１以上の所望の組織系領域が、間質細胞の集合又は上皮細胞の集合を含む、請求項１１記載の方法。
【請求項１４】
生体組織における組織種、細胞単位及び細胞内単位の多重チャネル階層的画像分割解析を実行するためのコンピュータ実施方法であって、
連続的に蛍光染色された生体組織の多重チャネル多重化画像に対応し、生体組織における複数の形態学的バイオマーカーの発現レベルを示す画像データにアクセスすること、
バイオマーカーの発現レベルに基づいて、画像データ上で、多重チャネル画像分割解析を実行して、生体組織における１以上の細胞の位置及び構成を特定すること、
バイオマーカーの発現レベルに基づいて、画像データ上で、多重チャネル画像分割解析を実行して、１以上の細胞内の１以上の細胞内形態学的単位の位置及び構成を特定すること、
１以上の細胞及び、１以上の細胞における１以上の細胞内形態学的単位の階層的表示を、視覚表示装置上にレンダリングすること、
１以上の細胞の位置及び構成を特定する画像分割解析に基づいて、１以上の細胞の形状を決定すること、及び、
１以上の細胞又は、１以上の細胞の形状に基づく細胞内単位又は細胞内単位についての順位を生成し、各順位が、細胞の境界又は、対応する細胞の細胞内単位若しくは細胞内単位を、画像分割解析により正確に特定する確率又は類似度を示すことを含む、方法。
【請求項１５】
階層的表示において、画像データのピクセルが、１種類の細胞内形態学的単位に関連する、請求項１記載の方法。
【請求項１６】
階層的表示において、画像データのピクセルが、１種類以上の細胞内形態学的単位に関連する、請求項１記載の方法。
【請求項１７】
階層的表示において、ピクセルが第１の種類の細胞内形態学的単位に対応する第１の確率、及び、ピクセルが第２の種類の細胞内形態学的単位に対応する第２の確率を、画像データのピクセルが有する、請求項１６記載の方法。
【請求項１８】
階層的表示において、ピクセルが第１の種類の細胞内形態学的単位に対応する第１のメンバーシップ値、及び、ピクセルが第２の種類の細胞内形態学的単位に対応する第２のメンバーシップ値を、画像データのピクセルが有する、請求項１６記載の方法。
【請求項１９】
１以上の細胞についての１以上の分割−品質基準を決定することをさらに含む、請求項１記載の方法。
【請求項２０】
１以上の細胞についての１以上の分割−品質基準を、１以上の細胞のレンダリング上での重ね合わせ法において、視覚表示装置上にレンダリングすることをさらに含む、請求項１８記載の方法。
【請求項２１】
１以上の細胞の多重チャネル階層的表示をレンダリングすることが、１以上の既定義分割品質基準を満たす、分割−品質基準を有する１以上の細胞の中からの細胞の部分集合のみをレンダリングすることを含む、請求項１８記載の方法。
【請求項２２】
バイオマーカーの発現レベルに基づいて、画像データ上で、多重チャネル画像分割解析を実行して、生体組織における１以上の組織種の位置及び構成を特定することをさらに含む、請求項１記載の方法。
【請求項２３】
生体組織における細胞内単位の多重チャネル階層的画像分割解析を実行するため方法であって、
連続的に蛍光染色された生体組織の多重化画像に対応し、生体組織における複数の形態学的バイオマーカーの発現レベルを示す画像データにアクセスすること、
バイオマーカーの発現レベルに基づいて、画像データ上で、多重チャネル画像分割解析を実行して、生体組織における１以上の細胞の位置及び構成を特定すること、
バイオマーカーの発現レベルに基づいて、画像データ上で、多重チャネル画像分割解析を実行して、１以上の細胞内の１以上の細胞内形態学的単位の位置及び構成を特定すること、並びに、
１以上の細胞及び、１以上の細胞における１以上の細胞内形態学的単位の階層的表示を、視覚表示装置上にレンダリングすることを含み、
１以上の細胞内形態学的単位が、膜又は細胞質を含み、画像分割解析が、確率分布図を使用することにより、膜又は細胞質を特定して、膜又は細胞質をモデル化するリング様構造を生成する方法を実行するための、１以上のコンピュータ実行可能な命令をその上にエンコードしている１以上のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
実施形態は、概ね、デジタル画像解析に関し、より具体的には、生体組織サンプルのデジタル画像解析に関する。
【背景技術】
【０００２】
一般的に、分割の用語は、デジタル画像内の生物学的単位、例えば、細胞の境界の特定を意味する。これらの境界は、他のものから各個々の単位を分離する。デジタル画像は、顕微鏡を使用して取得される場合がある。弱い又はデータ駆動型の分割アルゴリズムが、細胞の境界を規定するのに使用される場合がある。例えば、ウォーターシェッド変換は、細胞画像を分割するのに使用されている１つの画像処理技術である。ウォーターシェッド変換について、デジタル画像は、３次元形態表面としてモデル化される場合がある。この場合、画像におけるピクセル値（例えば、明るさ又はグレイレベル）は、地理的高さを表す。
【０００３】
ただし、種々の組織種の組織学における変化により、弱い分割アルゴリズムでは、特定の組織種用途に対して、かなりの適合及び最適化なしに、正確な分割を生じ得ない場合がある。例えば、弱い分割アルゴリズムにより、画像が過度に分割される場合があり（例えば、実際には１つの細胞が、細胞の一部のみとなる場合があることが生じる）、又は、不十分に分割される場合がある（例えば、実際には１つの細胞が、複数の異なる細胞の組合せとなる場合があることが生じる）。さらに、画像は、弱い分割アルゴリズムでは、幾らか正確には分割されない場合がある。画像の１つの領域についての適切な分割パラメータが、同じ画像の他の領域において、一部十分機能しない場合があるためである。したがって、弱い分割アルゴリズムは、多くの形態学的バリエーションを有する数多くの細胞の分割には、十分堅牢であるとは言えない場合がある。
【０００４】
細胞解析に関して行われた以前の仕事が存在する（例えば、Ｌｉｎｄｂｌａｄ  ｅｔ  ａｌ．，Ｉｍａｇｅ  ａｎａｌｙｓｉｓ  ｆｏｒ  ａｕｔｏｍａｔｉｃ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ｃｙｔｏｐｌａｓｍｓ  ａｎｄ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｏｆ  ｒａｃ１  ａｃｔｉｖａｔｉｏｎ，Ｃｙｔｏｍｅｔｒｙ  Ａ，５７（１）：２２−３３（２００４）；Ｗａｈｌｂｙ  ｅｔ  ａｌ．，Ｓｅｑｕｅｎｔｉａｌ  ｉｍｍｕｎｏｆｌｕｏｒｅｓｃｅｎｃｅ  ｓｔａｉｎｉｎｇ  ａｎｄ  ｉｍａｇｅ  ａｎａｌｙｓｉｓ  ｆｏｒ  ｄｅｔｅｃｔｉｏｎ  ｏｆ  ｌａｒｇｅ  ｎｕｍｂｅｒｓ  ｏｆ  ａｎｔｉｇｅｎｓ  ｉｎ  ｉｎｄｉｖｉｄｕａｌ  ｃｅｌｌ  ｎｕｃｌｅｉ，Ｃｙｔｏｍｅｔｒｙ，４７：３２−５１（２００２）；Ｐａｒｖｉｎ  ｅｔ  ａｌ．，Ｂｉｏｓｉｇ：Ａｎ  ｉｍａｇｉｎｇ  ｂｉｏｉｎｆｏｒｍａｔｉｃｓ  ｓｙｓｔｅｍ  ｆｏｒ  ｐｈｅｎｏｔｙｐｉｃ  ａｎａｌｙｓｉｓ，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｓｙｓｔｅｍｓ，Ｍａｎ  ａｎｄ  Ｃｙｂｅｒｎｅｔｉｃｓ，Ｐａｒｔ  Ｂ，３３：８１４−８２４（２００３）；Ｍｏｕｒｏｕｔｉｓ  ｅｔ  ａｌ．，Ｒｏｂｕｓｔ  ｃｅｌｌ  ｎｕｃｌｅｉ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｕｓｉｎｇ  ｓｔａｔｉｓｔｉｃａｌ  ｍｏｄｅｌｉｎｇ，Ｂｉｏｉｍａｇｉｎｇ，Ｖｏｌ，６：７９・９１１９９８（１９９８）；Ｌｉｎ  ｅｔ  ａｌ．，Ａ  ｈｙｂｒｉｄ  ３ｄ  ｗａｔｅｒｓｈｅｄ  ａｌｇｏｒｉｔｈｍ  ｉｎｃｏｒｐｏｒａｔｉｎｇ  ｇｒａｄｉｅｎｔ  ｃｕｅｓ  ａｎｄ  ｏｂｊｅｃｔ  ｍｏｄｅｌｓ  ｆｏｒ  ａｕｔｏｍａｔｉｃ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ｎｕｃｌｅｉ  ｉｎ  ｃｏｎｆｏｃａｌ  ｉｍａｇｅ  ｓｔａｃｋｓ；Ｃｙｔｏｍｅｔｒｙ  Ｐａｒｔ  Ａ，５６Ａ（１）：２３−３６（２００３）；ＭｃＣｕｌｌｏｕｇｈ  ｅｔ  ａｌ．，３Ｄ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ｗｈｏｌｅ  ｃｅｌｌｓ  ａｎｄ  ｃｅｌｌ  ｎｕｃｌｅｉ  ｉｎ  ｔｉｓｓｕｅ  ｕｓｉｎｇ  ｄｙｎａｍｉｃ  ｐｒｏｇｒａｍｍｉｎｇ，Ｂｉｏｍｅｄｉｃａｌ  Ｉｍａｇｉｎｇ：Ｆｒｏｍ  Ｎａｎｏ  ｔｏ  Ｍａｃｒｏ，ＩＳＢＩ  ２００７，４ｔｈ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ，ｐａｇｅｓ  ２７６−２７９（２００７）；Ｗａｎｇ  ｅｔ  ａｌ．，Ｎｏｖｅｌ  ｃｅｌｌ  ｓｅｇｍｅｎｔａｔｉｏｎ  ａｎｄ  ｏｎｌｉｎｅ  ＳＶＭ  ｆｏｒ  ｃｅｌｌ  ｃｙｃｌｅ  ｐｈａｓｅ  ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  ｉｎ  ａｕｔｏｍａｔｅｄ  ｍｉｃｒｏｓｃｏｐｙ，Ｂｉｏｉｎｆｏｒｍａｔｃｓ，Ｖｏｌ．２４，Ｎｏ．１，ｐａｇｅｓ  ９４−１０１（２００８）を参照のこと。）。
【０００５】
例えば、Ｗａｎｇ  ｅｔ  ａｌは、個々のチャネルを使用する細胞分割及び周期推定のための方法を提案した。一般的には、このような方法は、分割された画像からのサポートベクタマシンを使用する機械学習法に基づいている。Ｌｉｎｄｂｌａｄ  ｅｔ  ａｌでは、細胞分割のための方法が、一般的に、核及び細胞質のマーカーに基づいて提案された。この場合、各細胞は、１つの核を有する。核の分割は、全体的な閾値を選択し、ウォーターシェッドアルゴリズムを使用することにより実行された。核領域が分割されると、それらは、ウォーターシェッドアルゴリズムを適用することにより、細胞質を分割するためのシード領域として使用された。
【０００６】
連続的な免疫蛍光染色を定量するための方法が、Ｗａｈｌｂｙ  ｅｔ  ａｌにおいて提案された。この方法は、一般的には、核のみにおける免疫蛍光染色の定量に基づいている。この場合、核の分割は、半自動処理である。処理は、人間の介在を含む。Ｍｏｕｒｏｕｔｉｓ  ｅｔ  ａｌでは、核の分割のための統計学的方法が提案された。この方法は、典型的には、尤度関数を規定することを含み、ガウス分布のミクスチャとして、接触している核を分離する。
【０００７】
一般的には、種々の方法が、共焦点画像における、３Ｄでの細胞分割のために提案されている。これらの方法は、主に、細胞核の分割に焦点を当てている。例えば、Ｌｉｎ  ｅｔ  ａｌでは、共焦点のスタックからの３Ｄ核分割のための方法が提案された。アプローチは、概ね３つの工程を含む。第１工程は、前処理工程である。この場合、ノイズが除去され、全体的な閾値を使用して分割される。第２工程は、典型的には、勾配重み付け距離変換を使用する３Ｄウォーターシェッドアルゴリズムを適用することにより、接触しているそれらの核を分離する。第３工程は、後処理工程である。後処理工程は、典型的には、サーフェース・ブレーカとして使用される。細胞全体の３Ｄ分割のための方法は、ＭｃＣｕｌｌｏｕｇｈ  ｅｔ  ａｌにより報告された。この方法は、３Ｄにおける核物体を分割するように設計されている。この場合、細胞の境界が検出される。ただし、単位として３Ｄ細胞を分割することは存在しない。
【０００８】
このため、生体組織サンプルのデジタル画像を解析するための改善されたシステム及び方法についての関心が存在する。これら及び他の非効率性及び改善のための機会は、本開示のシステム、アッセンブリ及び方法により取り扱われ、及び／又は、克服される。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許出願公開第２０１３／０５１６５０号明細書
【発明の概要】
【００１０】
本開示は、デジタル画像の解析に有益なシステム及び方法を提供する。典型的な実施形態では、本開示は、生体組織サンプルのデジタル画像の解析のための改善されたシステム及び方法を提供する。
【００１１】
本開示は、生体組織における細胞内単位の階層的画像分割解析を実行するためのコンピュータ実施方法であって、連続的に蛍光染色された生体組織の多重チャネル多重化画像に対応し、生体組織における複数の形態学的バイオマーカーの発現レベルを示す画像データにアクセスすること、バイオマーカーの発現レベルに基づいて、画像データ上で、多重チャネル画像分割解析を実行して、生体組織における１以上の細胞の位置及び構成を特定すること、バイオマーカーの発現レベルに基づいて、画像データ上で、多重チャネル画像分割解析を実行して、１以上の細胞内の１以上の細胞内形態学的単位の位置及び構成を特定すること、１以上の細胞及び、１以上の細胞における１以上の細胞内形態学的単位の階層的表示を、視覚表示装置上にレンダリングすることを含む方法を提供する。
【００１２】
本開示は、生体組織における細胞内単位の多重チャネル階層的画像分割解析を実行するためのコンピュータシステムであって、視覚表示装置、処理装置及び記憶装置を含むコンピュータシステムを提供する。処理装置は、連続的に蛍光染色された生体組織の多重化画像に対応し、生体組織における複数の形態学的バイオマーカーの発現レベルを示す多重チャネル画像データにアクセスし、バイオマーカーの発現レベルに基づいて、画像データ上で、多重チャネル画像分割解析を実行して、生体組織における１以上の細胞の位置及び構成を特定し、及び、バイオマーカーの発現レベルに基づいて、画像データ上で、画像分割解析を実行して、１以上の細胞内の１以上の細胞内形態学的単位の位置及び構成を特定するように構成される。記憶装置は、１以上の細胞内の１以上の細胞内形態学的単位の位置及び構成を記憶するように構成される。
【００１３】
本開示は、生体組織における細胞内単位の多重チャネル階層的画像分割解析を実行するため方法であって、連続的に蛍光染色された生体組織の多重化画像に対応し、生体組織における複数の形態学的バイオマーカーの発現レベルを示す画像データにアクセスすること、バイオマーカーの発現レベルに基づいて、画像データ上で、多重チャネル画像分割解析を実行して、生体組織における１以上の細胞の位置及び構成を特定すること、バイオマーカーの発現レベルに基づいて、画像データ上で、多重チャネル画像分割解析を実行して、１以上の細胞内の１以上の細胞内形態学的単位の位置及び構成を特定すること、並びに、１以上の細胞及び、１以上の細胞における１以上の細胞内形態学的単位の階層的表示を、視覚表示装置上にレンダリングすることを含む方法を実行するための、１以上のコンピュータ実行可能な命令をエンコードしている１以上のコンピュータ可読媒体を提供する。
【００１４】
一部の実施形態では、細胞レベルでの１以上の細胞形態学的単位におけるバイオマーカーの発現レベルを、自動的に測定することができ、細胞内形態学的単位のレベルでの１以上の細胞内形態学的単位におけるバイオマーカーの発現レベルを、自動的に測定することができる。
【００１５】
一部の実施形態では、細胞内形態学的単位におけるバイオマーカーの発現レベルに基づいて、複数の生体組織領域を、自動的にグループ化し得る。
【００１６】
一部の実施形態では、１以上の細胞内形態学的単位におけるバイオマーカーの発現レベルと、１以上の細胞内形態学的単位の構成との間の関係を決定するための解析を実行し得る。
【００１７】
一部の実施形態では、１以上の細胞内形態学的単位が、１以上の核、１以上の細胞質及び／又は１つ上の膜を含む。
【００１８】
一部の実施形態では、１以上の細胞内形態学的単位が、膜又は細胞質を含み、画像分割解析が、確率分布図を使用することにより、膜又は細胞質を特定して、膜又は細胞質をモデル化するリング様構造を生成し得る。
【００１９】
一部の実施形態では、バイオマーカーの発現レベルの表示を、１以上の細胞及び、１以上の細胞における１以上の細胞内形態学的単位の表示において、重ね合わせ法で、視覚表示装置上にレンダリングし得る。
【００２０】
一部の実施形態では、バイオマーカーの発現レベルの測定を決定し得る。測定は、１以上の細胞における、１以上の細胞内形態学的単位に特異的であり得る。バイオマーカーの発現レベルの測定は、発現レベルの平均であり得る。
【００２１】
一部の実施形態では、１以上の細胞内形態学的単位の位置及び構成を、細胞内において形態的制約を強いることにより決定し得る。
【００２２】
一部の実施形態では、複数の形態学的バイオマーカーは、１種類の細胞内形態学的単位を描写する複数のバイオマーカーを含む。
【００２３】
一部の実施形態では、バイオマーカーの発現レベル及びバイオマーカーの形態学に基づいて、画像データ上で、画像分割解析を実行して、１以上の所望の組織系領域を特定し、１以上の細胞、１以上の細胞における１以上の細胞内形態学的単位及び１以上の所望の組織系領域の階層的表示を、視覚表示装置上にレンダリングし得る。
【００２４】
一部の実施形態では、１以上の細胞内形態学的単位は、１以上の細胞の１以上の細胞膜、１以上の細胞の細胞質及び１以上の細胞の核を含み、１以上の細胞、１以上の所望の組織系領域、１以上の細胞の１以上の細胞膜、１以上の細胞の細胞質及び１以上の細胞の核の階層的表示を、視覚表示装置上にレンダリングし得る。
【００２５】
一部の実施形態では、１以上の所望の組織系領域は、間質細胞の集合又は上皮細胞の集合を含む。
【００２６】
一部の実施形態では、１以上の細胞の位置及び構成を特定する画像分割解析に基づいて、１以上の細胞の形状を決定することができ、１以上の細胞、１以上の細胞の形状に基づく細胞内単位又は細胞内単位を順位付けすることができる。各順位は、細胞の境界又は、対応する細胞の細胞内単位若しくは細胞内単位を画像分割解析により正確に特定する確率又は類似度を示すことができる。
【００２７】
一部の実施形態では、階層的表示において、１種類の細胞内形態学的単位に関連する画像データのピクセルが提供される。一部の実施形態では、階層的表示において、１種類以上の細胞内形態学的単位を含む画像データのピクセルが提供される。一部の実施形態では、階層的表示において、ピクセルが第１の種類の細胞内形態学的単位に対応する第１の確率、及び、ピクセルが第２の種類の細胞内形態学的単位に対応する第２の確率を含む画像データのピクセルが提供される。一部の実施形態では、階層的表示において、ピクセルが第１の種類の細胞内形態学的単位に対応する第１のメンバーシップ値、及び、ピクセルが第２の種類の細胞内形態学的単位に対応する第２のメンバーシップ値を含む画像データのピクセルが提供される。
【００２８】
一部の実施形態では、１以上の分割−品質基準を、１以上の細胞について決定し得る。
【００２９】
一部の実施形態では、１以上の細胞のレンダリング上での重ね合わせ法において、１以上の細胞についての１以上の分割−品質基準を、視覚表示装置上にレンダリングし得る。
【００３０】
一部の実施形態では、１以上の細胞の多重チャネル階層的表示をレンダリングすることは、１以上の既定義分割品質基準を満たす、分割−品質基準を有する１以上の細胞の中からの細胞の部分集合のみをレンダリングすることを含む。
【００３１】
一部の実施形態では、バイオマーカー発現レベルに基づいて、画像データ上で、多重チャネル画像分割解析を実行して、生体組織における１以上の組織種の位置及び構成を特定し得る。
【００３２】
実施形態の任意の組合せ又は並べ替えが想到される。本開示のシステム、本開示のアッセンブリ及び方法の更なる有益な特徴、機能及び用途が、特に添付の図面と併せて読んだ場合、下記の発明を実施するための形態から明らかとなるであろう。この開示に列記された全ての参考文献は、その全体が参照により組み込まれる。
【００３３】
実施形態の特徴及び態様は、添付の図面を参照して以下に説明される。図面において、構成要素は、大きさを必ずしも示していない。
【００３４】
本開示の典型的な実施形態は、添付の図面を参照してさらに説明される。以下に説明され、図面に図示された種々の工程、特徴及び工程／特徴の組合せが、異なって整理され、編制されて、本開示の精神及び範囲内にある実施形態をもたらすことに留意されたい。開示されたシステム、アッセンブリ及び方法を製造及び使用するのにおいて、当業者を支援するために、添付の図面に対して、参照がなされる。
【図面の簡単な説明】
【００３５】
【図１】本開示の典型的な実施形態に基づく、多重化画像及び結合分割の画像／模式図を示す。
【図２】本開示の典型的な実施形態に基づく、分割処理を図示するフロー図である。
【図３】本開示の典型的な実施形態に基づく、画像平坦化の画像を示す。
【図４】画像平坦化の他の画像を示す。
【図５】個々の核、膜並びに核及び膜の画像を示す。
【図６】核チャネルのみからの核分割画像を示す。
【図７】本開示の典型的な実施形態に基づく、膜検出画像を示す。
【図８】本開示の典型的な実施形態に基づく、細胞内レベルでの階層的結合分割の画像を示す。
【図９】ツリーデータ構造として、細胞内レベルにおける、典型的な組織構造の表示及び抽象概念を示す。
【図１０】図９に示した提案された組織表示の例である。
【図１１】本開示の処理を実行可能な典型的なシステムのハードウェア及びソフトウェアのコンポーネントを示す図である。
【図１２】本開示のシステム及び方法を実施するための典型的なクライアント−サーバ環境である。
【図１３】異種移植データセットからの個々の細胞解析の画像を示す。
【図１４Ａ−Ｃ】上皮における個々の細胞解析の分割結果の画像を示す。
【図１４Ｄ−Ｆ】上皮における個々の細胞解析の分割結果の画像を示す。
【図１５Ａ−Ｃ】本開示の典型的な実施形態に基づく、異種移植画像と分割結果画像との比較を示す。分割結果画像との比較を示す。
【図１５Ｄ−Ｆ】本開示の典型的な実施形態に基づく、異種移植画像と分割結果画像との比較を示す。分割結果画像との比較を示す。
【図１５Ｇ−Ｉ】本開示の典型的な実施形態に基づく、異種移植画像と分割結果画像との比較を示す。
【図１６Ａ−Ｃ】本開示の典型的な実施形態に基づく、異種移植画像と分割結果画像との別の比較を示す。
【図１６Ｄ−Ｆ】本開示の典型的な実施形態に基づく、異種移植画像と分割結果画像との別の比較を示す。分割結果画像との別の比較を示す。
【図１６Ｇ−Ｉ】本開示の典型的な実施形態に基づく、異種移植画像と分割結果画像との別の比較を示す。
【図１７】本開示の典型的な実施形態に基づく、前立腺ガン研究からの画像を示す。
【図１８】本開示の典型的な実施形態に基づく、バイオマーカー定量の画像を示す。
【図１９】本開示の典型的な実施形態に基づく、細胞内レベルでのバイオマーカーの定量及び局在を示す画像を示す。
【発明を実施するための形態】
【００３６】
本開示は、デジタル画像の解析のための有益なシステム及び方法を提供する。より具体的には、本開示は、生体組織サンプルのデジタル画像解析のための改善されたシステム及び方法を提供する。
【００３７】
以前のアプローチは、細胞内区画（例えば、核、膜及び細胞質）に関する組織切片の組織解析、グループ化及び定量を説明していない。このような既存のアプローチは、１つのチャネルのみから得られる情報を使用する核分割に焦点を当てている。さらに、細胞内レベルにおける組織構造の構造的記述子を提供する形態学的バイオマーカーは、個々の細胞及び細胞集合をグループ化、定量及び相関するのに使用されておらず、細胞集合内での複雑なバイオマーカーネットワークが見出されない。
【００３８】
本開示の典型的な実施形態は、ｉ）分割、ｉｉ）グループ化及びｉｉｉ）細胞内区画（例えば、核、膜及び細胞質）に関する個々の細胞の分子タンパク質プロファイルの定量を提供する。典型的な実施形態は、細胞内レベルにおける組織分割を有利に実行し、解析、グループ化及び、全体的及び／又は局所的に、組織切片における組織のタンパク質発現プロファイルを定量することを容易にする。局所的−全体的組織解析及びタンパク質定量を実行することは、例えば、細胞の空間的及び分子的構成と種々の種類のガンの分子情報との相関を有利に可能にする。
【００３９】
典型的な実施形態では、細胞実体及びその区画の結合分割は、登録された、連続的に染色された蛍光画像に基づいて実行され得る。本開示の典型的な実施形態は、切片に対して連続的に染色された画像に表示されたコンテキスト情報の利点を得ることができ、細胞内区画、例えば、核、膜及び細胞質に関する全体的及び局所的の両方において組織を定量する。典型的な実施形態は、（ｉ）階層的構造において形態的制約を強いて、細胞内区画を正確に分割し、（ｉｉ）特定の基準に基づいて個々の細胞をグループ化し、及び／又は、（ｉｉｉ）細胞内レベルにおける対応するバイオマーカータンパク質発現に基づいて、細胞のグループを定量し得る。
【００４０】
本開示の下記定義は、下記に関する実体として、「個々の細胞」を数学的に形式化する。
【００４１】
区画：各個々の細胞は、実質的に半円形／楕円形を有し、３つの領域：核、膜及び細胞質のどれでもない、いずれか又は全てにより構成されてもよい。この場合、各領域は、細胞内区画である。
【００４２】
階層的関係：各細胞内区画について、下記階層関係は、ｉ）核が細胞の中心にあり、細胞質により取り囲まれ、ｉｉ）膜が細胞の境界に位置し、細胞質を取り囲むことを保持する。
【００４３】
本願明細書で使用する場合、「形態学的単位」の用語は、種々の細胞又は細胞内構造、例えば、核、細胞質及び膜等を意味する。
【００４４】
以下にさらに検討されるように、本開示の典型的なシステム／方法は、細胞分割に対する階層的トップダウン式アプローチを含む。トップダウン式アプローチの１つの典型的な実施形態では、まず、個々の１つの細胞境界を分割し、次いで、個々の細胞内区画に、細胞内において形態的制約を強いる。これにより、階層的関係が有効となる。
【００４５】
典型的な実施形態では、多重チャネル分割処理は、生体組織の多重化画像を使用して実行され得る。一般的には、多重化画像は、典型的には、同じ組織切片の「Ｎ」個のチャネルからなる。この場合、各チャネルは、所望の組織の詳細で、固有のタンパク質発現プロファイルを提供することにより、例えば、ガン腫瘍の形態学及び分子組成の両方を説明する。このため、分子的及び形態学的レベルの両方における局所的な組織定量が、組織−マイクロアレイにおける多重化画像に対して、画像解析法を適用することにより可能となる。
【００４６】
多重化画像における組織の個々の細胞解析の一部の問題は、個々の細胞の分割、グループ化及び定量に関連する下記困難を含み得る。
【００４７】
個々の細胞分割の困難は、ｉ）各個々の細胞に対する多重化画像における全ピクセルをマッピングする相関ルールを見出すこと、ｉｉ）各個々の細胞に対応する細胞内区画内の各ピクセルの相関ルール（例えば、所定の細胞についての各ピクセルと核、膜及び細胞質との相関ルール）を見出すこと、ｉｉｉ）各個々の細胞に対応する細胞内区画内の全ピクセルをマッピングするメンバーシップ関数（例えば、所定の細胞についての各ピクセルと核、膜及び細胞質とのメンバーシップ関数）を見出すことを含み得る。
【００４８】
細胞グループ化の１つの困難は、所定のルールに基づく個々の細胞間の関連である。例えば、グループ化ルールは、ｉ）空間的関係（例えば、上皮領域に属する細胞又は組織器官）、ｉｉ）細胞（例えば、円形の細胞対擬楕円形の細胞）間での形態学的関係、及び／又は、ｉｉｉ）画像分割品質（この場合、包含−排他ルールに基づくもの）（例えば、膜が完全な細胞境界を取り囲んでいる細胞）に基づき得る、
個々の細胞定量の１つの困難は、細胞内区画に関する局所的及び全体的なタンパク質発現の測定である。すなわち、全ピクセルについて、所定の値のタンパク質発現が、細胞内区画のコンテキスト情報に基づいて割り当てられる。
【００４９】
個々の細胞解析に対する他の困難は、下記の通りである。
【００５０】
細胞形態学のバリエーション。個々の細胞は、３次元の物体であり、一連の蛍光組織切片としてサンプルが取得されると、細胞は、細胞の２次元投影により描写される。一連の切片によっては、個々の細胞は、規則的な円形の物体ではなく、むしろ、楕円形を有し得る。
【００５１】
核の不存在。個々の細胞は、一部の組織サンプルが約５ｍｍの厚さを有すると考えれば、全てにおいて十分規定され又は存在する、核を有しない場合がある。この認識において、中心で正確に切断されない細胞では、２次元画像は、細胞−核を横切らない場合があり、そのような領域でも、個々の細胞を規定し得る。このことは、細胞に対する切断方向による。
【００５２】
ノイズ。画像ノイズは、全体的及び／又は局所的なレベルにおいて、画像の品質に影響を及ぼし得る。さらに、蛍光染料の不均一な分布及び組織の自己蛍光の影響により、高レベルのアーティファクトを含む領域が生じる場合がある。
【００５３】
組織多重画像の１つの目的は、（衛星画像に類似する）シグナルの全バンド幅をキャプチャすることではなく、むしろ、特定の細胞区画又は組織器官（血管等）を標識する、分子蛍光プローブの手段による実質的に全ての利用可能なコンテキスト情報をキャプチャすることであることに、留意されたい。
【００５４】
コンテキスト情報の例は、細胞内区画の細胞内空間関係である。この場合、核は、細胞の中心であり、膜は、細胞の境界にあり、細胞質は、膜と核との間である。また、更なるチャネルの情報を統合し得ることに留意されたい。例えば、特定の組織種、例えば、血管に結合するタンパク質マーカーを統合することにより、これは、固有の関連する情報を提供して、組織構造解析についての個々の細胞をグループ化し得る。
【００５５】
多重化画像
「Ｚ」個の異なるチャネルが与えられ、チャネルは、構造的及び形態学的タンパク質マーカーとしてグループ化され得る。これにより、「Ｐ」及び「Ｍ」個のタンパク質及び形態学的チャネルがそれぞれ存在する。次いで、「Ｚ」チャネルの元数は、Ｚ＝Ｐ＋Ｍとして表される。合成画像Ｔは、Ｚ個のチャネル又は特徴を含むベクタ値関数として、
【００５６】
【数１】
0006496709.tif 000002
と規定され得る。
【００５７】
次いで、Ｔは、個々のチャネルに関して、
【００５８】
【数２】
0006496709.tif 000003
と記述され得る。
【００５９】
形態学的チャネルＴStructuralは、核：
【００６０】
【数３】
0006496709.tif 000004
、膜：
【００６１】
【数４】
0006496709.tif 000005
及び細胞質：
【００６２】
【数５】
0006496709.tif 000006
に関する組織の構造情報を提供する、３以上の異なるチャネルからなる。それらは、ベクタ値関数：
【００６３】
【数６】
0006496709.tif 000007
式中、ｐ＋ｑ＋ｒ＝ｍ
として記述され得る。
【００６４】
同様に、ベクタ値関数ＴProteinは、タンパク質チャネル：ＴProtein＝［Ｉ1，・・・，Ｉn］に関して記述され得る。
【００６５】
多重チャネル分割
典型的な実施形態では、ｇN、ｇM、ｇCは、１つのチャネル内の対応する核、膜及び細胞質チャネルをマッピングする、異なるベクタ値関数である。例えば、
【００６６】
【数７】
0006496709.tif 000008
は、スカラー値画像であり、各マッピングｇi，ｉ＝｛Ｎ，Ｍ，Ｃ｝は、平坦化関数として規定される。その目的は、種々のチャネルからの形態学的構造を強調させることである。
【００６７】
次に、区画チャネル画像ＴCompartmentsが形成され、画像内の最も関連する構造情報をキャプチャする。それは、
【００６８】
【数８】
0006496709.tif 000009
として記述され得る。
【００６９】
ｇMは、種々の膜マーカー、例えば、ＮａＫＡＴＰ、ｐＣａｄ及びケラチンから、膜全体を強調させる。同様に、ｇCは、細胞質を強調させ、ｇNは、核を強調させる。次いで、ＴCompartmentsは、組織構造の最適な構造的表示を含む３つのチャネル画像である。
【００７０】
図１Ａ−Ｅは、本開示の典型的な実施形態に基づく、多重化画像及び結合分割の画像／模式図を示す。図１Ａは、種々の程度のガンを含む組織コアを示す。図１Ｂ−Ｄでは、（構造マーカーから得られる）ＴCompartmentsに対応する画像、並びに、核、膜及び細胞質内の対応するピクセルをマッピングする対応するｆSegmentation関数が示される。図１Ｅでは、同じ組織スポットについての種々のタンパク質マーカーＴProteinに対応する模式図が示される。
【００７１】
したがって、図１は、対応する最適な構造ＴCompartments及びタンパク質マーカーＴProteinを含む組織サンプルの画像を表す。最適な構造マーカーＴCompartmentsは、図１におけるクロスハッチにより表された種々の色（例えば、オレンジ／赤、緑及び青）で示され、膜構造１０４、細胞質構造１０２及び核構造１００をそれぞれ表す。タンパク質マーカーＴProteinは、図１Ｅに示される。
【００７２】
したがって、個々の細胞分割及び定量は、多重チャネル分割の問題として形式化される。この場合、各個々の細胞は、（図１Ｄに示されたように）３つの分類：１）膜、２）細胞質及び３）核に関連する。
【００７３】
細胞標識のセットが与えられる。細胞＿標識＝｛ｌｎ＝核、ｌｍ＝膜、ｌｃ＝細胞質、ｌｂ＝バックグラウンド｝。細胞分割の問題は、
【００７４】
【数９】
0006496709.tif 000010
、及び
【００７５】
【数１０】
0006496709.tif 000011
として規定される、関数ｆSegmentationを見出すこととして形式化され得る。式中、ｎｃｅｌｌは、特定の細胞数であり、
【００７６】
【数１１】
0006496709.tif 000012
は、ピクセル（ｘ，ｙ）についてのアフィニティ値である。
【００７７】
この式は、各ピクセル
【００７８】
【数１２】
0006496709.tif 000013
を固有の細胞及び特定の区画に割り当てることが可能であるのに留意されたい。前述の式の１つの有益な事例は、バイナリ分割である。さらに、種々のチャネルＴCompartmentsに含まれる情報は、互いに対して補完的であり、分割関数ｆSegmentation（ＴCompartments）により使用される。使用されるこのような例は、特異的細胞形態学的構成である。
【００７９】
多重チャネル定量
分割関数ｆsegを与えるタンパク質チャネルＴProteinの定量は、ピクセルレベルだけでなく、特定した細胞にわたる細胞内レベルにおいても、タンパク質発現の強度を測定するのに関する。下記のように、
【００８０】
【数１３】
0006496709.tif 000014
関数ｆQuantificationにより規定される。
【００８１】
式中、ｆQuantificationは、特定の細胞及びｆSegmentationにより規定される細胞内区画において、タンパク質画像ＴProteinからの値をマッピングする関数である。ｆQuantificationについての関数の例示は、平均であることができ、中でも、標準偏差であることができる。さらに、ｆQuantificationは、所定の区画に関するタンパク質の確率分布を表し得る。
【実施例】
【００８２】
本開示は、下記実施例に関してさらに説明されるであろう。ただし、本開示の範囲は、それにより限定されない。
【００８３】
材料
ｉ）種々の程度の前立腺ガン及びｉｉ）異種移植片の画像を含む組織サンプルの代表的なデータセットから、Ｏｌｙｍｐｕｓ顕微鏡により、画像を取得した。所望の典型的なバイオマーカーとしては、限定されるものではないが、ＤＡＰＩ、ＣＦＰ３、Ｓ６、ｐＳ６、ＤＡＰＩ、ＣＦＰ４、Ｇｌｕ１、ｐＣａｄ、ＣＦＰ５、ｐＣＲＥＢ、Ｋｉ６７、ｐＳ６２３５、ＣＦＰ６、ＡＦ＿ｐＣＲＥＢ、ＡＦ＿Ｋｉ６７、ＣＦＰ７、ＦＯＸＯ３ａ、ＮａＫＡＴＰ、ＣＦＰ８、ｐＡｋｔ、ケラチン、ＣＦＰ９及びｐＧＳＫ３ベータがあげられる。
【００８４】
構造マーカーとしては、ＴStructural＝｛ＤＡＰＩ、Ｓ６、ｐＣａｄ、ＮａＫＡＴＰ、ケラチン｝があげられる。一方、残りは、タンパク質マーカーＴProteinである。
【００８５】
方法の概要
上記のように、本開示の下記定義は、（ｉ）区画：各個々の細胞は、実質的に半円形／楕円形を有し、３つの領域：核、膜及び細胞質により構成され、この場合、各領域は、細胞内区画である、並びに、（ｉｉ）階層的関係：各細胞内区画について、下記階層関係は、ａ）核が細胞の中心にあり、細胞質により取り囲まれ、ｂ）膜が細胞の境界に位置し、細胞質を取り囲むことを保持する、に関する実体として、「個々の細胞」を数学的に形式化する。本開示のシステム／方法は、階層的トップダウン式処理（図２）を含む。トップダウン式処理において、まず、個々の１つの細胞境界を分割し、次いで、個々の細胞内区画に、細胞内において形態的制約を強いる。これにより、階層的関係が有効となる。
【００８６】
図２は、本開示の典型的な実施形態に基づく、トップダウン式分割処理２００を図示するフロー図である。典型的な実施形態では、生体組織の多重化画像は、メモリ（例えば、非一時的コンピュータ可読媒体）から取得し得る。例えば、顕微鏡及びカメラを使用して、デジタル画像を取得してもよい。デジタル画像中の目的の生物学的単位は、必ずしも限定されるものではないが、細胞及び／又は細胞内区画を含んでもよい。典型的な目的の細胞は、例えば、ｉ）上皮細胞及び／若しくは間質細胞又はｉｉ）壊死細胞を含んでもよい。本願明細書で使用する場合、生物学的単位の用語は、デジタル画像における、分離した生物学的構造及び生物学的構造の部分、コンポーネント又は組合せを意味する。
【００８７】
工程２０２では、生体組織の多重化デジタル画像を強調して、種々のタンパク質チャネルからの情報を統合する。工程２０４では、個々の細胞分割を実行して、個々の細胞間を区別する。例えば、典型的な実施形態は、個々の細胞の縁又は境界を検出することにより、個々の細胞を特定し得る。一部の実施形態では、監視され又は非監視の形状順位及び／又はサポートベクタ分割を使用して、デジタル画像中の細胞の縁を特定し得る。一部の実施形態では、工程２０４の前に、種々の組織種間を区別するために、平坦化画像において、組織分割を実行し得る。例えば、細胞、例えば、上皮細胞、間質細胞及び／又は壊死細胞間を区別し、同細胞を分類するのに、組織分割を実施し得る。
【００８８】
工程２０６では、細胞内区画の分割を実行して、種々の細胞内区画間を区別し、同区画を分類する。例えば、典型的な実施形態は、細胞内区画、例えば、核、膜及び／又は細胞質を特定及び分類し得る。
【００８９】
工程２０８では、細胞区画内の空間順序を使用して、特定した細胞内区画の階層的表示を生成する。階層的表示は、互いに対する核、細胞質及び膜の予測位置を含み得る。工程２１０では、上記分割工程に基づいて決定されたように、個々の細胞の特徴に基づいて、細胞をグループ化する。例えば、タンパク質発現プロファイル並びに／又は空間的及び／若しくは形態学的ルールに基づいて、細胞をグループ化し得る。後者に関して、細胞のグループ化は、細胞、例えば、上皮細胞、間質細胞及び／又は壊死細胞間を区別し、同細胞を分類するのに使用され得る。工程２１２では、組織構造の階層的表示を生成する。階層的表示は、デジタル画像中の生体組織の階層を説明する、画像、グラフ及び／又はテキストを含み得る。階層は、画像中の生物学的単位間の関係に関し、組織レベル、細胞レベル及び／又は細胞内レベル等のレベルを含み得る。例えば、特定の実施形態では、ツリーデータ構造を生成し得る。ツリーデータ構造を、以下により詳細に記載するように、グラフ形状としてレンダリングし得る。
【００９０】
構造マーカーの画像強調
画像強調は、同じ細胞内区画に関する種々のタンパク質チャネルからの情報を統合することにより、特定の区画の画像品質が改善する。したがって、種々のチャネルからの重要な情報は、画像全体の特定のマーカーを強調する。一実施形態では、画像平坦化は、線形変換として規定され得る。これについては、合成画像における各チャネルは、強調された画像全体に寄与する種々の混入因子を有する。膜及び細胞質マーカーについての強調関数は、
【００９１】
【数１４】
0006496709.tif 000015
と、数学的に表され得る。
【００９２】
式中、αi、βiは、対応する混入因子である。系全体のエネルギーは、対応する混入因子の合計を１に制約することにより保存される。平均化は、画像強調変換の具体例である。
【００９３】
図３Ａ−Ｃは、変換された強調画像が組織全体の形態学を全体的及び局所的にキャプチャする例を示す。この例では、構造マーカーは、膜マーカーに対応する。この場合、高いタンパク質含量が、細胞膜に局在している（例えば、これらのマーカーは、細胞縁を強調する。）。図３Ａは、Ｎａ／Ｋ  ＡＴＰａｓｅ３０２を示す。図３Ｂは、Ｐ−カドヘリン３０４を示す。図３Ｃは、２つのタンパク質マーカー：Ｎａ／Ｋ  ＡＴＰａｓｅ３０２（図３Ａ及び３Ｃに示す）及びＰ−カドヘリン３０４（図３Ｂ及び３Ｃに示す）の合成であるカラー画像を示す。
【００９４】
種々の画像アーティファクトを、強調した画像変換を適用することにより回復し得る。例えば、図３Ａは、画像アーティファクト３００を含む領域を示す。図３Ｂは、強調後のアーティファクトを含まない対応する領域を表す。図３Ｃは、これらのマーカーがこのようなアーティファクトを回復させるのに必要な情報を提供する方法を示す。
【００９５】
したがって、Ｎａ／Ｋ  ＡＴＰａｓｅ３０２及びＰ−カドヘリン３０４に対応する構造マーカーＴStructuralは、図３Ａ及び３Ｂそれぞれに示される。対応するタンパク質マーカーからの合成画像は、図３Ｃに示される。種々のマーカーを組合せることにより、画像アーティファクトが存在する場合、補正され得る（例えば、図３Ｃ）ことに留意されたい。
【００９６】
図４Ａは、２つの膜タンパク質マーカー：Ｎａ／Ｋ  ＡＴＰａｓｅ４０４（例えば、純粋な赤で表すクロスハッチ）及びＰ−カドヘリン４０２（純粋な赤で表すクロスハッチ）それぞれの合成カラー画像を示す。図４Ｂは、強調処理の結果として、対応する変換画像
【００９７】
【数１５】
0006496709.tif 000016
を示す。画像強調の結果は、両マーカー：Ｎａ／Ｋ  ＡＴＰａｓｅ４０４及びＰ−カドヘリン４０２の形態学的情報を統合する画像である。ここで、両タンパク質マーカーの組合せにより、上皮細胞の膜が描写される。
【００９８】
細胞縁の検出（細胞分割）
１つの典型的な実施形態では、細胞分割は、トップダウン式アプローチに従い得る。この場合、まず、細胞を、単位として検出し、次いで、細胞内区画を、以下により詳細に検討するように、階層的制約に基づいて検出する。各細胞を分割する１つの困難は、個々の細胞縁を検出する際に起こり得る。細胞縁を検出するのにおける困難は、細胞間に明確で、十分規定された境界が存在し得ないことである。細胞は、互いに重なり合っていてはいけない。細胞が互いに接触している場合、「１単位又はピクセル」の最小距離が存在しなければならない。
【００９９】
一実施形態では、本願明細書に記載したように、変換した強調画像
【０１００】
【数１６】
0006496709.tif 000017
に基づいて、個々の細胞縁を検出し得る。変換した強調画像を使用して、極大に対応する領域は、２つの細胞の「最適な」分離にも対応する。一方、極小に対応する領域は、核領域に対応する。領域を特定するために、種々のウォーターシェッドアルゴリズムを実施し得る。この場合、極小領域を、ウォーターシェッドアルゴリズムを適用することにより、細胞縁を描写する領域として使用する（例えば、Ｓｏｉｌｌｅ，Ｍｏｒｐｈｏｌｏｇｉｃａｌ  Ｉｍａｇｅ  Ａｎａｌｙｓｉｓ，Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ，Ｈｅｉｄｅｌｂｅｒｇ，２ｎｄ  ｅｄｉｔｉｏｎ（２００３）を参照のこと。）。このアプローチを使用して、極大領域は、細胞縁に対応する。個々の細胞縁を検出する他の例は、２０１２年１１月１日、２０１２年１０月２２日にそれぞれ出願された、同時係属の米国特許出願第１３／６６６，３４３号及び１３／６５７２５５号でより詳細に検討されている。それらの開示は、参照により本願明細書に組み込まれる。
【０１０１】
核候補の生成（細胞内分割）
細胞内区画に関する個々の細胞分割について、ＤＡＰＩチャネル自体から、核候補を生成し、次いで、対応する核を正確に分離する。膜マーカーから推定した細胞縁にペナルティを課す新規な方法を使用する。
【０１０２】
図５Ａ−Ｃは、細胞が互いに接触している典型的な組織の例を示す。図５Ａは、核及び膜のＤＡＰＩチャネルを示す。図５Ｂは、核及び膜の強調画像を示す。図５Ｃは、核５０２及び膜５０４の合成画像を示す。図５Ａは、細胞がＤＡＰＩチャネルからほとんど分離されていない事例を表す。３つの細胞：Ａ、Ｂ及びＣが互いに対して重なり合っている（例えば、細胞Ａ及びＢに対応する核が互いに重なり合っており、細胞ＡとＢとの区別を困難にし、細胞ＢとＣについても同様である）ことに留意されたい。図５Ｂは、膜チャネルに関する同じ領域を示す。細胞区分は、ＤＡＰＩチャネルと比較して、よりはっきり表れていることに留意されたい。図５Ｃは、青及び赤のそれぞれで表現したクロスハッチを使用する、核５０２及び膜チャネル５０４両方の合成を示す。
【０１０３】
この工程では、核候補生成のための２つの代替法が存在する。第１の方法は、形状テンプレートに制約される曲率基準からの小球体様物体の検出に基づいている。Ｍｅｔｈｏｄｓ  ｆｏｒ  ｓｅｇｍｅｎｔｉｎｇ  ｏｂｊｅｃｔｓ  ｉｎ  Ｉｍａｇｅｓ、国際特許出願番号：ＰＣＴ／ＳＥ２０１１／０５０４０７］を参照のこと。第２の方法は、ウェーブレット解析に基づいている（Ｐａｄｆｉｅｌｄ  ｅｔ  ａｌ．，Ｓｐａｔｉｏｔｅｍｐｏｒａｌ  ｃｅｌｌ  ｓｅｇｍｅｎｔａｔｉｏｎ  ａｎｄ  ｔｒａｃｋｉｎｇ  ｆｏｒ  ａｕｔｏｍａｔｅｄ  ｓｃｒｅｅｎｉｎｇ，Ｂｉｏｍｅｄｉｃａｌ  Ｉｍａｇｉｎｇ：Ｆｒｏｍ  Ｎａｎｏ  ｔｏ  Ｍａｃｒｏ，ＩＳＢＩ  ２００８，５ｔｈ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ，３７６−３７９（２００８））。
【０１０４】
ウェーブレット解析のアプローチは、画像を種々の頻度のチャネルに分解し、次いで、ウェーブレット係数空間において、画像のノイズを除去し、関連するレベルを再結合させて、分割した物体を生成する。ウェーブレットは、この用途についての複数の利点を有する。それらは、画像を、効果的なスケール−空間解析を可能にする、空間的及び頻度ドメインの両方に分解する。複数のスケール間のウェーブレットの算出は、速く、計算的に効率的である。パラメータ数は、限定され、又は、完全に除去され得る。
【０１０５】
画像のノイズを除去し、物体を分割するために、画像のシフト・インバリアント・ウェーブレット・フレーム変換及び非突極形ウェーブレット係数の平坦化に基づくアルゴリズムを使用する。ウェーブレット・フレームは、各レベルにおけるデシメーション操作が省略されることを除いて、標準的なウェーブレット変換と同一である。以前の研究において、ウェーブレット・フレーム変換が局所的なノイズ変動に対して堅牢であり、バックグラウンドにおける低頻度の物体を排除することが説明されている。ウェーブレット係数空間における画像のノイズを除去するために、ウェーブレット係数の重要性の推定として、Ｊｅｆｆｒｅｙ無情報事前分布を使用する増幅−スケール−不変ベイズ推定量（ＡＢＥ）により、画像スタックを閾値とすることにより、シグナル期間を概算する。ノイズをさらに低下させ、複数の解像を横切る物体を強調するために、関連するスタックをコンピュータ処理する。処理は、選択したスケールに対応するノイズ除去ウェーブレット係数の部分集合の乗法である。
【０１０６】
ノイズ除去及び分割のためのウェーブレット系法の１つの利点は、それが、本来的に種々のスケールで物体を表す方法である。スケールを組合せる選択を、画像の解像及び近似の予測した物体サイズから決定し得る。関連スタックに使用されるチャネルの部分集合を、物体が表れ、スケールに対応させるのに選択することにより、ノイズのみを含むスケール及び低頻度のバックグラウンド情報のみを含むものを無視する。次いで、ゼロより大きい係数についての関連スタックにおける結合領域の抽出として、分割を得る。関連スタックが物体に対応する頻度を強調させるために、一致した充填形状を生成するための後処理をほとんど必要としない。このアルゴリズムは、相対的に低いコントラスト対ノイズの存在下、及び、ゆっくり変化するバックグラウンドの存在下においてさえも、物体を検出し得る（例えば、図６Ｂを参照のこと。）。図６Ａ−６Ｃは、（ｉ）元画像（図６Ａ）、（ｉｉ）ウェーブレット系アプローチに基づく核分割（図６Ｂ）及び（ｉｉｉ）形状解析系アプローチに基づく核分割（図６Ｃ）を示す。
【０１０７】
形状解析アプローチは、核細胞が平滑であるが、不規則な凸形状、例えば、変形した楕円体を有すると仮定する。方法は、一般的には、２つの主な工程において動作する。まず、ウォーターシェッドアルゴリズムを使用して、細胞の核領域を見出す。ウォーターシェッドは、極小に対応するシード点を使用する。この場合、各シード点を、形態学的操作を適用することにより見出す。第２工程では、領域を併合する。併合基準は、２つの隣接する核の勾配の大きさ、距離変換及び周辺比の関数である（例えば、図６Ｃを参照のこと。）。
【０１０８】
膜及び細胞質の検出（リングモデル系検出）（細胞内分割）
図７Ａは、変換した構造マーカー
【０１０９】
【数１７】
0006496709.tif 000018
に対応する画像を示す。図７Ａでは、膜７０２が、チューブ様形態を示し、極大に対応する領域が、膜７０２の実質的な重心軸又は中心軸にあることが観察され得る。一方、極小に対応する領域は、各個々の核の中心である。一般的には、膜及び細胞質に対応する構造マーカーは、膜及び細胞質それぞれの中心において、最大タンパク質発現に達し、一方、間質及び核領域において、最少タンパク質発現に達し、それらを、膜及び細胞質の局所的及び全体的な形状に適切にする。典型的な実施形態では、本開示の有益なアプローチは、個々の膜及び細胞質についての形状モデルを提案することを含む。この場合、形状モデルは、寸法変動を有する２次元画像の幾何的モデルに対応する。図７Ｂは、検出した膜７０２の確率分布図を示す画像を示す。
【０１１０】
本開示の１つの提案されたアプローチにより、種々の厚さを有する膜及び細胞質の両方が検出される。典型的な実施形態では、このアプローチは、種々のスケールに基づくモデルであり、種々のスケールにおける解析を実行する。２次元のリングの幾何的モデルにおいて示唆され、この場合、スケール因子は、リングの半径に対応し、２次元のリングの中心は、１に近い値に達する。一方、リングの縁は、０に近い値に達する。
【０１１１】
０≦λ1（ｘ，ｙ）≦λ2（ｘ，ｙ）を、特定のスケールおけるＨｅｓｓｉａｎマトリクスの整列した固有値にする。次いで、リング様構造についての測定を、確率分布図を構築することにより規定し得る。この場合、最大確率を有する値を、
【０１１２】
【数１８】
0006496709.tif 000019
として、２次元のリングの中心軸に割り当てる。
【０１１３】
上記等式において、ｒmin、ｒmaxは、２次元のリングの最小及び最大半径であり、λ1r、λ2rは、スケールｒにおけるＨｅｓｓｉａｎマトリクスの固有値であり、ｇ：λ1r×λ2r→［０，１］は、下記制約：
【０１１４】
【数１９】
0006496709.tif 000020
に対する関数の対象である。制約中、
【０１１５】
【数２０】
0006496709.tif 000021
、すなわち、ｘは、固有値の比であり、ｇは、それらが等しい場合、ペナルティを課し、比が大きい場合、１の値を割り当てる。
【０１１６】
可変性の半径を有するリングを検出するために、多重スケール解析を実行することにより、予測された半径値の範囲に対して、確率値が割り当てられるのを確保することに留意されたい。次いで、スケール間の最大確率は、２次元のリングの半径に対応する。
【０１１７】
形態的制約に基づくモデルからの階層的表示
細胞内区画の階層的表示は、図１で示したように、細胞区画内の空間順序を割り当てる。階層的モデルは、細胞内領域が互いに競合し、所定の優位性を有するように制約される。これにより、それらは、特定位置の確率を最大化する。
【０１１８】
以下により詳細に検討するように、図８Ａは、核８０２、細胞質８０６及び膜８０４を含む、元の多重チャネル画像を示す。核８０２、細胞質８０６及び膜８０４はそれぞれ、青、緑及び赤のチャネルに対応するクロスハッチを使用して表される。図８Ｂは、リング系モデルに基づいて検出した細胞質に対応する確率分布図を示す。図８Ｃは、リング系モデルに基づいて検出した膜に対応する確率分布図を示す。図８Ｄは、非重ね合わせルールによる階層的分割を示す。図８Ｅは、重ね合わせルールによる階層的分割を示す。
【０１１９】
図８Ａは、３つのチャネル：核８０２（青）、膜８０４（赤）及び細胞質８０６（緑）の合成画像を示す。この例では、構造マーカーが重なり合い、この曖昧さを、分割関数ｆseg（ＩC（ｘ，ｙ））＝［ｎｃｅｌｌ，ｌｎ，ｌｍ，ｌｃ，ｌｂ］によりモデル化することができ、特定の区画に対する標識（又はメンバーシップ）値を割り当てることができる。
【０１２０】
図８Ｂは、検出した細胞質の確率分布図を表す。確率値は、膜の中心において最大であり、この場合、可変性の半径が存在することに留意されたい。同様に、膜の確率分布図を、図８Ｃに表す。膜は、細胞の縁に向かって局在し、一方、細胞質は、核に対してより近くに局在することに留意されたい。この情報は、コスト関数に包含される。コスト関数は、細胞内区画の階層的配置の確率を最大化する。
【０１２１】
区画の検出に基づく形態的制約は、下記の通りである。方法は、細胞内区画の種々の階層的組合せに基づいて、細胞内領域に優先順位を付け得る。細胞内優先順位の例は、下記の通りである。１）膜対領域の残り部分：膜は、細胞質及び核より高い優先度を有し、核は、細胞質より高い優先度を有する。２）膜対領域の残り部分：膜は、細胞質及び核より高い優先度を有し、細胞質は、核より高い優先度を有する。
【０１２２】
図８Ｄは、階層的分割の結果を示す。この場合、赤の領域は、細胞内で検出した膜に対応する。緑の領域は、検出した細胞質に対応し、検出した核は青である。一方、バックグラウンドは、黒である。この場合、各ピクセルは、割り当てられた固有の標識：
【０１２３】
【数２１】
0006496709.tif 000022
を得る。図８Ｅは、ピクセルが重なり合っているかどうかに関わらず、ピクセルが種々の区画に属す事例を示す。検出した膜及び細胞質の横断を、図８Ｅに示す。この場合、重みが、公平に割り当てられる。
【０１２４】
細胞のグループ化
典型的な実施形態では、細胞のグループ化は、特定のパターン又は基準に基づいて、個々の細胞を特定することを含む。一般的には、細胞の会合について、２つの主要な基準が存在する。第一に、種々のタンパク質発現プロファイルに基づくグループ化（例えば、その特定のタンパク質プロファイルに基づく個々の細胞のクラスタリング）である。第二に、空間的及び形態学的ルールに基づくグループ化（例えば、上皮及び間質に属する細胞）である。
【０１２５】
階層的グラフ系表示
図９は、ツリーデータ構造として、細胞内レベルでの典型的な組織構造９００の表示及び抽象概念を示す。抽象概念の第１レベル９０２は、上皮及び間質に関する組織の分割である。上皮細胞は、典型的には、種々の程度のガンに関連することに留意されたい。抽象概念の第２レベル９０４は、個々の細胞の種々のグループ又は部分集合（例えば、種々の腺に属する細胞、赤血球に属する細胞、他の基準等）である。一般的には、各グループ又は部分集合について、空間的、形態学的及び／又はタンパク質発現ルールが存在する。抽象概念の第３レベル９０６は、細胞内レベルでの組織の表示である。この中で、各個々の細胞は、細胞内区画に関して表示される（例えば、核、膜及び細胞質に関する個々の細胞分割）。
【０１２６】
図１０は、図９に示した提案の組織表示の例である。図１０では、組織構造１０００は、ローブ（例えば、上皮細胞）及び間質領域から構成される。会合ルールは、主要な前立腺の内分泌部にある細胞により規定される。
【０１２７】
図１０は、主要な前立腺１０１０の小葉１と、主要な前立腺の内分泌部２と、平滑筋及び／又は結合組織から構成される間質３とを示す。図１０では、葉（末端結節）は、１つの細胞を表す。結節は、関連する解剖構造を表す。１つの細胞のそれぞれについて、細胞区画は、核、細胞質及び関連する膜に関して特定される。
【０１２８】
典型的な実施形態を実施するためのプログラムされた典型的なコンピュータデバイス
本願明細書に開示されたシステム及び方法は、１以上の非一時的コンピュータ可読媒体である、ＲＡＭ、ＲＯＭ、ハードドライブ及び／又はハードウェア上に保持された実行可能な命令に関連する、１以上のプログラムされた処理ユニットを含んでもよい。典型的な実施形態では、ハードウェア、ファームウェア及び／又は実行可能なコードは、例えば、既存のインフラ（例えば、既存のデバイス／処理ユニット）と併せて使用するための、アップグレードモジュールとして提供されてもよい。ハードウェアは、例えば、コンピュータ処理として本願明細書に教示された実施形態を実行するためのコンポーネント及び／又は論理回路を含んでもよい。
【０１２９】
本願明細書で使用する場合、「コンピュータ可読媒体」の用語は、コントローラ、プロセッサ、マイクロコントローラ、コンピュータシステム又はコンピュータシステムのモジュールによりアクセスされて、その上のコンピュータ実行可能な命令又はソフトウェアプログラムをエンコードし得る、非一時的記憶ハードウェア、非一時的記憶装置若しくは製品又は非一時的コンピュータシステムメモリを意味する。「コンピュータ可読媒体」は、コンピュータシステム又はコンピュータシステムのモジュールによりにアクセスされて、媒体上にエンコードされているコンピュータ実行可能な命令又はソフトウェアプログラムを取得及び／又は実行し得る。非一時的コンピュータ可読媒体は、限定されるものではないが、１種類以上のハードウェアメモリ、非一時的有形媒体（例えば、１以上の磁気記憶ディスク、１以上の光学ディスク、１以上のＵＳＢフラッシュドライブ）、コンピュータシステムメモリ又はランダムアクセスメモリ（例えば、ＤＲＡＭ、ＳＲＡＭ、ＥＤＯ  ＲＡＭ）等を含んでもよい。
【０１３０】
図１１は、本願明細書に記載した処理を実行可能な、典型的なシステム１１００のハードウェア及びソフトウェアコンポーネントを示す図である。システム１１００は、コンピュータデバイス１１０２を含む。コンピュータデバイス１１０２は、記憶装置１１０４と、ネットワークインターフェース１１０８と、通信バス１１１６と、中央処理ユニット（ＣＰＵ）１１１０、例えば、マイクロプロセッサ等と、ランダムアクセスメモリ（ＲＡＭ）１１１２と、１以上の入力装置１１１４、例えば、キーボード、マウス等を含み得る。コンピュータデバイス１１０２は、ディスプレイ１１２０、例えば、液晶ディスプレイ（ＬＣＤ）、陰極線管（ＣＲＴ）等も含み得る。記憶装置１１０４は、任意の適切なコンピュータ可読記憶媒体、例えば、ディスク、不揮発性メモリ、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等を含み得る。コンピュータデバイス１１０２は、例えば、ネットワークコンピュータシステム、パーソナルコンピュータ、スマートホン、タブレット等であり得る。
【０１３１】
典型的な実施形態では、本願明細書に記載した１以上の処理を実施するようにプログラムされたエンジン１１５０の典型的な実施形態は、１以上の非一時的コンピュータ可読記憶装置１１０４上に記憶された、コンピュータ可読プログラムコードとして具現化されることができ、任意の適切な、高レベル又は低レベルのコンピュータ言語、例えば、Ｊａｖａ（登録商標）、Ｃ、Ｃ＋＋、Ｃ＃、．ＮＥＴ、Ｐｙｔｈｏｎ等を使用して、ＣＰＵ１１１０により実行されることができる。ＣＰＵ１１１０によるコンピュータ可読コードの実行は、ＣＰＵ１１１０に、本願明細書に記載した１以上の処理の典型的な実施形態を実行させ得る。
【０１３２】
例えば、エンジン１１５０は、階層的画像分割解析を実行するようにプログラム及び／又は構成される。一実施形態では、エンジン１１５０は、図２に関して記載された処理の実施形態を実施するようにプログラム及び／又は構成されることができ、組織構造のグラフ又はテキスト表示を生成することができる（例えば、図９及び１０）。
【０１３３】
エンジン１１５０は、データストレージ（例えば、非一時的コンピュータ可読媒体）から、画像データにアクセスするようにプログラム及び／又は構成され得る。画像データは、連続的に蛍光染色され、生体組織における複数の形態学的バイオマーカーの発現レベルを示す生体組織の多重化画像に対応し得る。一部の実施形態では、形態学的バイオマーカーは、１種類の細胞内形態学的単位を表示するバイオマーカーを含む。
【０１３４】
エンジン１１５０は、バイオマーカーの発現レベル測定を決定するようにプログラム及び／又は構成され得る。測定は、１以上の細胞における１以上の細胞内形態学的単位に特異的であることができ、発現レベルの平均であることができる。エンジン１１５０は、バイオマーカーの発現レベルに基づいて、画像データ上で、画像分割解析を実行するようにプログラム及び／又は構成され得る。解析は、生体組織における１以上の細胞の位置及び構成を特定するのに使用され得る。例えば、エンジン１１５０は、監視形状順位、非監視形状順位及び／又はサポートベクタ分割を使用して、画像データ中の個々の細胞境界を検出するようにプログラムされ得る。解析は、１以上の検出／特定された細胞内における、１以上の細胞内形態学的単位（例えば、核、細胞質及び／又は膜）の位置及び構成を特定するのにも使用され得る。例えば、エンジン１１５０は、形態的制約を強いること、及び／又は、確率分布図を使用することにより検出／特定して、膜又は細胞質をモデル化するリング様構造を生成するようにプログラム及び／又は構成され得る。１以上の細胞内形態学的単位におけるバイオマーカーの発現レベルは、細胞内形態学的単位のレベルにおいて、エンジン１１５０により自動的に決定され得る。一部の実施形態では、エンジン１１５０は、バイオマーカーの発現レベルに基づいて、画像データ上で、画像分割解析を実行して、１以上の所望の組織系領域（例えば、間質細胞の集合又は上皮細胞の集合）を特定するようにプログラム及び／又は構成され得る。生体組織切片は、細胞内形態学的単位におけるバイオマーカーの発現レベルに基づいて、エンジン１１５０によりグループ化され得る。
【０１３５】
典型的な実施形態では、エンジン１１５０は、解析を実行して、１以上の細胞内形態学的単位におけるバイオマーカーの発現レベルと、１以上の細胞内形態学的単位の構成との間の関係を決定するようにプログラム及び／又は構成され得る。
【０１３６】
エンジン１１５０は、生物学的単位の表示を、ディスプレイ１１２０上にレンダリングするようにプログラムされ得る。一例として、エンジン１１５０は、１以上の細胞、１以上の細胞における１以上の細胞内形態学的単位及び／又は１以上の所望の組織系領域の階層的表示を、レンダリングするようにプログラム及び／又は構成され得る。一部の実施形態では、画像データのピクセルは、ハードな分割を使用する階層的表示において、１種類の細胞内形態学的単位に関連し得る。これについて、各ピクセルは、本願明細書に記載したように、１）核、２）膜、３）細胞質のいずれかに属する。一部の実施形態では、画像データのピクセルは、ソフトな分割を使用する階層的表示において、１種類以上の細胞内形態学的単位に関連し得る。これについて、ピクセルは、１以上の細胞内区画（例えば、核、膜、細胞質）に属し得る。一部の実施形態では、画像データのピクセルは、確率系分割を使用する階層的表示において、ピクセルが第１の種類の細胞内形態学的単位に対応する第１の確率、及び、ピクセルが第２の種類の細胞内形態学的単位に対応する第２の確率を有する。この場合、各ピクセルは、核、膜及び細胞質のいずれかに属する確率を有する。一部の実施形態では、画像データのピクセルは、階層的表示において、ピクセルが第１の種類の細胞内形態学的単位に対応する第１のメンバーシップ値、及び、ピクセルが第２の種類の細胞内形態学的単位に対応する第２のメンバーシップ値を有する。
【０１３７】
別の例として、エンジン１１５０は、１以上の細胞及び、１以上の細胞における１以上の細胞内形態学的単位の表示において、重ね合わせ法でのバイオマーカーの発現レベルの表示をレンダリングするようにプログラム及び／又は構成され得る。
【０１３８】
一部の実施形態では、エンジン１１５０は、１以上の細胞についての１以上の分割−品質基準を決定するようにプログラム及び／又は構成され得る。エンジン１１５０は、１以上の細胞のレンダリング上での重ね合わせ法において、１以上の細胞についての１以上の分割−品質基準を、ディスプレイ上にレンダリングし得る。一部の実施形態では、１以上の既定義分割品質基準を満たす、分割−品質基準を有する１以上の細胞の中からの細胞の部分集合のみをレンダリングする。基準の例としては、細胞の形態学的測定、例えば、細胞サイズ、伸び、形状及び、細胞内区画、例えば、膜、細胞質及び核の面積の形態学的測定があげられる。
【０１３９】
ネットワークインターフェース１１０８は、例えば、イーサネット（登録商標）・ネットワーク・インターフェースデバイス、ワイヤレス・ネットワーク・インターフェースデバイス、コンピュータデバイス１１０２のネットワークを介した通信を可能にする任意の他の適切なデバイス等を含み得る。
【０１４０】
ＣＰＵ１１１０は、開示した処理を実施及び／又はラン可能な任意の適切なアーキテクチャの、任意の適切な１以上のコアマイクロプロセッサ、例えば、Ｉｎｔｅｌプロセッサ等を含み得る。ランダムアクセスメモリ１１１２は、最新のコンピュータにおける任意の適切な高速のランダムアクセスメモリ、例えば、ダイナミックＲＡＭ（ＤＲＡＭ）等を含み得る。
【０１４１】
典型的な実施形態を実施する典型的なクライアント−サーバ環境
本願明細書に開示したシステム及び方法は、クライアント−サーバ環境において実施され得る。図１２は、本願明細書に開示したシステム及び方法を実施するための、典型的なクライアント−サーバ環境１２００である。コンピュータシステム１２００は、通信ネットワーク１２５０を介して、クライアント１２２０、１２２１、１２２２に動作可能に接続された、サーバ１２１０、１２１１、１２１２を含む。通信ネットワーク１２５０は、任意のネットワークであることができ、その上で、情報が、ネットワークに通信可能に接続されたデバイス間を送信され得る。例えば、通信ネットワーク１２５０は、インターネット、イントラネット、仮想プライベートネットワーク（ＶＰＮ）、広域ネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）等であり得る。環境１２００は、レポジトリ又はデータベース１２３０、１２３１を含み得る。レポジトリ又はデータベース１２３０、１２３１は、通信ネットワーク１２５０を介して、サーバ１２１０−１２１２及びクライアント１２２０−１２２２に動作可能に接続され得る。サーバ１２１０−１２１２、クライアント１２２０−１２２２及びデータベース１２３０、１２３１は、コンピュータデバイスとして実装され得る。当業者であれば、データベース１２３０、１２３１は、１以上のサーバ１２１０−１２１２に包含されることができ、これにより、１以上のサーバが、データベースを含むことができることを認識するであろう。
【０１４２】
一部の実施形態では、エンジン１１５０及び／又は本願明細書に記載した分割処理の実施形態は、１つのデバイス、例えば、サーバ１２１０又はクライアント１２２０により実施され得る。一部の実施形態では、エンジン１１５０及び／又は本願明細書に記載した分割処理の実施形態の一部は、通信ネットワーク１２５０における、種々のデバイス（例えば、サーバ、クライアント、データベース）を使用して実施され得る。これにより、１以上のデバイスは、分割処理の１以上の工程を実施するようにプログラム及び／又は構成され得る。例えば、一実施形態では、多重化デジタル画像は、データベース１２３０に記憶されることができ、エンジン及び／又は本願明細書に記載した分割処理は、サーバ１２１０により実行され得る。ユーザは、クライアントデバイス１２２０を介して、サーバ１２１０にアクセスして、エンジン及び／又は本願明細書に記載した分割処理を実行し得る。サーバ１２１０は、データベース１２３０から、多重化画像にアクセスすることができ、本願明細書に記載した処理の実施形態を実行して、多重化画像における生体組織の階層的表示を出力することができる。多重化画像は、例えば、データベース１２３１に記憶され得る。
【０１４３】
試験結果
異種移植モデル及び結腸組織サンプルの両方からの多重化画像における個々の細胞の解析結果を、以下に表す。本開示の典型的なシステム／方法を、少なくとも３０００の画像に適用する。画像は、結腸ガン及び異種移植モデルの画像を含む。その結果を、市販のソフトウェアとも比較する。
【０１４４】
図１３は、個々の構造マーカーＴCompartmentsの分割結果を示す。図１３Ａ−Ｃは、核（図１３Ａ）、膜（図１３Ｂ）及び細胞質（図１３Ｃ）に対応する画像を示す。図１３Ｄ−Ｆは、元データ１３０２（青色で表すクロスハッチを使用）及び検出した区画１３０４（緑色で表すクロスハッチを使用）の重ね合わせを示す。
【０１４５】
より具体的には、図１３Ａ−Ｃは、異種移植データセットに対応する、核、膜及び細胞質それぞれの画像を示す。図１３Ｄ−Ｆは、分割した核、膜及び細胞質（緑）と、対応する画像チャネル（青）との重ね合わせを示す。赤線は、細胞境界である。
【０１４６】
図１４Ａ−Ｆは、上皮における個々の細胞解析の分割結果の画像を示す。図１４Ａは、画像ＴCompartmentsに対応する。この場合、クロスハッチを使用して表される核１４０６、膜１４０４及び細胞質１４０２は、青、緑及び赤のチャネルそれぞれに対応する。図１４Ｂは、膜チャネルに対応し、図１４Ｃは、検出した細胞に対応し、図１４Ｅ及び１４Ｆは、膜及び細胞質それぞれに対応する確率分布図を示す。図１４Ｃは、細胞内レベルにおける分割結果を示す。この場合、ピクセルは、区画マーカーに固有に関連する。核１４０６、膜１４０４及び細胞質１４０２（図１４Ｃ）。
【０１４７】
より具体的には、図１４Ａは、核１４０６（例えば、青色で表すクロスハッチを使用）、膜１４０４（例えば、緑色で表すクロスハッチを使用）及び細胞質１４０２（赤色で表すクロスハッチを使用）のチャネルの重なり合わせを伴う、前立腺ガンからの対象に対応する元画像を示す。図１４Ｃは、個々の細胞を表す各色を伴う、ウォーターシェッドアルゴリズムを適用することにより検出した細胞区画を示す。
【０１４８】
本開示の分割法の結果を、Ｄｅｆｉｎｉｅｎｓ、Ｍｕｎｉｃｈ、Ｇｅｒｍａｎｙから販売されている市販のソフトウェアパッケージである、Ｄｅｆｉｎｉｅｎｓ  Ｄｅｖｅｌｏｐｅｒ  Ｖｅｒｓｉｏｎ  ７に含まれる認識ネットワークアルゴリズムを使用する、専用の解析パイプラインから得たものと比較した。この場合、両アルゴリズムを、組織画像を細胞内区画：ｉ）核、ｉｉ）膜及びｉｉｉ）細胞質に分割するのに使用した。画像セットは、異種移植試験に対応する。
【０１４９】
典型的な異種移植試験には、１３の対象が含まれる。対象あたりに平均１０の画像が存在した。以下に検討するように、図１５Ａ−Ｉ及び１６Ａ−Ｉを、代表的なサンプルとして選択した。この場合、典型的には、これらのデータセットには、過飽和が存在した。一般的には、図１５Ａ−Ｉの画像は、図１６Ａ−Ｉの画像と比較して、過飽和が少ない。
【０１５０】
図１５Ａ−Ｃは、核、膜及び細胞質に対応するチャネルを示す。より具体的には、図１５Ａ−Ｃは、核、膜及び細胞質に対応する異種移植画像を示す。図１５Ｄ−Ｆに対応する画像は、本開示の典型的な実施異形態に基づく分割結果である。
【０１５１】
両アルゴリムからの分割を目視で比較するために、分割結果を、（クロスハッチを使用して表された）カラー画像にカラーコードした。この場合、本開示のシステム／方法に基づく分割結果を、赤で表すであろう。一方、Ｄｅｆｉｎｉｅｎｓ  Ｄｅｖｅｌｏｐｅｒ  Ｖｅｒｓｉｏｎ  ７を使用した結果を、緑で表すであろう。両アルゴリズムが一致する領域を、黄色で表すであろう（図１５Ｄ−Ｆ）。同様に、図１６Ａ−Ｉの画像は、両分割アルゴリズムの結果を示す。
【０１５２】
図１５Ｇは、試験からの元データを示す。図１５Ｈは、本開示のシステム／方法に基づいて、重ね合わせていない細胞内区画：核１５０２（例えば、青色で表すクロスハッチを使用）、膜１５０６（例えば、赤色で表すクロスハッチを使用）及び細胞質１５０４（例えば、緑色で表すクロスハッチを使用）に関する、１つの細胞分割を示す。図１５Ｉは、Ｄｅｆｉｎｉｅｎｓ  Ｄｅｖｅｌｏｐｅｒ  Ｖｅｒｓｉｏｎ  ７を使用した１つの細胞分割：核１５０２（例えば、青色で表すクロスハッチを使用）及び膜１５０６（例えば、緑色で表すクロスハッチを使用）を示す。この画像において、細胞質のマスクは重なり合っていない（図１５Ｆを参照のこと。）。
【０１５３】
注記として、図１６Ａ−Ｉの画像は、両分割アルゴリズムの結果を示す。より具体的には、図１６Ａ−Ｃは、核、膜及び細胞質に対応する異種移植画像を示す。図１６Ｄ−Ｆに対応する画像は、本開示の典型的な実施形態に基づく分割結果である。両アルゴリムからの分割を目視で比較するために、分割結果を、カラー画像にカラーコードした。この場合、本開示のシステム／方法に基づく分割結果を、赤で表すであろう。一方、Ｄｅｆｉｎｉｅｎｓ  Ｄｅｖｅｌｏｐｅｒ  Ｖｅｒｓｉｏｎ  ７を使用した結果を、緑で表すであろう。両アルゴリズムが一致する領域を、黄色で表すであろう（図１６Ｄ−Ｆ）。図１６Ｇは、試験からの元データを示す。図１６Ｈは、本開示のシステム／方法に基づいて、重ね合わせていない細胞内区画：核１６０２（例えば、青色で表すクロスハッチを使用）、膜１６０６（例えば、赤色で表すクロスハッチを使用）及び細胞質１６０４（例えば、緑色で表すクロスハッチを使用）に関する、１つの細胞分割を示す。図１６Ｉは、Ｄｅｆｉｎｉｅｎｓ  Ｄｅｖｅｌｏｐｅｒ  Ｖｅｒｓｉｏｎ  ７を使用した１つの細胞分割：核１６０２（例えば、青色で表すクロスハッチを使用）及び膜１６０６（例えば、緑色で表すクロスハッチを使用）を示す。この画像において、細胞質のマスクは重なり合っていない（図１６Ｆを参照のこと。）。
【０１５４】
一般的には、両アルゴリズムは、飽和領域上で明らかに一致しなかった。より具体的には、Ｄｅｆｉｎｉｅｎｓ（著作権）は、領域を分割しすぎる傾向があった。一方、本開示のシステム／方法は、堅牢な分割を有利に提供した。例えば、図１６Ｂの膜画像は、明らかな過飽和を示したため、図１６Ｉに示したように、Ｄｅｆｉｎｉｅｎｓ（著作権）ソフトウェアにより得られた結果において、それを証明した。本開示のシステム／方法を使用する膜分割の結果を、図１６Ｈに示す。強度飽和が存在する場合、分割した膜１６０６（赤色で表すクロスハッチを使用）が、どのようにして推定されすぎていないかに留意されたい。
【０１５５】
図１７Ａ−Ｃは、結腸ガンに対応する組織切片からの結果を示す。図１７Ａは、ＤＡＰＩチャネルを示す。図１７Ｂは、構造マーカーＴCompartmentsに対応する画像を示す。核画像は互いに重なり合っており、膜におけるタンパク質発現は、細胞質におけるタンパク質発現より明らかに低いことに留意されたい。図１７Ｃは、本開示のシステム／方法の分割結果を示す。核は、正確に分離され、膜検出は、細胞の縁において正確に検出される。
【０１５６】
より具体的には、図１７Ａ−Ｃを参照して、図１７Ａは、核チャネルを示すことに留意されたい。図１７Ｂは、形態学的チャネル：核１７０２（例えば、青色で表すクロスハッチを使用）、膜１７０６（例えば、赤色で表すクロスハッチを使用）及び細胞質１７０４（例えば、緑色で表すクロスハッチを使用）の重ね合わせを示す。図１７Ｃは、本開示に基づく、典型的な１つの細胞の分割アルゴリズムの結果を示す。この場合、分割した区画は、核１７０２（例えば、青色で表すクロスハッチを使用）、膜１７０６（例えば、赤色で表すクロスハッチを使用）及び細胞質１７０４（例えば、緑色で表すクロスハッチを使用）である。
【０１５７】
図１８Ａ及び１８Ｂは、対応するタンパク質発現による分割結果の重ね合わせ１８００及び１８５０をそれぞれ示す。すなわち、図１８Ａ−Ｂは、構造を区別するクロスハッチを使用する、核１８０２、膜１８０６及び細胞質１８０４を示す分割細胞を含む、バイオマーカー発現の重ね合わせを示す。この場合、ｐＧＳＫタンパク質の発現（図１８Ａ）及びケラチンタンパク質の発現（図１８Ｂ）を示す。細胞あたりの細胞内区画において、定量を実行することに留意されたい。この場合、各細胞に、固有の番号を割り当てる。
【０１５８】
図１９は、組織全体における分割した細胞の画像１９００を示す。図１９は、細胞内レベルにおける分割結果を示す画像である。核細胞は、対応する区画を伴って、ｘ−ｙ面に位置する。細胞あたりの詳細な統計１９０２を、全てのタンパク質に関して定量する。テキストファイル（図示せず）により、タンパク質の発現を定量するマトリクスが提供され得る。より具体的には、データを、テキストファイル等にエクスポートし得る。この場合、タンパク質の詳細な統計１９０２を、区画において推定する。
【０１５９】
本開示のシステム、アッセンブリ及び方法は、その典型的な実施形態に言及して説明されているが、本開示は、このような典型的な実施形態及び／又は実施には限定されない。むしろ、本開示のシステム、アッセンブリ及び方法は、その開示から当業者に容易に明らかとなるであろうように、多くの実施及び用途が可能である。本開示は、開示した実施形態のこのような修飾、強調及び／又は変形例を明確に包含する。多くの変更が、上記解釈においてなされることができ、この開示の多くの幅広い種々の実施形態は、その範囲を逸脱することなくなされることができる。図面及び明細書に含まれる全ての事項が、例示として解釈され、限定的意味で解釈されないことを意図する。更なる修飾、変更及び置換が、前述の開示において意図される。したがって、特許請求の範囲は、広く、本開示の範囲に一致して解釈されことが理解される。
【０１６０】
典型的なフローチャートは、本願明細書において、例示目的で提供され、方法の非限定的な例である。当業者であれば、典型的な方法が、典型的なフローチャートに図示されたより多い又は少ない工程を含んでもよく、典型的なフローチャートにおける工程が、図示されたフローチャートに示した順序とは異なる順序で実行されてもよいことを認識するであろう。
【図１】
0006496709.tif 000023
【図２】
0006496709.tif 000024
【図３】
0006496709.tif 000025
【図４】
0006496709.tif 000026
【図５】
0006496709.tif 000027
【図６】
0006496709.tif 000028
【図７】
0006496709.tif 000029
【図８】
0006496709.tif 000030
【図９】
0006496709.tif 000031
【図１０】
0006496709.tif 000032
【図１１】
0006496709.tif 000033
【図１２】
0006496709.tif 000034
【図１３】
0006496709.tif 000035
【図１４Ａ−Ｃ】
0006496709.tif 000036
【図１４Ｄ−Ｆ】
0006496709.tif 000037
【図１５Ａ−Ｃ】
0006496709.tif 000038
【図１５Ｄ−Ｆ】
0006496709.tif 000039
【図１５Ｇ−Ｉ】
0006496709.tif 000040
【図１６Ａ−Ｃ】
0006496709.tif 000041
【図１６Ｄ−Ｆ】
0006496709.tif 000042
【図１６Ｇ−Ｉ】
0006496709.tif 000043
【図１７】
0006496709.tif 000044
【図１８】
0006496709.tif 000045
【図１９】
0006496709.tif 000046