(57)【特許請求の範囲】
【請求項１】
複数の染料によって染色される生物学的組織サンプルから得られたマルチチャネル画像内の生物学的構造の自動検出のための画像処理方法であって、
前記マルチチャネル画像をアンミックスして、チャネル（６３０）ごとのアンミックスされた画像を提供するステップであって、各チャネルは、前記生物学的構造のうちの１つを表す、ステップと、
画像処理アルゴリズムを適用することによって、前記アンミックスされた画像内の前記生物学的構造に対する候補位置を検出するステップと、
前記候補位置の各々に対し、前記アンミックスされた画像から事前定義されたサイズ（Ｎ×Ｎ、ａ×ｂ）を有する画像パッチ（５２８．１、５２８．２、５２８．３、５２８．４、５２８．５）の群（５２８）を抽出するステップであって、前記群の前記画像パッチは、前記候補位置を含み、画像パッチの前記群の各々１つは、チャネルごとに１つの画像パッチを含む、ステップと、
画像パッチの前記群（５２８）を訓練された畳み込みニューラルネットワーク（１２０）に連続して入力するステップであって、前記畳み込みニューラルネットワークは、交互の順序で少なくとも畳み込みレイヤ及び副標本化レイヤを含み、前記畳み込みレイヤのうちの最初の１つ（Ｃ１）は、前記畳み込みニューラルネットワークの入力に結合され、前記入力の各々１つは、前記チャネル（６３０）のうちの１つに割り当てられ、前記畳み込みレイヤのうちの前記最初の１つ（Ｃ１）は、いくつかの特徴マップ（ｍ１、ｍ２、ｍ３）を有し、前記畳み込みニューラルネットワークは、前記染料のグループを記述するコロケーションデータ（１２２）を使用して、前記畳み込みレイヤのうちの前記最初の１つの前記特徴マップへの前記入力の結合マッピングのために構成され、各グループは、コロケートされた生物学的特徴を表す前記チャネルのサブセットを共通の特徴マップにマッピングするために、コロケートされた染料を含む、ステップと、
前記畳み込みニューラルネットワークの出力から前記マルチチャネル画像内の前記生物学的特徴の存在に対する確率を表す確率マップを出力するステップと
を備える、方法。
【請求項２】
特徴マップの数は、チャネルの数未満である、請求項１に記載の方法。
【請求項３】
前記畳み込みニューラルネットワークは、前記確率マップを出力する完全結合レイヤ（Ｃ５）に結合されたその最後の畳み込みレイヤを有する、請求項１又は２に記載の方法。
【請求項４】
複数の染料で前記生物学的組織サンプルを染色して、前記チャネルを提供するステップと、
画像センサ（１０２）を使用して、前記マルチチャネル画像を取得するステップと、
をさらに備える、請求項１、２又は３に記載の方法。
【請求項５】
前記画像センサは、前記マルチチャネル画像のチャネルの数未満のいくつかのカラーチャネルを有し、前記マルチチャネル画像の前記アンミックスすることは、前記コロケーションデータを使用して実行される、請求項４に記載の方法。
【請求項６】
前記畳み込みニューラルネットワークは、
マルチチャネル訓練画像を、前記複数の染料によって染色された訓練生物学的組織サンプルから取得し、
前記マルチチャネル訓練画像をアンミックスして、チャネルごとのアンミックスされた画像を提供し、
前記アンミックスされた訓練画像をユーザインタフェース上に表示し、
前記マルチチャネル訓練画像内の前記生物学的構造の前記存在及び位置を示すラベル付け情報を受信し、
前記ラベル付け情報によって示される前記位置の各々に対し、前記事前定義されたサイズを有する訓練画像パッチの群を前記アンミックスされた訓練画像から抽出し、前記画像パッチは、前記示された位置を含み、
訓練画像パッチの前記群を連続的に入力することによって、前記畳み込みニューラルネットワークを訓練し、前記訓練画像パッチを入力したことに応答して前記畳み込みニューラルネットワークによって出力される前記確率マップは、前記畳み込みニューラルネットワークの訓練に対する前記ラベル付け情報と比較される
ことによって訓練される、請求項１乃至５のいずれか一項に記載の方法。
【請求項７】
複数の染料によって染色される生物学的組織サンプルから得られたマルチチャネル画像内の生物学的構造の自動検出のための画像処理システムであって、
前記マルチチャネル画像をアンミックスして、チャネルごとのアンミックスされた画像を提供するためのアンミキシング構成要素であって、各チャネルは、前記生物学的構造のうちの１つを表す、ステップと、
画像処理アルゴリズムを適用することによって、前記アンミックスされた画像内の前記生物学的構造に対する候補位置を検出するための検出構成要素と、
事前定義されたサイズを有する画像パッチの群を前記アンミックスされた画像から抽出することによって、前記候補位置の各々を処理するように構成されたパッチ抽出構成要素であって、同一の群の前記画像パッチは、それぞれの前記候補位置を含み、画像パッチの前記群の各々１つは、チャネルごとに１つの画像パッチを含む、パッチ抽出構成要素と、
画像パッチの前記群を連続して入力するための訓練された畳み込みニューラルネットワークであって、前記畳み込みニューラルネットワークは、交互の順序で少なくとも畳み込みレイヤ及び副標本化レイヤを含み、前記畳み込みレイヤのうちの最初の１つは、前記畳み込みニューラルネットワークの入力に結合され、前記入力の各々１つは、前記チャネルのうちの１つに割り当てられ、前記畳み込みレイヤのうちの前記最初の１つは、いくつかの特徴マップを画像パッチの前記群から生成するように構成され、前記畳み込みニューラルネットワークは、前記染料のグループを記述するコロケーションデータを使用して、前記畳み込みレイヤのうちの前記最初の１つの前記特徴マップへの前記入力の結合マッピングのために構成され、各グループは、コロケートされた生物学的特徴を表す前記チャネルのサブセットを共通の特徴マップにマッピングするために、コロケートされた染料を含む、畳み込みニューラルネットワークと、
前記畳み込みニューラルネットワークの出力から前記マルチチャネル画像内の前記生物学的特徴の存在に対する確率を表す確率マップを出力するための出力部と
を備える、画像処理システム。
【請求項８】
特徴マップの数は、チャネルの数未満である、請求項７に記載の画像処理システム。
【請求項９】
前記畳み込みニューラルネットワークは、前記確率マップを出力する完全結合レイヤに結合されたその最後の畳み込みレイヤを有する、請求項７又は８に記載の画像処理システム。
【請求項１０】
前記生物学的組織サンプルを複数の染料で染色して、前記チャネルを提供する染色構成要素と、
前記マルチチャネル画像のチャネルの数未満のいくつかのカラーチャネルを有する画像センサを使用して、前記マルチチャネル画像を取得するための取得構成要素であって、前記アンミキシング構成要素は、前記コロケーションデータを使用して前記マルチチャネル画像の前記アンミックスを実行するように構成される、取得構成要素と
をさらに備える、請求項７、８又は９に記載の画像処理システム。
【請求項１１】
画像内の構造の自動検出のためのコンピュータ実行方法であって、前記コンピュータ実行方法は、コンピュータ可読媒体に記憶され、動作を実行するようプロセッサによって実行される論理命令を含み、前記動作は、
畳み込みニューラルネットワークモデルをテスト画像の少なくとも一部に適用するステップであって、前記畳み込みニューラルネットワークモデルは、１つ又は複数の画像内の少なくとも１つの生物学的構造に対応する前記１つ又は複数の画像及び１つ又は複数のラベルで訓練された畳み込みニューラルネットワークを含む、ステップと、
前記テスト画像の前記一部への前記畳み込みニューラルネットワークモデルの前記適用に基づいて、前記テスト画像の少なくとも一部に対する少なくとも１つの確率スコアを生成するステップと
を備え、
前記少なくとも１つの確率スコアは、前記テスト画像の前記一部が前記少なくとも１つの生物学的構造を含むことの確率を示し、
前記テスト画像は、１つ又は複数のチャネルを含み、前記動作は、少なくとも細胞構造チャネル及び背景画像構造チャネルをもたらすカラーチャネルに前記画像を分離するステップをさらに備え、
前記細胞構造チャネルは免疫細胞チャネルであり、前記訓練することは、生物学的試料の前記画像内の免疫細胞の予想される位置を取得することをさらに含む、
方法。
【請求項１２】
前記畳み込みニューラルネットワークを訓練するステップをさらに備え、前記訓練するステップは、
少なくとも１つの訓練画像内で前記少なくとも１つの生物学的構造を識別するステップと、
前記生物学的構造をラベル付けするステップと、
前記畳み込みニューラルネットワークを前記ラベル付けされた生物学的構造に適用するステップと、
前記ラベル付けされた生物学的構造への前記畳み込みニューラルネットワークの前記適用に基づいて、前記ラベル付けされた生物学的構造に対する前記畳み込みニューラルネットワークモデルを生成するステップと
を備える、請求項１１に記載の方法。
【請求項１３】
前記少なくとも１つの生物学的構造が前記テスト画像で選択されるときに、ロケータがディスプレイデバイス上の選択された位置に対して中心にあるように、又は実質的に中心にあるように見えるように、前記生物学的構造の前記選択された位置上のロケータを関連付けるステップをさらに備える、請求項１２に記載の方法。
【請求項１４】
前記ロケータは、前記ディスプレイデバイス上に表示されたユーザインタフェースを介して入力される、請求項１３に記載の方法。
【請求項１５】
複数のチャネルを前記訓練に対する入力として選択するステップをさらに備える、請求項１１に記載の方法。
【請求項１６】
前記テスト画像に対する前記生物学的構造の少なくとも１つの確率マップを生成するステップをさらに備える、請求項１１に記載の方法。
【請求項１７】
前記確率マップから前記生物学的構造のうちの少なくとも１つに対する細胞重心座標を取得するための極大値発見方法を使用するステップをさらに備える、請求項１６に記載の方法。
【請求項１８】
前記テスト画像から画像パッチを抽出するステップをさらに備える、請求項１１に記載の方法。
【請求項１９】
放射対称、輪状検出、又は最前面閾値化によって判定される候補位置の周りで前記画像パッチが抽出される、請求項１８に記載の方法。
【請求項２０】
プロセッサと、
前記プロセッサに結合されたメモリと
を備え、前記メモリは、前記プロセッサによって実行されるときに、前記プロセッサに、
生物学的構造に対応する少なくとも１つの訓練画像及び少なくとも１つのラベルを含む訓練画像データの組で畳み込みニューラルネットワークを訓練するステップと、
前記訓練に基づいて畳み込みニューラルネットワークモデルを生成するステップと、
前記畳み込みニューラルネットワークモデルをテスト画像の少なくとも一部に適用するステップと、
前記テスト画像の前記一部への前記畳み込みニューラルネットワークモデルの前記適用に基づいて、前記テスト画像の少なくとも一部に対する少なくとも１つの確率スコアを生成するステップであって、前記少なくとも１つの確率スコアは、前記テスト画像の前記一部が前記生物学的構造を含むことの確率を示す、ステップと、
を備えた動作を実行させるコンピュータ可読命令を記憶し、
前記畳み込みニューラルネットワークモデルは、前記生物学的構造がテスト画像内に存在する確率を判定するために前記テスト画像の少なくとも一部に適用され、
前記テスト画像は、１つ又は複数のチャネルを含み、前記動作は、少なくとも細胞構造チャネル及び背景画像構造チャネルをもたらすカラーチャネルに前記画像を分離するステップをさらに備え、
前記細胞構造チャネルは免疫細胞チャネルであり、前記訓練することは、生物学的試料の前記画像内の免疫細胞の予想される位置を取得することをさらに含む、システム。
【請求項２１】
前記動作は、ユーザ入力を介して前記生物学的構造に対するラベルを受信するステップをさらに備える、請求項２０に記載のシステム。
【請求項２２】
前記動作は、前記ユーザ入力を介して前記生物学的構造の位置を識別するロケータを受信するステップをさらに備える、請求項２１に記載のシステム。
【請求項２３】
前記動作は、前記訓練画像から画像パッチを抽出するステップをさらに備え、前記ロケータは、前記画像パッチ内で中心に、又は実質的に中心にあり、前記画像パッチの前記サイズは、前記訓練画像のサイズに対して前記生物学的構造のサイズに対応する、請求項２２に記載のシステム。
【請求項２４】
コンピュータ可読コードを記憶した有形非一時的コンピュータ可読媒体であって、前記コンピュータ可読コードは、請求項１乃至６及び１１乃至１９のいずれか一項に記載の方法を実行するようにプロセッサによって実行される、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[001]本出願は、２０１４年１２月３０日に出願され、及び「ＳＹＳＴＥＭＳ  ＡＮＤ  ＭＥＴＨＯＤＳ  ＦＯＲ  ＤＥＥＰ  ＬＥＡＲＮＩＮＧ  ＦＯＲ  ＣＥＬＬ  ＤＥＴＥＣＴＩＯＮ（細胞検出のための深層学習のシステム及び方法）」と題する米国仮特許出願第６２／０９８，０８７号、ならびに２０１４年５月２３日に出願され、及び「ＤＥＥＰ  ＬＥＡＲＮＩＮＧ  ＢＡＳＥＤ  ＡＵＴＯＭＡＴＩＣ  ＣＥＬＬ  ＣＯＵＮＴＩＮＧ  ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤ（深層学習に基づく自動細胞集計システム及び方法）」と題する米国仮特許出願第６２／００２，６３３号に対する優先権を主張し、それらの内容が全体において本明細書で参照することによってこの開示に組み込まれる。
【０００２】
[002]本主題の開示は、画像分析に関する。より詳細には、本主題の開示は、画像内の構造（例えば、細胞構造）又はパターン（例えば、背景（ｂａｃｋｇｒｏｕｎｄ）もしくはホワイトスペース（ｗｈｉｔｅ  ｓｐａｃｅ））を自動的に識別することに関する。
【背景技術】
【０００３】
[003]組織切片、血液、及び細胞培養などの生物学的試料（ｂｉｏｌｏｇｉｃａｌ  ｓｐｅｃｉｍｅｎｓ）の分析では、生物学的試料は、染料（ｓｔａｉｎ）又は分析試料（ａｓｓａｙ）の１つ又は複数の組み合わせで染色されることが多く、次いで、染色された生物学的試料は、さらなる分析のために参照又は撮像される。分析試料を観察することは、病気の診断、治療に対する反応の評価、及び病気に対抗するための新たな薬物の開発を含む様々な処理を可能にする。
【０００４】
[004]例えば、組織に光源を適用すると、一般的に顕微鏡を通じて観察者によって分析試料が評価され得る。代わりに、分析試料が適用された後に生物学的試料の画像が生成されることがあり、さらなる工程のために分析試料から画像データが取得され得る。そのような取得では、複数の信号の混合を含む各観察されたチャネルを有する、画像データの複数のチャネル、例えば、ＲＧＢカラーチャネルが導出される。この画像データの処理は、観察されたチャネル又は画像データのチャネルから特定の染料の濃度を判定するために使用される、色分解、スペクトルアンミキシング（ｓｐｅｃｔｒａｌ  ｕｎｍｉｘｉｎｇ）、色解析などの方法を含むことができる。ディスプレイ上で、又は観察者によって参照される分析試料に対して描写された、自動化された方法によって処理される画像データについて、染色された組織内のバイオマーカ（ｂｉｏｍａｒｋｅｒ）分布のモデルを判定するために、組織の色と染料の色との間の関係が判定されることがある。染料の局所的な存在及び量は、組織内で問われるバイオマーカの存在及び集中を示すことがある。
【０００５】
[005]刊行物「Ａｄａｐｔｉｖｅ  Ｓｐｅｃｔｒａｌ  Ｕｎｍｉｘｉｎｇ  ｆｏｒ  Ｈｉｓｔｏｐａｔｈｏｌｏｇｙ  Ｆｌｕｏｒｅｓｃｅｎｔ  Ｉｍａｇｅｓ（組織病理蛍光発光画像に対する適応スペクトルアンミキシング）」、Ｔｉｎｇ  Ｃｈｅｎ他、Ｖｅｎｔａｎａ  Ｍｅｄｉｃａｌ  Ｓｙｓｔｅｍｓ，Ｉｎｃ．は、生物学的組織サンプル（ｂｉｏｌｏｇｉｃａｌ  ｔｉｓｓｕｅ  ｓａｍｐｌｅ）の多重スライドのスペクトルアンミキシングのための種々の従来技術についての導入及び概要を提供し、その全体が、参照によって本明細書に組み込まれる。組織画像のスペクトルアンミキシングのための種々の他の技術は、ＷＯ２０１２／１５２６９３Ａ１及びＷＯ２０１４／１４０２１９Ａ１から知られている。
【０００６】
[006]多重免疫組織化学（ＩＨＣ）染色は、単一の組織切片内での複数のバイオマーカの検出のための技術であり、その著しい効率性及びそれが生成する豊富な診断情報によってますます一般的になっている。ＩＨＣスライド染色は、組織切片の細胞内のたんぱく質を識別するために利用され得、よって、生物学的組織内の癌性細胞及び免疫細胞などの異なるタイプの細胞を調査する際に広く使用される。例えば、ＩＨＣ染色は、癌性腫瘍内の１つなど、異常細胞の診断に利用されることがある。一般的には、免疫学データは、腫瘍標本内の免疫細胞のタイプ、密度、及び位置を示し、このデータは患者の生存率予測を判定する際に病理学者に特に関心がある。よって、ＩＨＣ染色は、免疫反応調査のために癌性組織内の免疫細胞（Ｔ細胞又はＢ細胞など）の異なって表現されるバイオマーカの分布及び局在を理解するための研究に使用されることがある。例えば、腫瘍は、免疫細胞の浸潤物を含むことが多く、それは、腫瘍の発達を防ぐことがあり、又は腫瘍の副産物を支持することがある。このシナリオでは、異なるタイプの免疫細胞をターゲットとするために複数の染料が使用され、患者の臨床結果を調査する際に各タイプの免疫細胞の個体数分布が使用される。
【０００７】
[007]免疫プロファイル調査は一般的に、人間の腫瘍の成長及び再発に対する免疫反応に関する。しかしながら、免疫プロファイル調査の前提条件は、選択された組織の領域、例えば、何百から何千の細胞を含むことがあるリンパ節領域内で異なる免疫細胞を手動で特定し、その数を集計するために、明視野顕微鏡を利用する、人間の観察者を必要とする。これは極端に飽き飽きし、時間を要する処理であり、結果が個人内及び個人間の変動性に影響されることもある。組織スライドは、一般的に、免疫細胞を識別する分化抗原群（ＣＤ）たんぱく質標識、及び細胞核（ｎｕｃｌｅｕｓ）をマーク付けする細胞核標識ヘマトキシリン（ＨＴＸ）を有するＩＨＣ診断分析試料によって染色される。次いで、染色されたスライドは、顕微鏡又はスキャナに取り付けられたＣＣＤカラーカメラを使用して撮像される。よって、取得されたＲＧＢカラー画像は、免疫細胞膜（ｃｅｌｌ  ｍｅｍｂｒａｎｅ）及び普遍的な細胞核バイオマーカ表現の混合である。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
[008]細胞を検出するためのいくつかの技術が従来技術において開示されている。当該技術のほとんどは、細胞の外見特徴の対称情報を捕捉する画像処理に基づいている。機械学習技術がまた、細胞状領域を識別するために構造化サポートベクトルマシン（ＳＶＭ）から学習された統計モデルマッチングなどの細胞検出のために研究されてきた。しかしながら、これらの技術は、細胞膜検出以外の自動細胞核検出に制限される。普遍的なＴ細胞及び細胞毒性Ｔ細胞に対するＣＤ３及びＣＤ８などの免疫細胞標識はそれぞれ、細胞膜標識であり、染料は、細胞核のおぼろげな外見（ｂｌｏｂ  ａｐｐｅａｒａｎｃｅ）ではなく、輪状外見（ｒｉｎｇ  ａｐｐｅａｒａｎｃｅ）を示す。いくつかの機械学習に基づくシステムは、細胞の境界の十分なコントラストを維持するためのｓｃａｌｅ  ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）を使用しているが、この方法は、染色されていない細胞画像のために開発されたものであり、ＩＨＣ染色画像内で免疫細胞を検出するためにそれを拡大することが重要である。
【課題を解決するための手段】
【０００９】
本発明は、複数の染料によって染色されている生物学的組織サンプルから得られるマルチチャネル画像内での生物学的構造の自動検出のための画像処理方法、ならびに独立請求項１及び７に記載されたそれぞれの画像処理システムを提供する。本発明の実施形態は、従属請求項及びさらなる独立請求項内の発明のさらなる態様で与えられる。
【００１０】
[009]本明細書で理解されるように「生物学的組織サンプル」は、解剖病理学のための人間又は動物体から得られる外科試料などのいずれかの生物学的標本である。生物学的標本は、前立腺（ｐｒｏｓｔｒａｔｅ）組織サンプル、胸部組織サンプル、大腸（ｃｏｌｏｎ）組織サンプル又は別の器官もしくは体の領域から得られる組織サンプルであってもよい。
【００１１】
[0010]本明細書で理解されるように「マルチチャネル画像」は、生物学的組織サンプルから得られるデジタル画像を包含し、生物学的組織サンプルでは、細胞核及び組織構造などの、異なる生物学的構造が、特定の蛍光発光染料で同時に染色され、その染料の各々が、異なるスペクトル帯域で蛍光発光し、よってマルチチャネル画像のチャネルのうちの１つを構成する。
【００１２】
[0011]本明細書で理解されるように「アンミックスされた画像（ｕｎｍｉｘｅｄ  ｉｍａｇｅ）」は、マルチチャネル画像のうちの１つのチャネルに対して得られるグレー値又はスカラ画像を包含する。マルチチャネル画像をアンミックスすることによって、チャネルごとに１つのアンミックスされた画像が得られる。
【００１３】
[0012]本明細書で理解されるように「画像パッチ（ｉｍａｇｅ  ｐａｔｃｈ）は、アンミックスされた画像の一部、特に関心の候補位置を含むアンミックスされた画像の一部を包含する。
【００１４】
[0013]本明細書で理解されるように「画像パッチの群（スタック、ｓｔａｃｋ）」は、画像パッチの組を包含し、群のサイズは、チャネルの数に等しく、群の各画像パッチは、アンミックスされた画像のうちの１つから得られる。特に、同一の群の各画像パッチは、元のマルチチャネル画像内の同一のエリアをカバーする。
【００１５】
[0014]本明細書で理解されるように「カラーチャネル」は、画像センサのチャネルである。例えば、画像センサは、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）などの、３つのカラーチャネルを有してもよい。
【００１６】
[0015]畳み込みニューラルネットワーク（ＣＮＮ）の訓練を促進し、改良された安定性をもたらし、ユーザによって経験される計算負荷及び待ち時間を低減させる構造を有する生物学的特徴の存在に対する確率を表す確率マップ（ｐｒｏｂａｂｉｌｉｔｙ  ｍａｐ）を生成するために畳み込みニューラルネットワークが採用されるときに、本発明の実施形態は特に有利である、これは、コロケートされた（一緒に配置された、ｃｏ−ｌｏｃａｔｅｄ）生物学的特徴を表すチャネルのサブセットが共通の特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）にマッピングされるような、その最初の畳み込みレイヤの特徴マップへのＣＮＮの入力の結合マッピング（ｃｏｎｎｅｃｔｉｏｎ  ｍａｐｐｉｎｇ）によって達成される。染料のコロケーション（ｃｏ−ｌｏｃａｔｉｏｎ）に関する先天的な生物学的知識を使用することによって、構造は、したがって、これらの有利な効果を有するＣＮＮに対して強化される。これは、ＣＮＮを対応して構成するステップによって行われる。
【００１７】
[0016]本発明の一実施形態に従って、特徴マップの数は、マルチチャネル画像のチャネルの数を下回る。これは特に、計算負荷を低減し、ＣＮＮを訓練するために必要な訓練画像の数を低減させるとともにＣＮＮの安定性を高めるために有利である。
【００１８】
[0017]本発明のさらなる一実施形態に従って、マルチチャネル画像を取得するために使用される画像センサは、マルチチャネル画像のチャネルの数を下回るいくつかのカラーチャネルを有する。染料のコロケーションを記述するコロケーションデータを記述するコロケーションデータは、それ自体が従来技術から既知であるように、グループスパーシティ（ｇｒｏｕｐ  ｓｐａｒｓｉｔｙ）モデルを使用することによってなど、アンミキシングを実行するために利用されてもよい。このようにコロケーションデータは、アンミキシングを実行すること、及びＣＮＮを構成することの両方のために使用され得る。
【００１９】
[0018]主題の開示は、画像内の関心の構造、例えば、細胞構造（例えば、細胞、細胞核、細胞境界、細胞膜）、背景（例えば、ホワイトもしくはホワイト状スペースなどの背景パターン）、背景画像成分（ｉｍａｇｅ  ｃｏｍｐｏｎｅｎｔ）、及び／又はアーチファクトの自動又は半自動検出のための、システム及びコンピュータ実行方法を提示することによって上記特定した問題を解決する。本発明の例示的な実施形態では、本発明は、画像内の細胞構造を非細胞構造又は画像成分と区別する。構造又は成分は、このタスクに対して訓練された畳み込みニューラルネットワークを使用して識別されてもよい。より詳細には、訓練画像及びラベルを使用して特定の細胞構造及び特徴を認識するために、畳み込みニューラルネットワークが訓練されてもよい。ニューラルネットワークは、検出された構造が実際に細胞、細胞膜、背景などを表す確率を出力する。それらの確率は、客体の「位置」として使用される特定の画素を識別するために、ｎｏｎ−ｍａｘｉｍｕｍ  ｓｕｐｐｒｅｓｓｉｏｎなどの極大値発見方法（ｌｏｃａｌ  ｍａｘｉｍａ  ｆｉｎｄｉｎｇ  ｍｅｔｈｏｄ）を受けてもよい。細胞の特定の部分、例えば、細胞核のおおよその中心は、例示的に、観察下のエリア内の客体の「位置」、すなわち、画像パッチとして使用される。
【００２０】
[0019]本明細書で説明される動作は、マルチチャネル画像から個々のカラーチャネルを読み出すステップと、当該複数の個々のチャネルを検出器、例えば、細胞検出器に対する入力として提供するステップとを含む。細胞検出器は、病理学者などの訓練されたオペレータによって識別される細胞、細胞の部分、又は他の細胞もしくは画像特徴などの細胞構造に対するグラウンドトルス（ｇｒｏｕｎｄ  ｔｒｕｔｈ）を使用して訓練される学習手段を備えてもよい。複数のタイプの細胞標識に対応する画像のチャネル内の、免疫細胞などの細胞構造、又は細胞核などの他のターゲット構造を識別するために、訓練された細胞検出器が使用されてもよい。学習手段は、そこでラベル付けされたグラウンドトルスで複数の訓練画像を分析することによって畳み込みニューラルネットワーク（ＣＮＮ）を生成することを含んでもよい。訓練に続いて、テスト画像又は分析下の画像が複数のパッチに分割されてもよく、各パッチは、ＣＮＮに従って分類される１つ又は複数のチャネルを含み、画像内の免疫細胞又は他のターゲット構造の存在を表す確率マップが生成されてもよい。さらに、確率マップからターゲット構造の座標を得るために、ｎｏｎ−ｍａｘｉｍｕｍ  ｓｕｐｐｒｅｓｓｉｏｎ動作が実行されてもよい。
【００２１】
[0020]本明細書で説明される例示的な実施形態では、複数のタイプの細胞、例えば、免疫細胞は、明視野撮像システムから取得される元のＲＧＢ画像、アンミックスされた蛍光発光画像、又はＬＡＢなどのいずれかの他のカラー空間内の画像など、マルチチャネル画像から検出されてもよい。本明細書で説明される代替的な例示的実施形態では、全体画像の代わりに画像の選択された領域に検出が適用され得、例えば、画像の最前面を検出することによって検出が可能とされてもよく、最前面の領域内でのみ検出を適用してもよい。この細胞検出処理を加速するために、事前計算された最前面マスクが、それらの最前面内の或る免疫細胞を含む可能性がある画像の領域のみの処理を可能にするために使用され得る。
【００２２】
[0021]１つの例示的な実施形態では、主題の開示は、画像内の構造の自動検出のためのコンピュータ実行方法を提供し、コンピュータ実行方法は、コンピュータ可読媒体に記憶され、画像の１つ又は複数のチャネル内の細胞構造の予想される（ｐｒｏｂａｂｌｅ）位置を得るために学習モジュールを訓練するステップと、学習モジュールを分析のために入力画像又はテスト画像に適用するステップとを含む動作を実行するようにプロセッサによって実行される論理命令を含む。学習モジュールは、畳み込みニューラルネットワーク分類器などのニューラルネットワーク分類器を含んでもよい。
【００２３】
[0022]別の例示的な実施形態では、主題の開示は、画像内の構造の自動検出のためのシステムを提供し、システムは、プロセッサ及びプロセッサに結合されたメモリを含み、メモリは、プロセッサによって実行されるときに、画像の１つ又は複数のチャネル内の細胞構造の予想される位置を得るために分類器を訓練するステップと、分類器をテスト画像に適用するステップとを含む動作をプロセッサに実行させるコンピュータ可読命令を記憶する。
【００２４】
[0023]さらなる別の例示的な実施形態では、主題の開示は、テスト画像から抽出されるパッチを抽出及び分類するステップと、完全結合レイヤ（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）が導出されるまでパッチの領域を畳み込み及び標本化するステップと、完全結合レイヤに基づいて、入力画像又はテスト画像内の１つ又は複数の細胞構造の確率マップを生成するステップとを含む動作を実行するようにプロセッサによって実行されるコンピュータ可読コードを記憶した有形非一時的コンピュータ可読媒体を提供する。
【図面の簡単な説明】
【００２５】
【図１】[0024]主題の開示の例示的な一実施形態に従った、構造の自動検出のためのシステムを示す。
【図２Ａ】[0025]主題の開示の例示的な一実施形態に従った、自動構造検出システムを訓練するための方法を示す。
【図２Ｂ】主題の開示の例示的な一実施形態に従った、自動構造検出システムを訓練するための方法を示す。
【図３Ａ】[0026]主題の開示の例示的な実施形態に従った、分類器を訓練するために利用される異なるタイプのパッチのパッチ抽出のための方法及び例を示す。
【図３Ｂ】主題の開示の例示的な実施形態に従った、分類器を訓練するために利用される異なるタイプのパッチのパッチ抽出のための方法及び例を示す。
【図３Ｃ】主題の開示の例示的な実施形態に従った、分類器を訓練するために利用される異なるタイプのパッチのパッチ抽出のための方法及び例を示す。
【図３Ｄ】主題の開示の例示的な実施形態に従った、分類器を訓練するために利用される異なるタイプのパッチのパッチ抽出のための方法及び例を示す。
【図３Ｅ】主題の開示の例示的な実施形態に従った、分類器を訓練するために利用される異なるタイプのパッチのパッチ抽出のための方法及び例を示す。
【図３Ｆ】主題の開示の例示的な実施形態に従った、分類器を訓練するために利用される異なるタイプのパッチのパッチ抽出のための方法及び例を示す。
【図４Ａ】[0027]主題の開示の例示的な一実施形態に従った、自動細胞検出のための方法を示す。
【図４Ｂ】主題の開示の例示的な一実施形態に従った、自動細胞検出のための方法を示す。
【図４Ｃ】主題の開示の例示的な一実施形態に従った、自動細胞検出のための方法を示す。
【図５】[0028]主題の開示の例示的な一実施形態に従った、畳み込みニューラルネットワークアルゴリズムを示す。
【図６】[0029]図６Ａは、主題の開示の例示的な一実施形態に従った、修正されたＣＮＮアルゴリズムを示す。図６Ｂは、主題の開示の例示的な一実施形態に従った、修正されたＣＮＮアルゴリズムを示す。
【図７】[0030]主題の開示の例示的な一実施形態に従った、テスト画像に対する出力ラベルマップを示す。
【図８】[0031]主題の開示の例示的な一実施形態に従った、ニューラルネットワークを訓練するためのユーザインタフェースを示す。
【発明を実施するための形態】
【００２６】
[0032]主題の開示は、マルチチャネル画像から個々のカラーチャネルを読み出すステップと、免疫細胞標識に対応する画像の１つもしくは複数のチャネル内の免疫細胞、又は細胞核などの他のターゲット構造を識別するために畳み込みニューラルネットワークを使用して訓練される細胞検出器に対する入力として、１つ又は複数の個々のチャネルから１つもしくは複数の個々のチャネル又は画像データの部分を提供するステップとを含む、画像構造、例えば、細胞構造の自動検出のためのシステム及びコンピュータ実行方法を提示することによって上記特定した問題を解決する。マルチチャネル画像は、明視野スキャナから得られるＲＧＢ画像、ＬＡＢなどの別のカラー空間からの画像、マルチチャネル明視野もしくは暗視野スキャナからのマルチチャネル画像、マルチススペクトル撮像システムからの蛍光発光画像、暗視野画像、又はいずれかの他のマルチチャネル画像であってもよい。いくつかの実施形態では、画像は、カラー逆畳み込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）又はアンミキシング処理から結果として得られる画像であってもよい。細胞検出器は、１つ又は複数の訓練画像を分析することによって生成される畳み込みニューラルネットワーク（ＣＮＮ）などの学習モジュールを使用して訓練されてもよい。訓練画像は、例えば、アンミキシングからの各々の個々のチャネルの画像であってもよく、各チャネルは、ＣＤ２０、ＣＤ３、ＣＤ８、ＦＰ３などの画像内の異なるターゲット構造又は免疫細胞をターゲットとする異なるバイオマーカに対応してもよい。訓練画像はまた、マルチチャネル画像、例えば、ＲＧＢ画像であってもよい。訓練の間、例えば、ユーザインタフェース上でユーザによって識別及びラベル付けされる細胞又は画像構造の周りでパッチが形成される。本明細書で説明されるように、訓練の間に生成されるラベル付けされたパッチは、学習モジュールへの入力として使用されてもよい。この処理の結果に基づいて、テスト画像又は分析対象の画像内に存在するとユーザが予測する種々のタイプの構造の存在、例えば、画像内の免疫細胞又は他のターゲット構造を表す訓練データが生成されてもよい。訓練データは、細胞核、細胞膜、又は背景の識別などの、訓練パッチに対するラベルを含む。例示を目的に、開示される実施形態は、免疫細胞に言及して説明される。しかしながら、本明細書で開示される動作は、試料からのいずれかの生物学的構造の検出、及び背景画像成分からの生物学的構造の識別（ｄｉｆｆｅｒｅｎｔｉａｔｉｏｎ）に適用可能である。したがって、本明細書で開示される動作は、例えば、細胞構造が画像の他の構造又は成分から識別されるように、細胞全体、細胞の部分、細胞膜、細胞核及び／もしくは背景、又は他の画像成分に適用可能である。
【００２７】
[0033]訓練に続いて、テスト画像又は分析下の画像は、本明細書でさらに説明される、各パッチを有する複数のテストパッチに分割され、そこで可視的な構造に基づいた分類のためにＣＮＮの対象となってもよい。１つの例示的な実施形態では、複数のタイプの免疫細胞及び／又は背景は、明視野撮像システムから取得される元のＲＧＢ画像、アンミックスされた画像、又はＬＡＢなどのいずれかの他のカラー空間内の画像などの、マルチチャネル画像から検出されてもよい。例えば、画像内の各画素又はｋ個ごとの画素の周りのＮ×Ｎ×Ｄパッチは、各チャネル内の中心画素の周囲の画素に基づいて形成されてもよく、ＣＮＮは、パッチを異なる細胞タイプ又は背景のクラスに分類するために抽出されたパッチ上で実行されてもよく、Ｎ×Ｎは、画素内の画像パッチのサイズ又はいずれかの他のサイズの単位であり、Ｄは、画像内のチャネルの数である。
【００２８】
[0034]別の実施形態では、テスト又は検出は、画像の最前面を検出することによって可能となる、全体の画像の代わりに画像の選択された領域に適用され得、最前面領域内にのみ検出を適用してもよい。例えば、画像パッチは、閾値化によって、関心の、又は事前計算された最前面領域の周りの細胞又は構造に対する候補位置を判定するために画像に適用される放射対称又は輪状検出動作によって判定される候補位置の周りで抽出されてもよい。そのような動作は、それ自体、従来技術、ｃｆ．Ｐａｒｖｉｎ、Ｂ．その他、Ｉｔｅｒａｔｉｖｅ  ｖｏｔｉｎｇ  ｆｏｒ  ｉｎｆｅｒｅｎｃｅ  ｏｆ  ｓｔｒｕｃｔｕｒａｌ  ｓａｌｉｅｎｃｙ  ａｎｄ  ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ  ｏｆ  ｓｕｂｃｅｌｌｕｌａｒ  ｅｖｅｎｔｓ（細胞内イベントの構造的特徴及び特性の推測のための反復投票）．ＩＥＥＥ  Ｔｒａｎｓ．Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  １６（３）、６１５−６２３（２００７）から知られている。例えば、細胞核は、放射対称を使用して検出されてもよく、輪状検出動作は、細胞膜を検出することができる。この細胞検出処理を加速するために、事前計算された最前面マスクが、それらの最前面内の免疫細胞などのターゲット構造を含む可能性がある画像の領域のみの処理を可能にするために使用され得る。よって、候補位置に対応する画像の部分のみを抽出することによって処理がさらに効率的となる。
【００２９】
[0035]構造の存在は、確率マップとして表されてもよく、各確率マップは、１つのタイプの免疫細胞又は他のターゲット構造に対応する。さらに、確率マップから免疫細胞の座標を得るために、ｎｏｎ−ｍａｘｉｍｕｍ  ｓｕｐｐｒｅｓｓｉｏｎ動作が実行されてもよい。いくつかの実施形態では、複数のチャネルが同時に処理されてもよいので、画像チャネルがアンミックスされる必要はない。しかしながら、主題の開示の別の実施形態では、入力はまた、単一のチャネル画像、例えば、画像多重又はマルチチャネル画像をアンミックスすることから結果として得られた画像であり得る。
【００３０】
[0036]図１は、主題の開示の例示的な一実施形態に従った、構造の自動検出のためのシステム１００を示す。システム１００は、コンピュータ１０１に結合されたプロセッサ１０５によって実行される複数の処理モジュール又は論理命令を記憶したメモリ１１０を含む。プロセッサ１０５及びメモリ１１０に加え、コンピュータ１０１はまた、キーボード、マウス、スタイラス、及びディスプレイ／タッチスクリーンなどのユーザ入力及び出力デバイスを含む。以下の議論で説明されるように、プロセッサ１０５は、ＣＮＮモジュール１２０の訓練及び分析、ならびにユーザが操作するコンピュータ１０１への定量的／グラフィカルな結果の出力をもたらす他の動作を実行する、メモリ１１０に記憶された論理命令を実行する。
【００３１】
[0037]画像取得部１０２は、スキャンされたスライド、例えば、ＩＨＣスライドから画像又は画像データとともに、染色及び／又は撮像プラットフォームの識別に加えターゲット組織タイプ又は客体に関する情報を提供してもよい。例えば、１つ又は複数の異なる染料、例えば、明視野撮像のための色原体染料（ｃｈｒｏｍｏｇｅｎｉｃ  ｓｔａｉｎ）又は蛍光発光撮像のための蛍光色素分子を含む染色分析試料の塗布によって、標本が染色される必要があることがある。分析試料を染色することは、蛍光発光撮像のための量子ドットとともに、明視野撮像のための色原体染料、有機蛍光色素分子、量子ドット、もしくは有機蛍光色素分子、又は染料及び参照もしくは撮像デバイスのいずれかの他の組合せを使用し得る。さらに、一般的な標本は、染色された標本をもたらす、染色分析試料を標本に塗布する自動染色／分析試料プラットフォームで処理される。染色／分析試料プラットフォームとしての使用に適した市販の様々な商品が存在し、１つの例は、譲渡人Ｖｅｎｔａｎａ  Ｍｅｄｉｃａｌ  Ｓｙｓｔｅｍｓ、Ｉｎｃ．の製品、Ｄｉｓｃｏｖｅｒｙ（登録商標）である。染色された組織は、例えば、顕微鏡又は顕微鏡及び／もしくは撮像構成要素を有する全体的なスライドスキャナ上の撮像システムに供給されてもよい。画像取得部１０２によって提供される追加の情報は、染色の際に使用される化学薬品もしくは物質の濃度、染色の際に組織に塗布される化学薬品もしくは物質の反応時間、及び／又は組織の年齢、固定方法、持続期間、標本がどのように埋め込まれたか、切られたか、などの、組織の分析前状態を含む、染色プラットフォームに関連するいずれかの情報を含んでもよい。
【００３２】
[0038]画像取得部１０２によって撮像されるマルチチャネル画像のカラーチャネルは、メモリ１１０、及び本明細書で説明される動作を実行するために実行される種々のモジュールによって受信されてもよい。例えば、訓練ニューラルネットワークモジュール１１１は、画像の関心の客体、画像の最前面及び背景内のそのような細胞位置を識別及びラベル付けし、これらをグラウンドトルスとしてラベルデータベース１１２で確立する手段を提供する。訓練ニューラルネットワークモジュール１１１は、例えば、病理学者などの訓練されたオペレータが、そのような関心の構造に対してグラウンドトルスを確立するために、訓練画像内に位置した細胞、細胞構造、又は他の画像構造を識別及びラベル付けすることを可能にするユーザインタフェースを提供してもよい。対応する構造に対するそのようなグラウンドトルスは、分類器を訓練してテスト画像又は分析対象の画像内の類似の構造を識別するために使用される。パッチ抽出モジュール１１４は、病理学者によって識別される、１つ又は複数の画素の位置に対応する各細胞構造又は画像構造の周りのパッチを抽出するために呼び出されてもよい。例えば、指定されたサイズの複数のパッチは、ニューラルネットワークを訓練するために、訓練画像から、病理学者の入力に基づいて画素の範囲の周りで抽出されてもよく、「細胞核」、「細胞膜」、「背景」などに対応するラベルに従って使用されてもよい。
【００３３】
[0039]畳み込みニューラルネットワーク（ＣＮＮ）は、グラウンドトルスを使用して訓練されてもよい。ＣＮＮは基本的に、図５に関してさらに説明されるように、誤差逆伝播アルゴリズムによって訓練することができる、完全結合レイヤがそれに続く、一連の代替畳み込みレイヤ及び副標本化レイヤを有するニューラルネットワークである。利点は、訓練画像パッチからのわずかな転移及び歪みに対して不変である特徴記述子を自動的に学習することを含む、そのようなニューラルネットワークを使用することである。ＣＮＮは、病理学者によって識別される細胞、細胞膜などの位置、及びそれらの対応するラベルを含む訓練画像の領域のパッチを含む訓練データで訓練されてもよい。これを可能にするために、パッチ抽出モジュール１１４は、図３Ａ〜図３Ｃを参照してさらに説明されるように、各画像チャネルから関連するパッチを抽出するために実行されてもよい。さらに、生物学的試料、例えば、組織サンプルのＲＧＢ又は蛍光発光画像の画像及び／又はチャネルは、訓練又は処理の前にアンミキシングモジュール１１３によってアンミックスされてもよい。アンミキシングは、細胞核及び細胞膜などの異なる細胞構造に対応する異なるカラーチャネルを提供することができる。
【００３４】
[0040]訓練に続いて、テスト画像又は分析下の画像は、パッチ抽出モジュール１１４を使用して複数のパッチに分割されてもよく、各パッチは、適用するニューラルネットワークモジュール１１５によって処置及び分類されてもよい。適用するニューラルネットワークモジュール１１５は、テスト画像から画像パッチを分類するために、本明細書で説明されるように訓練されたＣＮＮなどの訓練されたニューラルネットワークを使用してもよい。このケースでは、パッチ抽出モジュール１１４は、画像から複数のパッチを抽出する。例えば、上記説明された画素のランダム選択に基づいて、いずれかの画素状（ｐｉｘｅｌ−ｗｉｓｅ）抽出を行うことによって、パッチが抽出されてもよい。例えば、パッチは、画素の各々、又は画素の１つおきになど画素のいくつかの選択に対して抽出される。一代替実施形態では、最前面及びの背景の細胞位置を最初に検出することによってパッチが抽出されてもよい。
【００３５】
[0041]１つの例示的な実施形態では、画像内のラベル付けされた画像構造及び／又は画像パターンの位置に対応する、各画素又はｋ個の画素ごとの周りのＮ×Ｎ×Ｄのパッチが抽出されてもよく、パッチを異なる細胞タイプ又は背景のクラスに分類するために適用するニューラルネットワークモジュール１１５が実行されてもよく、Ｎ×Ｎは、画素内の画像パッチのサイズ又はいずれかの他のサイズの単位であり、Ｄは、画像内のチャネルの数である。分類は、パッチがＴ細胞もしくは細胞核などの関心の構造を含むか否か、又は単純に背景データを含むか否かを含んでもよい。
【００３６】
[0042]一代替実施形態では、パッチ抽出モジュール１１４は、細胞核などの関心の細胞又は構造に対する候補位置を判定するために、候補位置、例えば、放射対称によって判定される細胞核又は画像に適用される輪状検出動作によって検出される細胞膜などの細胞構造の周りの画像パッチを抽出する。その結果として画像内の免疫細胞又は他のターゲット構造の存在を表す確率マップを出力する、適用するニューラルネットワークモジュール１１５への入力としてパッチが使用されてもよい。さらに、免疫細胞座標を確率マップから得るために、ｎｏｎ−ｍａｘｉｍｕｍ  ｓｕｐｐｒｅｓｓｉｏｎモジュール１１６が実行されてもよい。例えば、結果として生じるマップ内で細胞の位置に対する信頼できる座標を示す、細胞の中心を発見するためにｎｏｎ−ｍａｘｉｍｕｍ  ｓｕｐｐｒｅｓｓｉｏｎモジュール１１７が使用される。例えば、ｎｏｎ−ｍａｘｉｍｕｍ  ｓｕｐｐｒｅｓｓｉｏｎモジュール１１７は、そのウインドウ内の最大値よりも低い現在の隣接ウインドウ内の全ての画素をゼロに設定する。極大値を発見するためのｎｏｎ−ｍａｘｉｍｕｍ  ｓｕｐｐｒｅｓｓｉｏｎ以外の他の方法が、この開示を考慮して当業者にとって明らかであることがある。
アンミキシング
[0043]アンミキシングモジュール１１３は、それらの全体を参照することによってそれらの内容が本明細書に組み込まれる、共同で出願され、同時係属している米国特許出願第６１／９４３２６５号及びＰＣＴ／ＥＰ２０１５／０５３７４５、Ｇｒｏｕｐ  Ｓｐａｒｓｉｔｙ  Ｍｏｄｅｌ  ｆｏｒ  Ｉｍａｇｅ  Ｕｎｍｉｘｉｎｇ（画像のアンミキシングのためのグループスパーシティモデル）で説明されているような、スパース（ｓｐａｒｓｅ）アンミキシングアルゴリズムを含んでもよい。引用文献の関連するセクションは、参照カラーを訓練画像から取得し、共局在化された（ｃｏｌｏｃａｌｉｚｅｄ）標識からの染料の寄与の一部が同一のグループ内でモデル化され、非共局在化された標識からの染料の寄与の一部が異なるグループでモデル化される、グループスパーシティフレームワークを使用してＲＧＢ画像アンミキシング問題をモデリングし、標識の共局在化情報をグループスパーシティモデルに提供し、Ｇｒｏｕｐ  Ｌａｓｓｏなどのアルゴリズムを使用してこのグループスパーシティモデルを解決し、共局在化された標識のアンミキシングに対応する各グループ内の最小二乗解を産出し、非共局在化された標識のアンミキシングに対応するグループの間でスパース解を産出することによって、ＲＧＢ明視野画像などの、カラーチャネルの数よりも大きい数の染料の寄与を有する多重ＩＨＣ画像をアンミックスするためのシステム及びコンピュータ実行方法を説明する。スパース正則化なしの一般的な方法と比較して、各グループで１つのメンバのみを設定し、３つ以下の標識に対するスパースアンミキシング結果を生成することによって、共局在化制約なしでのスパースアンミキシングに対するモデルの削減が可能になる。画像をアンミックスするためのコンピュータ実行方法は、グループスパーシティモデルを生成するステップであって、共局在化された標識からの染料の寄与の一部が単一のグループ内で割り当てられ、非共局在化された標識からの染料の寄与の一部が別個のグループ内で割り当てられる、ステップと、アンミキシングアルゴリズムを使用してグループスパーシティモデルを解決して、各グループ内で最小二乗解を産出するステップとを備えてもよい。画像をアンミックスするためのシステムは、プロセッサ及びメモリを備えてもよく、メモリは、組織切片の画像内の複数のバイオマーカの既知のコロケーション情報を使用してグループスパーシティフレームワークを生成するステップであって、各染料の寄与の一部が既知のコロケーション情報に基づいて異なるグループに割り当てられる、ステップと、アンミキシングアルゴリズムを使用してグループスパーシティモデルを解決して、各グループに対する最小二乗解を産出するステップを含む動作をプロセッサに実行させるコンピュータ可読命令を記憶する。最後に、有形非一時的コンピュータ可読媒体は、グループスパーシティフレームワークを使用してＲＧＢ画像アンミキシング問題をモデリングするステップであって、グループスパーシティフレームワークでは、複数の共局在化された標識からの染料の寄与の一部が同一のグループ内でモデル化され、複数の非共局在化された標識からの染料の寄与の一部が異なるグループ内でモデル化される、ステップと、複数の共局在化された標識の共局在化情報をモデル化されたグループスパーシティフレームワークに提供するステップと、ｇｒｏｕｐ  ｌａｓｓｏを使用してモデル化されたフレームワークを解決して、各グループ内で最小二乗解を産出するステップであって、最小二乗解は、共局在化された標識のアンミキシングに対応する、ステップと、非共局在化された標識のアンミキシングに対応するグループの間でスパース解を産出するステップとを含む動作を実行するようにプロセッサによって実行されるコンピュータ可読コードを記憶してもよい。アンミキシングをする他の方法は、この開示を考慮して当業者にとって明らかであることがある。
【００３７】
[0044]上記説明されたように、モジュールは、プロセッサ１０５によって実行される論理を含む。本明細書で使用されるように、及びこの開示全体を通じて「論理」は、命令信号の形式を有する任意の情報、及び／又はプロセッサの動作に作用するように適用することができるデータを指す。ソフトウェアが、そのような論理の１つの例である。プロセッサの例は、コンピュータプロセッサ（プロセシングユニット）、マイクロプロセッサ、デジタルシグナルプロセッサ、コントローラ及びマイクロコントローラなどである。論理は、例示的な一実施形態では、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能／電気的消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭＳ／ＥＥＰＲＯＭＳ）、フラッシュメモリなどとすることができるメモリ１１０などのコンピュータ可読媒体に記憶された信号から形成されてもよい。論理はまた、デジタル及び／又はアナログハードウェア回路、例えば、論理ＡＮＤ、ＯＲ、ＸＯＲ、ＮＡＮＤ、ＮＯＲ、及び他の論理演算を含むハードウェア回路を備えてもよい。論理は、ソフトウェア及びハードウェアの組み合わせから形成されてもよい。ネットワーク上では、論理は、サーバ、又はサーバの複合体でプログラムされてもよい。特定の論理ユニットは、ネットワーク上の単一の論理的位置に限定されない。さらに、モジュールは任意の特定の順序で実行される必要はない。例えば、分類モジュール１１８は、ＣＮＮモジュール１１６の動作の間とともに、訓練モジュール１１１の動作の間に呼び出されてもよい。各モジュールは、実行される必要があるときに別のモジュールを呼び出してもよい。
訓練
[0045]図２Ａ及び図２Ｂはそれぞれ、主題の開示の例示的な一実施形態に従った、自動構造検出システムを訓練するための方法及び例を示す。訓練処理は、本明細書でさらに説明されるように、レイヤ、各レイヤ内の核（ｋｅｒｎｅｌ）の数などのニューラルネットワークのパラメータを生成する。この方法は、システム１００を参照して説明された構成要素、又は同様の機能を実行する他の構成要素を使用してもよい。図２Ａを参照して、例えば、画像取得部システムは、訓練画像（Ｓ２０１）をもたらすスキャンされたＩＨＣスライドから画像データを提供してもよい。それに従って、画像データはまた、ターゲット組織タイプ又は客体に関する情報、ならびに染色及び／又は撮像プラットフォームの識別が提供される。例えば、標本は、明視野撮像のための色原体染料又は蛍光発光撮像のための蛍光色素分子と関連付けられた１つ又は複数の異なるバイオマーカを含む染色分析試料を塗布することによって染色される必要があることがある。
【００３８】
[0046]マルチチャネル画像のカラーチャネルは、分析のために分離されてもよい（Ｓ２０３）。例えば、システムを訓練するために、免疫細胞に関する既知の情報を含むカラーチャネルが選択されてもよい。多重画像について、チャネルを分離するために、アンミキシング動作が実行されてもよい。マルチチャネル画像の他の例は、明視野スキャナから得られるＲＧＢ画像、ＬＡＢなどの別のカラー空間からの画像、マルチチャネル明視野スキャナからのマルチチャネル画像、マルチスペクトル撮像システムからの蛍光発光画像、又はいずれかの他のマルチチャネル画像であってもよい。いくつかの実施形態では、画像は、カラー逆畳み込み又はアンミキシング処理から結果として生じる画像であってもよい。訓練画像は、複数の訓練標本のうちの１つであってもよい。
【００３９】
[0047]主題の開示の例示的な一実施形態では、ユーザ、例えば、病理学者は、訓練された畳み込みニューラルネットワークによって、画像成分又は生物学的構造、例えば、テスト画像又は分析対象の画像内に存在するとユーザが予測する細胞もしくは細胞核などの細胞構造を識別する。ユーザが画像成分を選択し、それを、例えば、第１のタイプの免疫細胞としてラベル付けした後、第１のタイプの免疫細胞の周りでパッチが生成され、畳み込みニューラルネットワークが生成されたパッチに適用されて、パッチに対する特徴マップを非明示的に生成する。特定の生物学的構造に対応するようにパッチが特に識別されているので、畳み込みニューラルネットワークによって生成された特徴マップは、生物学的構造に特有であり、よって、非明示的な特徴マップからの画像特徴又は畳み込みニューラルネットワークの構成からの生物学的に関連する情報を含む。この処理は、複数の画像成分、例えば、第２のタイプの免疫細胞、第１のタイプ細胞核、及び／又は第２のタイプの細胞核に対して実行されてもよい。結果として、例えば、テスト画像又は分析の対象の画像もしくは画像データが適用するニューラルネットワークモジュールに入力されるときに、画像成分の分類が改善され、画像成分と関連付けられた特定の特徴情報に従って画像成分が識別される。したがって、例えば、テスト画像内の異なるタイプの免疫細胞は、訓練ステップの間に生成されたそれらのそれぞれのタイプの細胞に対する特徴マップの一部である生物学的特徴又は生物学的に関連する情報に基づいて、第１のタイプの免疫細胞又は第２のタイプの免疫細胞としてラベル付けされる。
【００４０】
[0048]特徴のラベル付け（Ｓ２０５）は、病理学者などの訓練されたオペレータからの入力を受信して、グラウンドトルスを識別及び確立する。例えば、病理学者は、訓練画像上の画像構造（例えば、細胞構造）又は特定の画素をクリックして、細胞を識別し、ラベルをラベルデータベース１１２に追加してもよい。画像構造の位置、例えば、画像構造の中心もしくは重心（ｃｅｎｔｒｏｉｄ）、又は選択された画素の座標が、構造（例えば、細胞構造）又は選択された画素のグラウンドトルスとして記録される。ラベルは、パッチ抽出動作（Ｓ２０７）への入力として提供されてもよい。複数のチャネルは、例えば、並列処理技術を使用することによって、この方法によって同時に処理されてもよい。例示的なラベルは、細胞核、細胞膜、背景、又はいずれかの他の細胞構造の細胞の重心又は中心の識別子を含む。
【００４１】
[0049]複数のパッチが複数のチャネルから抽出されてもよい（Ｓ２０７）。特徴をラベル付けするステップＳ２０５で病理学者によって入力される細胞の重心、背景、細胞膜などの座標からパッチが抽出されてもよい。各位置から抽出されたパッチは、図３Ｂ及び図３Ｃに関してさらに説明される追加の処理の対象となってもよい。それらの対応するラベルとともに、結果として生じる組の訓練パッチは、グラウンドトルスとして確立され、ＣＮＮを訓練する（Ｓ２０９）ために使用される。例えば、Ｔ細胞は、病理学者によってグラウンドトルスとしてラベル付けされてもよく、グラウンドトルスのｋ個の画素（例えば、ｋ＝５）の隣接内の画素に中心がある全てのパッチを含む第１のクラスに分類されてもよい。別のクラスは、Ｔ細胞及び背景の境界から標本化された画素に中心があるパッチを含む、非Ｔ細胞クラスとしてラベル付けされてもよい。別のクラスは、非免疫細胞核を含んでもよい。いくつかの実施形態では、多重画像は、異なる染料に対応する複数のチャネルにアンミックスされてもよい。
【００４２】
[0050]図２Ｂを参照して、例えば、スキャンされたＩＨＣスライドの訓練画像２２０は、異なるタイプの免疫細胞を表してもよく、その各々は、１つ又は複数の非免疫細胞核とともにその自身の細胞核を有する。個々の構造は、クラス１〜クラス４でラベル付けされ、信頼できるデータを提供するために病理学者によって注記をつけられてもよく、又は訓練画像２２０内の既知であり、及び／もしくは明確に表現される構造に基づいてもよい。例えば、病理学者の注記は、ラベル付けインタフェースを使用して提供されてもよく、関連する画像パッチを抽出するために使用されてもよい。パッチ抽出（Ｓ２０４）の前に、例えば、多重画像のケースでは、単純に個々のチャネルを読み出し、又はアンミックスすることのいずれかによって、カラーチャネルが分離されてもよい（Ｓ２０３）。抽出される複数のチャネルは、第１のタイプの免疫細胞標識チャネル２２１、第２のタイプ免疫細胞標識チャネル２２３、及び細胞核標識チャネル２２５を含んでもよい。テスト動作の間、免疫細胞分類結果を増強するために、この生物学的に関連するアンミキシングが使用される。
【００４３】
[0051]この訓練の実施形態に関し、複数のパッチが各チャネルから抽出されてもよい（Ｓ２０４）。パッチは、最前面及び背景の細胞位置の手動的な注記によって抽出されてもよく、これらをグラウンドトルスとして確立し、細胞及び背景の画像パッチをラベルデータベースに記憶する。パッチは、例えば、上記説明されたラベル付けインタフェースを使用して提供される注記に基づいて、第１のタイプの免疫細胞に対するクラス１、第２のタイプ免疫細胞に対するクラス２、非免疫細胞核に対するクラス３、及び背景又は細胞境界に対するクラス４など、パッチ２２７の別個のクラスとして分類されてもよい。例えば、Ｔ細胞は、病理学者又は訓練されたオペレータによってグラウンドトルスとしてラベル付けされてもよく、グラウンドトルスのｋ個の画素（例えば、ｋ＝５）の隣接内の画素に中心がある全てのパッチを含む第１のクラスに分類されてもよい。別のクラス２は、Ｔ細胞及び背景の境界から標本化された画素に中心があるパッチを含む、非Ｔ細胞クラスとしてラベル付けされてもよい。別のクラス３は、非免疫細胞核を含んでもよい。これらのパッチ分類は、例示的であるにすぎず、他のタイプの分類が画像内の細胞のタイプ、及び意図される診断に応じて有用であることがある。ＣＮＮ２３０が、適切に分類及びラベル付けされる訓練画像パッチで訓練される（Ｓ２０７）。その後、訓練されたＣＮＮ２３０は、テスト試料からの複数の入力チャネルを処理するために使用されてもよい。
パッチ抽出
[0052]上記説明されたように、画像パッチは、識別された画像構造の周り、例えば、細胞又は細胞核の重心で抽出され、ＣＮＮを使用して処理される。図３Ａは、訓練の間のパッチ抽出の例示的な方法を示す。パッチ抽出動作（Ｓ３０１）は、座標ｘ、ｙなどの座標の入力で開始する。訓練の間、上記説明されたように、細胞構造の座標（重心又は細胞膜など）は、訓練されたオペレータによって、オペレータによって識別される細胞構造に対応するラベルに従って入力されてもよい。入力画素に隣接する画素は、識別された画像に近接したパッチを抽出する目的で識別されてもよい（Ｓ３０５）。言い換えると、パッチが入力画素ごとに抽出され、対応するパッチが入力画素に近接した周りの画素ごとに抽出される。これは、訓練処理における回転及び転移誤りなどの種々の誤りが考慮されることを保証するものであり、これらのステップが図３Ｂ及び図３Ｃに関してさらに説明される。出力（Ｓ３０７）は、座標ｘ、ｙの周りの画素の隣接を含み、ｘ、ｙに中心があるサイズａ、ｂの画像を含んでもよい。サイズａ、ｂは、画像の拡大／縮小に応じて変化してもよく、細胞の平均サイズに対応してもよい。概して、出力されたパッチは細胞全体を出力する。例えば、ａ＝ｂ＝Ｎを有する長方形パッチが利用されてもよい。
【００４４】
[0053]例えば、入力画像は、ＲＧＢ画像Ｉを含んでもよく、例えば、Ｉｄａｂ及びＩｈｔｘとそれぞれ表される、例えば、免疫細胞標識及び細胞核標識チャネルを表すために、画像の個々のカラーチャネルが使用される。次いで、ＣＮＮへの訓練画像入力としてＩｄａｂが使用される。例えば、免疫細胞検出問題は、Ｉｄａｂの各画素を２つのクラス、免疫細胞の重心に対する正及び残りに対する負に分類するものとして定式化されてもよい。次いで、Ｐを訓練データ、Ｙをラベルの組として、（ｐｎ，ｙｎ）はいくつかの未知の分布に基づいてＰ×Ｙからランダムに導かれる。Ｐは、Ｉｄａｂの各画素に中心があるパッチ画像の組を表し、Ｙは、２つのラベル｛＋１，−１｝を含む２値の組である。細胞の重心の座標は、グラウンドトルスの免疫細胞（すなわち、免疫細胞として検証され、病理学者によって手動でラベル付けされた細胞の位置）に対して記録される。訓練データの正のクラスは、記録された座標のｄ個の画素の隣接内の画素に中心があるｋ個ごとの画素の画像パッチから構成される。
【００４５】
[0054]図３Ｂは、細胞３３２の座標ｘ、ｙのｄ個の画素の隣接の周りに中心がある複数のパッチ３３３を有する入力画像３３１を示す。座標ｘ、ｙは、画素、すなわち、「細胞の重心」、「細胞膜」、「背景」などのタイプを識別するラベルに従って、訓練されたオペレータすなわち病理学者によって指定されていてもよい。ｄ個の画素の隣接は、領域ｘ−ｄ、ｙ−ｄからｘ＋ｄ、ｙ＋ｄまで、すなわち、ｘ、ｙに対応する全ての座標の範囲内の全ての画素をとる。ｘ、ｙのｄ個の画素の隣接内のこれらのいくつかの画素ごとに、パッチが生成され、単一の中心座標ｘ、ｙを仮定して２つ以上のパッチが抽出されることを可能にする。非免疫細胞クラスが、免疫細胞及び背景の境界から標本化された画素に中心がある全ての画像パッチを含むので、この処理が訓練段階の間にのみ実行される。図３Ｃは、図３Ｂ内のパッチ３３３に対応する画素値のグリッドを示す。読み出されたパッチは、指定された数のレベルを回転されて、データのさらなる回転されたバージョンを生成してもよく、テストの間の変動を考慮して、左から右に、及び上から下に入れ替わってもよい。言い換えると、訓練パッチは、訓練の間に種々の変形の影響を受けて、わずかに異なるテスト画像内の類似の領域のロバストな検出を可能にする。
【００４６】
[0055]図３Ｄ〜３Ｆは、主題の開示の例示的な実施形態に従った、単一のチャネル入力シナリオにおいて分類器を訓練するために利用される３つの異なるタイプのパッチの例を示す。細胞核、細胞膜、背景画素又は画素のグループなどの中心又は重心であるかに関わらず、各パッチの中心は、構造を識別する。重心、細胞膜、及び背景が示されるが、ｔ細胞膜、ｂ細胞膜、ｔ細胞核、ｂ細胞核などを指定することを含む、これら以外の他のラベルが可能であってもよい。図３Ｄは、免疫細胞３３４に対するパッチを示し、図３Ｅは、細胞膜３３５に対するパッチを示し、すなわち、細胞と背景との間の境界を示し、図３Ｆは、背景３３６に対するパッチを示す。これらのパッチを使用して、正のクラス（すなわち、免疫細胞３３４を正に識別する１つ）は、図３Ｄからのパッチを含んでもよく、負のクラス（すなわち、関心のＴ細胞を示さない１つ）は、図３Ｅ及び図３Ｆからのパッチを含む。
【００４７】
ニューラルネットワークのテスト／適用
[0056]図４Ａ〜図４Ｃは、主題の開示の例示的な一実施形態に従った、自動細胞検出のための方法及びその例をそれぞれ示す。本明細書で説明されるように、畳み込みニューラルネットワーク（ＣＮＮ）モジュールが訓練データで訓練される。ＣＮＮモジュールは基本的に、一連の代替畳み込みレイヤ及び副標本化レイヤ、とそれに続く誤差逆伝播アルゴリズムによって訓練することができる完全結合レイヤを有するニューラルネットワークである。図４Ａを参照して、方法は、テスト画像（Ｓ４０１）の入力で開始する。テスト画像内のチャネルは免疫細胞又は細胞核などの関心の特定の構造を表し、又は示す各チャネルで分離（Ｓ４０３）又はアンミックスされる。単一のチャネルは、２つ以上の構造を示してもよいが、ターゲット構造又は関心の構造を明確に識別することができるように、チャネルが分離される。複数のチャネルが同時に処理され得る。マルチチャネル画像は、ＲＧＢ画像、ＬＡＢ画像、又は複数のアンミックスされたチャネルであってもよい。複数のパッチが複数のチャネルから抽出されてもよい（Ｓ４０５）。いくつかの実施形態では、パッチ抽出ステップ（Ｓ４０５）は、関心の細胞又は構造に対する候補位置を判定するために、画像に適用される細胞核検出（Ｓ４０４）のための放射対称又は輪状検出動作によって判定される候補位置の周りの画像パッチを抽出する。
【００４８】
[0057]パッチ抽出に関する詳細は、テストの間のパッチ抽出のための方法を表す図４Ｂに関してさらに示される。ステップＳ４１３では、画像内の細胞核又は他の構造のいずれかが区分化又は他の動作を使用して検出され、ステップＳ４１５では、検出された構造の座標が選択される。代わりに、ステップＳ４１３では、選択及び抽出された部分又は画素ごとにパッチを有する複数の部分に画像が分割される。例えば、画像内の各画素又はｋ個ごとの画素の周りのＮ×Ｎ×Ｄパッチが抽出されてもよく、Ｎ×Ｎは、画素内の画像パッチのサイズ又はいずれかの他のサイズの単位であり、Ｄは、画像内のチャネルの数である。
【００４９】
[0058]いずれのケースでも、パッチを異なる細胞タイプ又は背景のクラスに分類するために、ＣＮＮモジュール（Ｓ４０７）への入力として出力された複数のパッチが使用される。ＣＮＮモジュール（Ｓ４０７）は、核行列（ｋｅｒｎｅｌ  ｍａｔｒｉｘ）を有する各入力パッチを畳み込むことと、図５に関してさらに説明される連続的、及び識別可能な活性化機能に結果を出力することを含む。核行列は、図２Ａ〜図２Ｂで説明された訓練手順の間のＣＮＮ動作（Ｓ４０７）によって学習される複数のパラメータの一部である。副標本化レイヤは、図５に示される粗い（ｃｏａｒｓｅ）標本化又はｍａｘ−ｐｏｏｌｉｎｇ、要素５２３及び５２５によって画像のサイズを削減し、それは、画像のサイズを半分削減する。各々の所望の又はターゲットの特徴は、図５及び図６を参照してさらに説明されるように、完全結合レイヤとしても知られる単一マップにマッピングされることが可能である複数の特徴を有する特徴マップにマッピングされる。畳み込み及び標本化処理（Ｓ４０７）は、予め定められた数のレイヤに到達するまで各画像パッチ上で繰り返され、予め定められた数は、ユーザによって提供されるＣＮＮの訓練の間に判定される。概して、どのような所望のターゲット構造であってもそれがマッピングされるように、レイヤの数が選択される。
【００５０】
[0059]構造がマッピングされると、マップが完全結合され、ＣＮＮ動作（Ｓ４０７）は、一般的なニューラルネットワークと類似した完全結合レイヤを含むマップを出力して、クラスごとの確率的ラベルを生成する。生成される確率マップは、入力パッチ内の各々の異なるタイプの免疫細胞又は他のターゲット構造の存在を表す。いくつかの実施形態では、ｎｏｎ−ｍａｘｉｍｕｍ  ｓｕｐｐｒｅｓｓｉｏｎ動作（Ｓ４０８）を使用して免疫細胞座標を判定することによって細胞の重心が得られてもよく、ｎｏｎ−ｍａｘｉｍｕｍ  ｓｕｐｐｒｅｓｓｉｏｎ動作は、明度値の最もはっきりした変化を有する位置を示す、極大値を除いて全ての勾配値をゼロに抑えることを支援することができる既知の境界間引き（ｅｄｇｅ  ｔｈｉｎｎｉｎｇ）技術である。
【００５１】
[0060]図４Ｃを参照して、テスト画像４２０がテスト画像内の複数のチャネルに分離され（Ｓ４０３）、各チャネルは、免疫細胞又は細胞核などの関心の特定の構造を表し、又は示す。例えば、抽出されるチャネルは、第１のタイプの免疫細胞標識チャネル４２１、第２のタイプの免疫細胞標識チャネル４２３、及び細胞核標識チャネル４２５を含んでもよい。いくつかの実施形態では、チャネルは、ＲＧＢチャネル、ＬＡＢチャネル、又はマルチスペクトル撮像システムからのチャネルなどの他のタイプの画像チャネルであってもよい。複数のパッチ４２７が各チャネルから抽出されてもよい（Ｓ４０４）。各パッチ４２７は、ラベルデータベースからのラベルを使用して分類されてもよい。いくつかの実施形態では、パッチ抽出は、構造の候補位置の周りの画像パッチ、例えば、関心の細胞又は構造に対する候補位置を判定するために画像に適用される放射対称又は輪状検出動作によって判定される細胞を抽出することを含む。抽出されるそのようなパッチは、画像の全ての画素をスキャンするよりも効率的であることがあるが、パッチの分類を適切に可能にする、構造検出及びパッチ抽出のいずれかの組み合わせが使用されてもよい。
【００５２】
[0061]パッチがＣＮＮモジュール４３０に入力される（Ｓ４０５）。ＣＮＮ動作の間、畳み込みレイヤは、核行列を有する各入力パッチを畳み込み、その出力が連続的及び識別可能な活性化機能に渡される。核行列は、図２Ａ〜図２Ｂ及び本明細書の他のセクションで説明される訓練段階でＣＮＮ動作によって学習される複数のパラメータの一部である。確率マップがＣＮＮの出力として生成される。確率マップは、入力パッチ内の各々の異なるタイプの免疫細胞又は他のターゲット構造の存在を表す。さらに、ターゲット画像構造又は成分、例えば、細胞の位置を識別するために、ｎｏｎ−ｍａｘｉｍｕｍ  ｓｕｐｐｒｅｓｓｉｏｎ動作を使用して重心座標を判定することによって、細胞の重心又は中心が得られてもよい。ｎｏｎ−ｍａｘｉｍｕｍ  ｓｕｐｐｒｅｓｓｉｏｎ動作を利用することによって、その画素がその隣接内のそれの周りの全てよりも高い値を有する、その領域内の極大値が発見され、したがって、識別された構造、例えば、細胞核の中心又は重心に対応する。細胞の最後の検出が、重心の位置を示すインジケータ４３３を有する４３２で示される。
畳み込みニューラルネットワーク
畳み込みニューラルネットワーク（ＣＮＮ）は、本明細書で説明され、参照によってその両方が本明細書に組み込まれるＧｒａｄｉｅｎｔ−Ｂａｓｅｄ  Ｌｅｒｎｉｎｇ  Ａｐｐｌｉｅｄから  Ｄｏｃｕｍｅｎｔ  Ｒｅｃｏｇｎｉｔｉｏｎ、Ｙａｎｎ  ＬｅＣｕｎその他、Ｐｒｏｃ．Ｏｆ  ｔｈｅ  ＩＥＥＥ、Ｎｏｖｅｍｂｅｒ  １９９８、ｐｐ．１〜４６（ｈｔｔｐ：／／ｙａｎｎ．ｌｅｃｕｎ．ｃｏｍ／ｅｘｄｂ／ｐｕｂｌｉｓ／ｐｄｆ／ｌｅｃｕｎ−９８．ｐｄｆ）及びｈｔｔｐ：／／ｄｅｅｐｌｅａｒｎｉｎｇ．ｎｅｔ／ｔｕｔｏｒｉａｌ／ｌｅｎｅｔ．ｈｔｍｌで説明されるように、どの程度の数の畳み込みレイヤ、標本化レイヤ、結合レイヤが画像パッチを処理するために使用されるかに対するパラメータを使用し、レイヤごとにパラメータを定義する。特に、ＬｅＮｅｔ−５と同様のアーキテクチャがＣＮＮモジュール１２０に対して利用されてもよい（図１を参照）。
【００５３】
[0062]畳み込みレイヤは、核行列を有する入力パッチを畳み込み、その出力が連続的及び識別可能な活性化機能に渡される。畳み込みは、局所的な領域ごとの局所的明度値（ｌｏｃａｌ  ｉｎｔｅｎｓｉｔｙ  ｖａｌｕｅ）を合計することを意味する。合計の結果は、中心に割り当てられる。核行列は、ＣＮＮによって学習される複数のパラメータの一部である。副標本化レイヤは、粗い（ｃｏａｒｓｅ）標本化又はｍａｘ−ｐｏｏｌｉｎｇによって画像のサイズを削減する。完全結合レイヤは、クラスごとに確率的ラベルを生成するための一般的なニューラルネットワークに類似する。
【００５４】
[0063]図５に示されるように、複数のパッチ５２１がＣＮＮへの入力として使用され得る。第１の畳み込みレイヤ５２２は、ｈｔｔｐ：／／ｄｅｅｐｌｅａｒｎｉｎｇ．ｎｅｔ／ｔｕｔｏｒｉａｌ／ｌｅｎｅｔ．ｈｔｍｌからの表記法を使用して、以下の式
ｈｋ＝ｔａｎｈ（（Ｗｋ×ｘ）＋ｂｋ）
を使用して核行列Ｗｋを有する前のレイヤからのパッチ画像５２０から特徴を畳み込み、又は抽出する。
【００５５】
[0064]ｘはパッチを表し、ｂｋはバイアスである。Ｗｋ及びｂｋは、訓練から取得されたパラメータである。これは、その画素の３×３個の隣接（すなわち、パッチ）の明度の平均値をとること、その平均値を画素に割り当てることを含む。Ｋは繰り返しの数を表す。単一ユニット５２１が１回で畳み込まれ、複数の単一ユニット５２１が畳み込まれてもよい。その後、標本化レイヤ５２３及び５２５は、前のレイヤからより小さいサイズ、例えば、そのサイズの半分に、すなわち、それぞれ畳み込みレイヤ５２２及び５２４から、パッチ画像を標本化する。ｍａｘ−ｐｏｏｌｉｎｇ動作はまた、非線形ダウンサンプリングのために使用されてもよい。これらの副標本化及び／又はｍａｘ  ｐｏｏｌｉｎｇ動作は、各画像のサイズを削減して、任意の転移誤りを最小化し、モデル化をさらにロバストにする。例えば転換誤りは、検出された中心と実際の中心との間のいくつかの画素の誤差であってもよい。
【００５６】
[0065]本発明の実施形態に従って、画像センサによってマルチチャネル画像が取得され、マルチチャネル画像がアンミックスされ、それは、チャネルごとに１つのアンミックスされた画像をもたらす。図５及び図６に関して考えられる例では、チャネルの数は５であり、すなわち、図６ａで示されるように、核チャネル１、核チャネル２、細胞膜チャネル１、細胞膜チャネル２及び細胞膜チャネル３である。これらのチャネルによって表される生物学的構造に対する候補位置は、放射対称検出又は輪状検出などの画像処理アルゴリズムを適用することによって検出される。結果として、関心の生物学的構造に対するいくつかの候補位置がアンミックスされた画像内で識別される。
【００５７】
[0066]候補位置ごとに、５つの画像パッチ５２８．１〜５２８．５を含む群５２８などの画像パッチの群がアンミックスされた画像から抽出され、群５２８の画像パッチの各々は、元のマルチチャネル画像上の同一の候補位置を含む。結果として、画像処理アルゴリズムを適用することによって検出された候補位置の各々の１つに対して、群５２８のタイプの画像パッチの群が得られる。画像パッチのこれらの群は、モジュール１２０によって提供されるＣＮＮに連続して入力される（図１を参照）。
【００５８】
[0067]ＣＮＮの畳み込みレイヤのうちの最初の１つのＣ１は、特徴マップｍ１、ｍ２、ｍ３への入力の結合マッピングによって、図６ａで示されるようにＣＮＮの入力に結合され、染料のグループを記述するコロケーションデータに従ってマッピングが実行される。同一のグループの染料を表すチャネルに対する入力が共通の特徴マップ上でマッピングされる。
【００５９】
[0068]コロケーションデータがコロケーションデータ１２２として記憶されてもよい（図１を参照）。コロケーションデータ１２２は、コロケートすることができる染料のグループを記述する。同一のグループに属するＣＮＮの入力が共通の特徴マップ上でマッピングされるように、ＣＮＮを構成するためにコロケーションデータ１２２が使用される。例えば、ここで考えられる例では、コロケーションデータ１２２に従って、画像パッチ５２８．１及び５２８．２に対するＣＮＮの入力、よって、核チャネル１及び核チャネル２が同一の特徴マップｍ１上でマッピングされ、核チャネル２及び細胞膜チャネル１に対する入力がｍ２上でマッピングされる。
【００６０】
[0069]ＣＮＮは、取得されたマルチチャネル画像内の生物学的特徴の存在に対する確率を表す確率マップを出力する。例えば、確率を示すそれぞれのラベルを表示するために、群５２８の画像座標がＣＮＮによって元のマルチチャネル画像上で再度出力される確率をマッピングするために使用される。ＣＮＮに連続して入力される群のうちの１つごとに少なくとも１つの確率値が得られる。
【００６１】
[0070]ＣＮＮの出力が、生物学的特徴の組み合わせの存在を記述する分類器の確率を提供することができることに留意されたい。よって、実施形態に応じて、分類器に対する単一の確率又はチャネルの数以下のいくつかの確率が、群５２８の入力に応答してＣＮＮの出力において提供されてもよい。
【００６２】
[0071]それぞれのラベル付け情報とともに訓練画像から得られる群５２８のタイプの群を連続して入力することによって、ＣＮＮの訓練が同様に実行されてもよい。
[0072]完全結合レイヤが導出されるまで、畳み込み及び標本化動作が繰り返される。完全結合レイヤは、画像パッチ内の特徴を表すニューラルネットワークである。この出力は、パッチごとの実数を含むソフトラベルベクトルの形式にある。例えば、２つのクラスの問題に対する［０．９５、０．０５］の出力は、Ｔ細胞である構造の高確率０．９５を示す。出力は、Ｌクラスの問題に対するＬの次元のベクトルであり、したがって、入力パッチの数に応じて、及び実数の各組が示す複数の実数を含んでもよい。
【００６３】
[0073]このアルゴリズムへの考えられる拡張は、特に、テスト段階の間に画素に基づく分類を並列して処理することである。これは、検出をさらに効率的にする。さらに、特定のカラーチャネルを得るためにカラーアンミキシングが適用されてもよく、特定の色、例えば、茶色のマスクに一致する画素に対してのみ分類が実行されてもよい。これは、処理されることになる画素の数を著しく削減し、アルゴリズムを高速化する。ＣＮＮアルゴリズムの追加の考えられる一般化は、図５に示される２Ｄ畳み込み核を３つのチャネル入力画像に対する３Ｄ核に置き換えることを含んでもよい。例えば、異なる標識と関連付けられたＮ個の異なるチャネルを取得するためにカラーアンミキシングを最初に適用し、次いで、各チャネルを並列して処理することによって、４つ以上の色を有するＮ個のチャネル入力画像が処理されてもよい。
【００６４】
[0074]図６Ａ〜図６Ｂは、主題の開示の例示的な一実施形態に従った、例えば、ニューラルネットワークを有するカラー逆畳み込み又はアンミキシングを組み合わせた修正されたＣＮＮアルゴリズムを示す。例えば、訓練されたオペレータ又は病理学者は、訓練画像から分離された異なるチャネル内の一致する構造の間でどのグルーピングが可能であるかを識別することによって、訓練の間に生物学的に関連する結合を提供していてもよい。例えば、３つのチャネルが特定のＴ細胞に対応する場合、次いで、それらはまとめられる。図６Ａは、結合マップを構築するために使用される、アンミックスされた画像内の複数の異なる標識チャネル６３０を示す。病理学者によって入力される標識情報に基づいて、結合マップが構築され得、それによって、対応する標識が非明示的な特徴抽出のためにともにグループ化され得る。図６Ａに示されるように、１つは、アンミキシングから５つのチャネル６３０を得てもよい。細胞核標識チャネル１及び２は、同一の特徴マップｍ１にマッピングされ、細胞膜標識チャネル１、２、及び３はまた、１つのグループｍ３にある。追加のグループは、核チャネル２及び細胞膜チャネル１を含み、２つの標識の共存情報をモデル化してもよい。この設計で、ＣＮＮは、異なる標識の組合せを有する細胞を同時に検出することができる。
【００６５】
[0075]図６Ｂは、チャネルＮＣ１及びＮＣ２から作成される特徴マップｍ１、ならびにチャネルＮＣ２及びＭＣ１から作成される特徴マップｍ２などの作成を示し、ｍはマップを示し、ＭＣは細胞膜チャネルを示し、ＮＣは核チャネルを示す。これを行うことによって、同一の２Ｄ畳み込み核が標識により指定されたマルチチャネル画像に適用されてもよい。言い換えると、生物学的情報を表す図６Ｂ内の結合マッピング値１でＣＮＮを構成するために生物学的情報が追加される。画像パッチへの畳み込み動作は、結合マップ内の値が１に等しいときにのみ適用される。オペレータ／病理学者は、生物学的情報の前の知識を組み込むために、結合マッピングをセットアップすることが可能となる。そのようなＣＮＮの修正で、訓練されたＣＮＮアルゴリズムは、標識の生物学的情報及び訓練者のオペレータ／病理学者によって提供される組み合わせを含み、さらに良好な検出をもたらす。さらに、レイヤの間の完全結合を有する代わりに、結合マップは、結合の数を削減し、それは、ネットワーク内のパラメータの数を削減することに相当する。より少ない数のパラメータは、アルゴリズムのより速い訓練につながる。
【００６６】
[0076]図７は、主題の開示の例示的な一実施形態に従った、テスト画像７４０に対する出力されるラベル確率マップ７４１を示す。ラベルマップ７４１は、テスト画像７４０の背景７４３に対応する黒色背景に対して識別されたテスト画像７４０からの細胞７４２を示す。
【００６７】
[0077]図８は、主題の開示の例示的な一実施形態に従った、ニューラルネットワークを訓練するユーザインタフェース８００を示す。ユーザインタフェース８００は、構造又はコロケーションをラベル付けし、細胞核を検出し、訓練を開始するなどのためのメニューバー８８１、オプション８８２、及び細胞８８４の画像を参照するための参照枠８８３を示す。本明細書で示されるように、病理学者などの訓練されたオペレータは、背景ロケータ８８５などの画像の特徴又は構造を識別及びラベル付けしてもよい。画像は、コンテキストメニュー８８６を使用して、ｔ細胞膜をラベル付けする処理を示す。例えば、病理学者は、ｔ細胞膜の存在を判定してもよく、細胞膜を選択し、ロケータを追加し、クリックでコンテキストメニュー８８６をロードして、どのタイプのラベルをロケータに対して使用するかを選択するために、マウスポインタなどのカーソルを使用してもよい。その後、病理学者は、テスト画像内の検出されることが予想される構造を選択した後、訓練８８２を開始してもよい。ユーザインタフェースはまた、ユーザが、畳み込みレイヤ及び標本化レイヤの数を選択し、結合マップを構成することを可能にすることができる。例えば、ユーザは、開始訓練ボタン８８２をクリックした後、ポップアップウインドウで所望の数のレイヤをタイプすることができる。このユーザインタフェースは例示にすぎず、この開示を考慮して本明細書で説明され、又は当業者にとって明らかであるか否かに関わらず、他の特徴及びオプションが実装形態に応じて実際のユーザインタフェースに追加されてもよい。
【００６８】
[0078]ＣＮＮ分類、パッチ抽出、及び本明細書で開示された他の動作は、ハードウェアグラフィックプロセシングユニット（ＧＰＵ）に移植されてもよく、それは、マルチスレッド並列の実装形態を可能にする。さらに、解剖学又は臨床病理学、前立腺／肺癌診断などの医学的応用以外に、地質学又は天文学データなどのリモートセンシングなど、他のタイプの標本を分析するために、同一の方法が実行されてもよい。
【００６９】
[0079]コンピュータは一般的に、プロセッサ、オペレーティングシステム、システムメモリ、メモリ記憶デバイス、入出力コントローラ、入出力デバイス、及びディスプレイデバイスなどの既知の構成要素を含む。また、コンピュータの多くの考えられる構成及び構成要素が存在し、また、キャッシュメモリ、データバックアップユニット、及び多くの他のデバイスを含んでもよいことが当業者によって理解されよう。入力デバイスの例は、キーボード、カーソル制御デバイス（例えば、マウス）、マイクロフォン、及びスキャナなどを含む。出力デバイスの例は、ディスプレイデバイス（例えば、モニタ又はプロジェクタ）、スピーカ、プリンタ、及びネットワークカードなどを含む。ディスプレイデバイスは、視覚的情報を提供するディスプレイデバイスを含んでもよく、この情報は一般的に、画素の配列として論理的及び／又は物理的に構成されてもよい。入出力インタフェースを提供する様々な既知の又は後のソフトウェアプログラムのいずれかを含むことができるインタフェースコントローラがまた含まれてもよい。例えば、インタフェースは、１つ又は複数のグラフィカル表示をユーザに提供する、一般的に「グラフィカルユーザインタフェース」（ＧＵＩと称されることが多い）と称されるものを含んでもよい。インタフェースは一般的に、当業者にとって既知の選択又は入力の手段を使用してユーザ入力を受け付けることが可能とされる。インタフェースはまた、タッチスクリーンデバイスであってもよい。同一の又は代替的な実施形態では、コンピュータ上のアプリケーションは、「コマンドラインインタフェース」（ＣＬＩと称されることが多い）と称されるものを含むインタフェースを採用してもよい。ＣＬＩは一般的に、アプリケーションとユーザとの間のテキストベースの対話を提供する。一般的に、コマンドラインインタフェースは、ディスプレイデバイスを通じたテキストのラインとして出力を提示し、入力を受信する。例えば、いくつかの実装形態は、当業者にとって既知のＵｎｉｘ  Ｓｈｅｌｌ、又はＭｉｃｒｏｓｏｆｔ．ＮＥＴフレームワークなどのオブジェクト指向タイプのプログラミングアーキテクチャを採用するＭｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ  Ｐｏｗｅｒｓｈｅｌｌなどの「シェル」と称されるものを含んでもよい。
【００７０】
[0080]インタフェースは、１つもしくは複数のＧＵＩ、ＣＬＩ、又はそれらの組み合わせを含んでもよいことを当業者が理解するであろう。プロセッサは、Ｉｎｔｅｌ  Ｃｏｒｐｏｒａｔｉｏｎにより製造されるＣｅｌｅｒｏｎ、Ｃｏｒｅ、もしくはＰｅｎｔｉｕｍプロセッサ、Ｓｕｎ  Ｍｉｃｒｏｓｙｓｔｅｍｓにより製造されるＳＰＡＲＣプロセッサ、ＡＭＤ  Ｃｏｒｐｏｒａｔｉｏｎにより製造されるＡｔｈｌｏｎ、Ｓｅｍｐｒｏｎ、Ｐｈｅｎｏｍ、もしくはＯｐｔｅｒｏｎプロセッサなどの商業的に利用可能なプロセッサを含んでもよく、又はそれは、利用可能であり、もしくは利用可能となるであろう他のプロセッサのうちの１つであってもよい。プロセッサのいくつかの実施形態は、マルチコアプロセッサと称されるものを含んでもよく、及び／又はシングルもしくはマルチコア構成で並列処理技術を採用することが可能とされてもよい。例えば、マルチコアアーキテクチャは一般的に、２つ以上のプロセッサ「実行コア」を含む。本例では、各実行コアは、複数のスレッドの並列実行を可能にする独立プロセッサとして実行してもよい。加えて、プロセッサは、一般的に３２もしくは６４ビットアーキテクチャと称されるもの、又は現在既知であり、もしくは将来に開発されることがある他のアーキテクチャの構成で構成されてもよいことを当業者は理解するであろう。
【００７１】
[0081]プロセッサは一般的に、例えば、Ｍｉｃｒｏｓｏｆｔ  ＣｏｒｐｏｒａｔｉｏｎからのＷｉｎｄｏｗｓタイプオペレーティングシステム、Ａｐｐｌｅ  Ｃｏｍｐｕｔｅｒ  Ｃｏｒｐ．からのＭａｃ  ＯＳ  Ｘオペレーティングシステム、多くのベンダから利用可能であり、もしくはオープンソースと称されるＵｎｉｘもしくはＬｉｎｕｘ（登録商標）タイプオペレーティングシステム、別のもしくは後のオペレーティングシステム、又はそれらのいくつかの組み合わせとすることができる、オペレーティングシステムを実行する。オペレーティングシステムは、公知の方式でファームウェア及びハードウェアとインタフェースし、様々なプログラミング言語で記述することができる種々のコンピュータプログラムの機能を調整及び実行するのにプロセッサを促進する。オペレーティングシステムは一般的に、プロセッサと協働して、コンピュータの他の構成要素の機能を調整及び実行する。オペレーティングシステムはまた、すべて既知の技術に従って、スケジューリング、入出力制御、ファイル及びデータ管理、メモリ管理ならびに通信制御及び関連するサービスを提供する。
【００７２】
[0082]システムメモリは、所望の情報を記憶するために使用され得、コンピュータによってアクセスされ得る、様々な既知又は後のメモリ記憶デバイスのうちのいずれかを含んでもよい。コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータなどの情報の記憶のためのいずれかの方法又は技術で実装される揮発性及び不揮発性、着脱可能及び着脱不能媒体を含んでもよい。例は、いずれかの一般的に利用可能なランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電子的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、常駐ハードディスクもしくはテープなどの磁気媒体、読み書きコンパクトディスクなどの光学媒体、又は他のメモリ記憶デバイスを含む。メモリ記憶デバイスは、コンパクトディスクドライブ、テープドライブ、着脱可能ハードディスクドライブ、ＵＳＢもしくはフラッシュドライブ、又はディスケットドライブを含む、様々な既知又は後のデバイスのうちのいずれかを含んでもよい。そのようなタイプのメモリ記憶デバイスは一般的に、コンパクトディスク、磁気テープ、着脱可能ハードディスク、ＵＳＢもしくはフラッシュドライブ、又はフロップーディスケットなどのプログラム記憶媒体それぞれから読み込み、及び／又はそれぞれに書き込む。これらのプログラム記憶媒体、又は現在使用されており、もしくは後に開発されることがあるその他のいずれかは、コンピュータプログラム製品と考えられてよい。理解されるように、これらのプログラム記憶媒体は一般的に、コンピュータソフトウェアプログラム及び／又はデータを記憶する。コンピュータ制御論理とも称されるコンピュータソフトウェアプログラムは一般的に、システムメモリ及び／又はメモリ記憶デバイスとともに使用されるプログラム記憶デバイスに記憶される。いくつかの実施形態では、そこに記憶された制御論理（プログラムコードを含むコンピュータソフトウェアプログラム）を有するコンピュータ使用可能媒体を含むコンピュータプログラム製品が説明される。制御論理は、プロセッサによって実行されるとき、本明細書で説明された機能をプロセッサに実行させる。他の実施形態では、例えば、ハードウェア状態機械を使用して、いくつかの機能がハードウェアで主に実装される。本明細書で説明された機能を実行するハードウェア状態機械の実装形態は、当業者にとって明らかであろう。入出力コントローラは、人間又は機械であるか、ローカル又はリモートであるかに関わらず、ユーザからの情報を受け付け及び処理するための様々な既知のデバイスのうちのいずれかを含んでもよい。そのようなデバイスは、例えば、モデムカード、無線カード、ネットワークインタフェースカード、音声カード、又は様々な既知の入力デバイスのうちのいずれかに対する他のタイプのコントローラを含む。出力コントローラは、人間又は機械であるか、ローカル又はリモートであるかに関わらず、情報をユーザに提示するための様々な既知のディスプレイデバイスのうちのいずれかに対するコントローラを含んでもよい。現在説明されている実施形態では、コンピュータの機能要素は、システムバスを介して相互に通信する。コンピュータのいくつかの実施形態は、ネットワーク又は他のタイプのリモート通信を使用していくつかの機能要素と通信してもよい。当業者にとって明らかなように、機器の制御及び／又はデータ処理アプリケーションは、ソフトウェアで実装される場合、システムメモリ及び／又はメモリ記憶デバイスにロードされてもよく、システムメモリ及び／又はメモリ記憶デバイスから実行されてもよい。機器の制御及び／又はデータ処理アプリケーションのうちの全て又は一部はまた、リードオンリメモリ又はメモリ記憶デバイスの類似のデバイスに常駐してもよく、そのようなデバイスは、機器の制御及び／又はデータ処理アプリケーションを、入出力コントローラを通じて最初にロードする必要はない。機器の制御及び／もしくはデータ処理アプリケーション、又はその一部は、実行のために有利なように、既知の方式でプロセッサによって、システムメモリもしくはキャッシュ、又はその両方にロードされてもよいことが当業者によって理解されるであろう。また、コンピュータは、システムメモリに記憶された１つ又は複数のライブラリファイル、実験データファイル、及びインターネットクライアントを含んでもよい。例えば、実験データは、検出された信号値、又は１つもしくは複数のｓｅｑｕｅｎｃｉｎｇ  ｂｙ  ｓｙｎｔｈｅｓｉｓ（ＳＢＳ）実験もしくは処理と関連付けられた他の値などの、１つ又は複数の実験又は分析試料に関連するデータを含んでもよい。加えて、インターネットクライアントは、ネットワークを使用して別のコンピュータ上のリモートサービスにアクセスすることが可能とされたアプリケーションを含んでもよく、例えば、一般的に「ウェブブラウザ」と称されるものを含んでもよい。本例では、いくつかの一般に採用されるウェブブラウザは、Ｍｉｃｒｏｓｏｆｔ  Ｃｏｒｐｏｒａｔｉｏｎから利用可能な、Ｍｉｃｒｏｓｏｆｔ  Ｉｎｔｅｒｎｅｔ  Ｅｘｐｌｏｒｅｒ、Ｍｏｚｉｌｌａ  ＣｏｒｐｏｒａｔｉｏｎからのＭｏｚｉｌｌａ  Ｆｉｒｅｆｏｘ、Ａｐｐｌｅ  Ｃｏｍｐｕｔｅｒ  Ｃｏｒｐ．からのＳａｆａｒｉ、Ｇｏｏｇｌｅ  ＣｏｒｐｏｒａｔｉｏｎからのＧｏｏｇｌｅ  Ｃｈｒｏｍｅ、又は本分野で現在既知であり、又は後に開発されることになる他のタイプのウェブブラウザを含む。また、同一又は他の実施形態では、インターネットクライアントは、ネットワークを介してリモート情報にアクセスすることが可能とされた、生物学的アプリケーションのためのデータ処理アプリケーションなどの特殊ソフトウェアアプリケーションを含んでもよく、又はその要素であってもよい。
【００７３】
[0083]ネットワークは、当業者によって公知の多くの種々のタイプのネットワークのうちの１つ又は複数を含んでもよい。例えば、ネットワークは、通信するために一般的にＴＣＰ／ＩＰプロトコルスイートと称されるものを採用することができるローカル又はワイドエリアネットワークを含んでもよい。ネットワークは、一般的にインターネットと称される相互接続コンピュータネットワークのワールドワイドなシステムを含むネットワークを含んでもよく、又は、種々のイントラネットアーキテクチャをも含んでもよい。ネットワーク化環境内のユーザの一部は、ハードウェア及び／又はソフトウェアシステムに／からの情報のトラフィックを制御するために、一般的に「ファイアウォール」（パケットフィルタ、又はボーダープロテクションデバイスと称されることもある）と称される物を採用することを好むことがあることを当業者はまた理解するであろう。例えば、ファイアウォールは、ハードウェアもしくはソフトウェア要素、又はそれらのいくつかの組み合わせを含んでもよく、一般的に、例えば、ネットワーク管理者などのユーザによって導入されるセキュリティポリシを強化するように設計される。
【００７４】
[0084]本主題の開示の例示的な実施形態の上記開示は、例示及び説明を目的に提示されてきた。それは、包括的であることを意図せず、主題の開示を開示された厳密な形式に制限されることも意図していない。本明細書で説明された実施形態の多くの変形及び修正が、上記開示を考慮して当業者にとって明らかになるであろう。主題の開示の範囲は、本明細書に添付の特許請求の範囲、及びそれと同等のものによってのみ定義されることになる。
【００７５】
[0085]さらに、本主題の開示の代表的な実施形態を説明するにおいて、明細書は、本主題の開示の方法及び／又は処理をステップの特定の順序で示した場合がある。しかしながら、方法又は処理が本明細書で示されたステップの特定の順序に依存しない限り、方法又は処理は、説明されたステップの特定の順序に限定されるべきではない。当業者が理解するであろうように、ステップの他の順序が可能である場合がある。したがって、明細書で示されたステップの特定の順序は、特許請求の範囲に関する限定として解釈されるべきではない。加えて、本主題の開示の方法及び／又は処理に向けられる特許請求の範囲は、記載された順序でのそれらのステップの実行に制限されるべきではなく、本主題の開示の精神及び範囲内で順序が変わってもよく、その精神及び範囲内になおも留まることができることを当業者は容易に理解し得る。
【図１】
0006629762.tif 000002
【図２Ａ】
0006629762.tif 000003
【図２Ｂ】
0006629762.tif 000004
【図３Ａ】
0006629762.tif 000005
【図３Ｂ】
0006629762.tif 000006
【図３Ｃ】
0006629762.tif 000007
【図３Ｄ】
0006629762.tif 000008
【図３Ｅ】
0006629762.tif 000009
【図３Ｆ】
0006629762.tif 000010
【図４Ａ】
0006629762.tif 000011
【図４Ｂ】
0006629762.tif 000012
【図４Ｃ】
0006629762.tif 000013
【図５】
0006629762.tif 000014
【図６】
0006629762.tif 000015
【図７】
0006629762.tif 000016
【図８】
0006629762.tif 000017