(57)【要約】  本発明は、組織サンプル（１００）の白黒蛍光画像（１０６．１−１０６．７）からシミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像を生成するための画像処理システムに関する。組織サンプルは、１つまたは複数の染色されたバイオマーカーを含み、染色されたバイオマーカーの各々は、それぞれの蛍光染料によって染色される。このシステムは、−生体物質の存在を一般的に示す蛍光画像のうちの第１の蛍光画像を受け取ること（７０２）、−第１の画像を第１の色を有する変換後の第１の画像に変換すること（７０４）、−バイオマーカーごとに、バイオマーカーを選択的に染色する蛍光染料によって放出される信号を示す蛍光画像のうちのそれぞれの第２の画像を受け取ること（７０６）、−第２の画像の各々をそれぞれの第２の色を有するそれぞれの変換後の第２の画像に変換すること（７０８）、変換後の第１の画像と１つまたは複数の第２の画像を重ね合わせて組み合わせること（７１０）、組み合わされた画像をシミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像として記憶し（７１２）ならびに／あるいは表示する（７１４）ことを行うように設定され、第１の画像は、組織サンプルまたは同様の組織サンプルの自家蛍光基準スペクトルを使用するか、あるいは組織サンプルの生体物質に一般的に結合する第１の染料の蛍光基準スペクトルを、組織サンプルのマルチスペクトルデジタル画像のスペクトルアンミキシングに使用することによって作成される。【選択図】図５、図７
2019530847.tif 000002
【特許請求の範囲】
【請求項１】
組織サンプル（１００）のデジタル白黒蛍光画像（１０６．１−１０６．７）からシミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像を生成する方法であって、前記組織サンプルが、１つまたは複数の染色されたバイオマーカーを含み、染色された前記バイオマーカーの各々が、それぞれの蛍光染料によって染色され、前記方法が、画像処理システムによって実施され、
−  前記蛍光画像のうちの少なくとも第１の蛍光画像を生成し、染色された前記バイオマーカーの各々に関して前記蛍光画像のうちの第２の蛍光画像を生成することであって、第１の画像の画素強度が、生体物質の存在を一般的に示し、各々の第２の画像の画素強度が、前記バイオマーカーを選択的に染色する前記蛍光染料によって放出された蛍光信号を選択的に示し、前記第１および第２の画像の前記生成が、前記組織サンプルのマルチスペクトルデジタル画像のスペクトルアンミキシングを実行することを含み、前記生成が、
−  前記組織サンプルまたは同様の組織サンプルの自家蛍光基準スペクトルを受け取り、前記第１の画像の前記生成のための前記スペクトルアンミキシングにおいて前記自家蛍光基準スペクトルを使用するか、あるいは前記組織サンプルの生体物質に一般的に結合する第１の染料の第１の蛍光基準スペクトルを受け取り、前記第１の画像の前記生成のための前記スペクトルアンミキシングにおいて受け取られた前記第１の蛍光基準スペクトルを使用することと、
−  前記１つまたは複数のバイオマーカーを染色するために使用される前記蛍光染料の各々の第２の蛍光基準スペクトルを受け取り、受け取られた前記第２の蛍光基準スペクトルの各々を前記１つまたは複数の第２の白黒画像のそれぞれの第２の白黒画像の前記生成のために使用することとをさらに含む、第１の蛍光画像および第２の蛍光画像を生成すること、
−  前記組織サンプルの前記第１の蛍光画像を受け取ること（７０２）、
−  前記第１の画像を第１の色を有する変換後の第１の画像に変換すること（７０４）、
−  染色された前記バイオマーカーごとに、前記組織サンプルの前記それぞれに作成された第２の蛍光画像を受け取ること（７０６）、
−  前記第２の画像の各々をそれぞれの第２の色を有するそれぞれの変換後の第２の画像に変換すること（７０８）、
−  前記変換後の第１の画像および前記変換後の１つまたは複数の第２の画像を重ね合わせて組み合わせること（７１０）、
−  組み合わされた前記画像を前記シミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像として記憶媒体に記憶すること（７１２）、ならびに／あるいは
−  組み合わされた前記画像を前記シミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像としてディスプレイデバイス上に表示すること（７１４）を含む方法。
【請求項２】
前記第１の画像の画素強度は、前記組織サンプル中の生体物質によって放出される自家蛍光信号を選択的に示す、請求項１に記載の方法。
【請求項３】
前記第１の画像の画素強度は、前記組織サンプル中の生体物質に一般的に結合する第１の蛍光染料によって放出される蛍光信号を選択的に示す、請求項１に記載の方法。
【請求項４】
−  ２つ以上の前記第２の画像の画素強度を重ね合わせて組み合わせることによって前記第１の画像を生成することであって、前記２つ以上の第２の画像が２つ以上の前記バイオマーカーに関して受け取られており、前記２つ以上のバイオマーカーが、
−  １つまたは複数の細胞質バイオマーカーと、
−  場合によっては、１つまたは複数の核バイオマーカーおよび／または１つまたは複数の膜バイオマーカーとを含む、前記第１の画像を生成することをさらに含む、請求項１に記載の方法。
【請求項５】
前記第１の色は、エオジン染色されたサンプルの明視野像におけるエオジンの色である、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記１つまたは複数の第２の色は、明視野顕微鏡法染料として使用される物質の色であり、前記物質は、たとえば、ジアミノベンジヂン、３−アミノ−９−エチルカルバゾール（ＡＥＣ）、４−クロロ−１−ナフトール（ＣＮ）、ｐ−フェニルンジアミンジヒドロクロリド／ピロカテコール、ファーストレッドＴＲ、ファーストブルーＢＢ、ニューフクシン、ファーストガーネットＧＢＣ、ニトロブルーテトラゾリウム（ＮＢＴ）、およびヨードニトロテトラゾリウムバイオレットを含む群から選択される、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記１つまたは複数のバイオマーカーのうちの少なくとも１つは、核バイオマーカーであり、前記少なくとも１つのバイオマーカーに関して受け取られる前記第２の画像の前記第２の色は、ヘマトキシリン染色されたサンプルの明視野像内のヘマトキシリンの色である、請求項１から６のいずれか一項に記載の方法。
【請求項８】
−  前記組織サンプルの前記蛍光画像のうちの第３の画像を受け取ることであって、第３の画像の画素強度が、核領域を選択的に染色する第３の蛍光染料によって放出される蛍光信号を選択的に示す、受け取ることと、
−  前記第３の画像を、第３の色を有する変換後の第３の画像に変換することとをさらに含み、
前記変換後の第１の画像、前記変換後の第３の画像、および前記１つまたは複数の第２の画像が重ね合わせられ組み合わされて組み合わされた前記画像を形成する、請求項１から７のいずれか一項に記載の方法。
【請求項９】
−  ２つ以上の前記第２の画像の前記画素強度を重ね合わせて組み合わせることによって第３の画像を生成することであって、前記２つ以上の第２の画像が、２つ以上の前記バイオマーカーに関して受け取られており、前記２つ以上のバイオマーカーが核バイオマーカーである、生成することと、
−  前記第３の画像を、第３の色を有する変換後の第３の画像に変換することとをさらに含み、
−  前記変換後の第１の画像、前記変換後の第３の画像、および前記１つまたは複数の第２の画像が重ね合わせられ組み合わされて、組み合わされた前記画像を形成する、請求項１から７のいずれか一項に記載の方法。
【請求項１０】
前記第３の色は、ヘマトキシリン染色されたサンプルの明視野像におけるヘマトキシリンの色である、請求項８または９に記載の方法。
【請求項１１】
−  前記白黒蛍光画像の各々の輝度反転を実行してそれぞれ、輝度反転された白黒蛍光画像を生成することをさらに含み、前記変換は、前記輝度反転された白黒蛍光画像に対して実行され、それぞれ、シミュレートされた前記明視野像を得るために重ね合わされ組み合わされた前記第１の変換後の画像および前記第２の変換後の画像ならびに場合によっては前記第３の変換後の画像が生成される、請求項１から１０のいずれか一項に記載の方法。
【請求項１２】
−  前記マルチスペクトルデジタル画像のスペクトルアンミキシングを実行することによって前記組織サンプルの前記第３の画像を生成することと、
−  核領域を染色するために使用される蛍光染料の第３の蛍光基準スペクトルを受け取り、受け取られた前記第３の蛍光基準スペクトルを使用して前記第３の画像を生成することとをさらに含む、請求項８から１１のいずれか一項に記載の方法。
【請求項１３】
−  前記１つまたは複数のバイオマーカーを染色するのに使用される蛍光染料の種類を示し、場合によっては、前記生体物質を一般的に染色することおよび／または核領域を染色することに使用される前記蛍光染料を示す染色プロトコールデータに画像処理システムによってアクセスすることと、
−  前記染色プロトコールデータに従って使用される前記蛍光染料に応じて、前記変換後の第１の画像、１つまたは複数の第２の画像、および場合によっては第３の画像を生成するための複数の変換手順のうちの１つを選択することとをさらに含む、請求項１から１２のいずれか一項に記載の方法。
【請求項１４】
核領域を選択的に染色する第３の蛍光染料は、Ｋｉ６７タンパク質に選択的に結合する蛍光染料である、請求項７から１３のいずれか一項に記載の方法。
【請求項１５】
前記１つまたは複数のバイオマーカーは、繊維芽細胞活性化タンパク質α（ＦＡＰ遺伝子生成物）、パンサイトケラチン、ＣＤ３４、ＣＤ３、ＣＤ４、ＣＤ８、ＣＳＦ１Ｒ、ＤＲ５、ＫＩ６７、パーフォリン、ＣＣ３を含む群から選択される、請求項７から１４のいずれか一項に記載の方法。
【請求項１６】
１つまたは複数の前記バイオマーカーは、サイトケラチンタンパク質、ＦＡＰ、アクチン、マイクロチューブリンなどを含む群から選択される細胞質タンパク質である、請求項１から１５のいずれか一項に記載の方法。
【請求項１７】
生体物質を一般的に染色する前記第１の染料は、
−  少なくとも前記組織サンプル中のすべての細胞の細胞質基質において分散されたタンパク質に結合する抗体に結合される蛍光染料、
−  過ヨウ素酸、
−  ＢＣＥＣＦ／ＡＭ、
−  アストラブルー
−  ファーストグリーンＦＣＦ、
−  ファロイジン−テトラメチルローダミン共役体、
−  フルオレセイン−５−６−イソシイオシアネートを含む群から選択される、請求項１から１６のいずれか一項に記載の方法。
【請求項１８】
−  １つもしくは複数の第２の蛍光染料ならびに場合によっては前記１つもしくは複数の第１の蛍光染料および／または第３の蛍光染料によって組織サンプルを染色することと、
−  蛍光画像取得システムによって前記組織サンプルのデジタル蛍光画像を取得することとをさらに含む、請求項１から１７のいずれか一項に記載の方法。
【請求項１９】
組織サンプル（１００）のデジタル白黒蛍光画像（１０６．１−１０６．７）からシミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像を生成するための画像処理システム（３０６）であって、前記組織サンプルが、１つまたは複数の染色されたバイオマーカーを含み、染色された前記バイオマーカーの各々が、それぞれの蛍光染料によって染色され、前記画像処理システムが、
−  前記蛍光画像のうちの少なくとも第１の蛍光画像を生成し、染色された前記バイオマーカーの各々に関して前記蛍光画像のうちの第２の蛍光画像を生成することであって、第１の画像の画素強度が、生体物質の存在を一般的に示し、各々の第２の画像の画素強度が、前記バイオマーカーを選択的に染色する前記蛍光染料によって放出された蛍光信号を選択的に示し、前記第１および第２の画像の前記生成が、前記組織サンプルのマルチスペクトルデジタル画像のスペクトルアンミキシングを実行することを含み、前記生成が、
−  前記組織サンプルまたは同様の組織サンプルの自家蛍光基準スペクトルを受け取り、前記第１の画像の前記生成のための前記スペクトルアンミキシングにおいて前記自家蛍光基準スペクトルを使用するか、あるいは前記組織サンプルの生体物質に一般的に結合する第１の染料の第１の蛍光基準スペクトルを受け取り、前記第１の画像の前記生成のための前記スペクトルアンミキシングにおいて受け取られた前記第１の蛍光基準スペクトルを使用することと、
−  前記１つまたは複数のバイオマーカーを染色するために使用される前記蛍光染料の各々の第２の蛍光基準スペクトルを受け取り、受け取られた前記第２の蛍光基準スペクトルの各々を前記１つまたは複数の第２の白黒画像のそれぞれの第２の白黒画像の前記生成のために使用することとをさらに含む、第１の蛍光画像および第２の蛍光画像を生成すること、
−  前記組織サンプルの前記第１の蛍光画像を受け取ること（７０２）、
−  前記第１の画像を第１の色を有する変換後の第１の画像に変換すること（７０４）、
−  染色された前記バイオマーカーごとに、前記組織サンプルの前記それぞれに作成された第２の蛍光画像を受け取ること（７０６）、
−  前記第２の画像の各々をそれぞれの第２の色を有するそれぞれの変換後の第２の画像に変換すること（７０８）、
−  前記変換後の第１の画像および前記変換後の１つまたは複数の第２の画像を重ね合わせて組み合わせること（７１０）、
−  組み合わされた前記画像を前記シミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像として記憶媒体に記憶すること（７１２）、ならびに／あるいは
−  組み合わされた前記画像を前記シミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像としてディスプレイデバイス上に表示すること（７１４）を行うように設定される画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像処理の分野に関し、より詳細には、ＩＨＣ組織サンプルまたはＩＳＨ組織サンプルの蛍光画像の処理に関する。
【背景技術】
【０００２】
蛍光イメージングとは、蛍光染料またはタンパク質を分子過程または分子構造の標識として視覚化することである。蛍光イメージングは、細胞および組織中の遺伝子発現、タンパク質発現、および分子間相互作用のロケーションおよびダイナミクスを含む広範囲の実験観察を可能にする。
【０００３】
蛍光顕微鏡法の分野において新しい染色キットおよびイメージング技術が発展することによって、それぞれに異なる色を有する多数の蛍光染料が利用可能になっており、多数の異なる蛍光染料によって生成される複雑なパターンを有する多種多様な顕微鏡法画像が生成されている。
【０００４】
大部分の病理医はまだ、そのような新しい画像の観察、分析、および診断において訓練を積んでいない。蛍光画像の種類が増えているので診断エラーが生じる場合がある。たとえば、ある病理医が、赤色を有する特定の蛍光染料によって特定の腫瘍マーカーを定期的に染色する研究所で働く場合がある。間質細胞は緑色に染色される。ここで、この病理医が、定期的に免疫細胞を「赤色に」染色し、腫瘍細胞を青色に染色し、間質細胞を緑色に染色する研究所で新しい仕事を始める場合がある。あるいは、この研究所が単に、この病理医への通知なしで染色プロトコールを変更している場合がある。したがって、この病理医は、誤って免疫細胞を癌細胞と見なすことがあり、誤った診断情報および誤った治療推奨情報を生成する場合がある。
【０００５】
米国特許出願第２０１３／００４４９３３号および米国特許第２０１１１００７４９４４号は、蛍光画像を使用して、生体サンプルの明視野染色プロトコールに類似した明視野型画像を生成するための方法を開示している。この方法は、生体サンプルの蛍光画像を取得することと、蛍光画像を明視野色空間内にマップすることと、明視野像を生成することと、場合によっては、鮮明化変換補正を適用することとを含む。本発明は、１つまたは複数の蛍光染料によって染色された組織サンプルの病理学的観察、分析、および診断を容易にしかつ向上させることを対象とする。
【発明の概要】
【０００６】
本発明の一目的は、独立クレームに明示された蛍光デジタル画像処理のための改良された方法およびシステムを提供することである。本発明の実施形態は、従属クレームにおいて与えられる。本発明の実施形態は、相互に排他的でない場合には互いに自由に組み合わせることができる。
【０００７】
一態様では、本発明は、組織サンプルのデジタル白黒蛍光画像からシミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像を生成する方法に関する。組織サンプルは、１つまたは複数の染色されたバイオマーカーを含む。染色されたバイオマーカーの各々は、それぞれの蛍光染料によって染色される。この方法は、画像処理システムによって実施され、
−  組織サンプルの蛍光画像のうちの第１の蛍光画像を受け取ることであって、第１の画像の画素強度が生体物質の存在を一般的に示す、第１の蛍光画像を受け取ること、
−  第１の画像を第１の色を有する変換後の第１の画像に変換すること、
−  染色されたバイオマーカーごとに、組織サンプルの蛍光画像のうちのそれぞれの第２の画像を受け取ることであって、各々の第２の画像の画素強度が、前記バイオマーカーを選択的に染色する蛍光染料によって放出される蛍光信号を選択的に示す、第２の画像を受け取ること、
−  第２の画像の各々をそれぞれの第２の色を有するそれぞれの変換後の第２の画像に変換すること、
−  変換後の第１の画像と１つまたは複数の第２の画像を重ね合わせて組み合わせること、
−  組み合わされた画像をシミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像として記憶媒体に記憶すること、ならびに／あるいは
−  組み合わされた画像をシミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像としてディスプレイデバイス上に表示することを含む。
【０００８】
前記特徴は、画像を検査する病理医によって誤った診断情報および治療推奨情報が生成される可能性を大幅に低下させることがあるので有利である場合がある。病理医は日常的に、様々な染色アッセイ、たとえば、ヘマトキシリンおよびエオジン（Ｈ＆Ｅ）によって染色された組織の明視野顕微鏡法画像を用いて作業する。明視野イメージングでは、ヘマトキシリン−青色および／またはエオジン−赤色のようないくつかの典型的な色が同じ種類の細胞タイプおよび組織タイプを常に表す。病理医によって、明視野イメージング染料、たとえば、Ｈ＆Ｅ染色によって生成されるいくつかの色が、組織切片および組織中の個々の細胞の存在を示す信号として解釈される。この情報は、病理医が組織スライドグラスから組織切片を判別し、組織中の細胞内領域および細胞外領域を判別するのを可能にする一種の「ビジュアルガイド」として使用される。
【０００９】
たとえば、ヘマトキシリンは、塩基性／陽性である暗い青色または紫色染料である。ヘマトキシリンは、好塩基性物質（ＤＮＡ／ＲＮＡなど−酸性であり負性荷電される）に結合する。核中のＤＮＡ／ＲＮＡと、粗面小胞体中のリボソーム中のＲＮＡは、核酸のリン酸主鎖が負性荷電されるのでどちらも酸性である。負性荷電された主鎖は、陽性電荷を含む塩基性染料と塩を形成する。したがって、ヘマトキシリンのような染料は、ＤＮＡおよびＲＮＡに結合し、ＤＮＡおよびＲＮＡを紫色に染色する。
【００１０】
エオジンは、酸性／負性である赤色またはピンク色の染料である。エオジンは、陽性荷電されたアミノ酸側鎖（たとえば、リシン、アルギニン）などの好酸性物質に結合する。細胞質中の大部分のタンパク質は、アルギニンおよびリシンアミノ酸残基に起因して陽性荷電されるので塩基性である。これらは、エオジンのように、負性電荷を含む酸性染料と塩を形成する。したがって、エオジンはこれらのアミノ酸／タンパク質に結合し、それらのアミノ酸／タンパク質をピンク色に染色する。これには、筋肉細胞中の細胞内フィラメント、細胞内膜、および細胞外線維が含まれる。
【００１１】
したがって、Ｈ＆Ｅ染色を使用する明視野像顕微鏡法では、生体構造と染色との間に、たとえば、以下のような一定の信頼できる関連付けが存在する。
・核と青色／紫色
・好塩基球と紫がかった赤色
・細胞質と赤色
・筋肉と暗い赤色
・赤血球とチェリーレッド
・コラーゲンと淡いピンク色
・ミトコンドリアと淡いピンク色
【００１２】
逆に、蛍光イメージングでは、生体構造と特定の色との間に一定の関連性は存在しない。病理医は個々の画像または１組の画像に関する特定の色の意味を慎重に検討する必要があるので、上記のことは、誤りの重要な考えられる原因と見なされ、かつ少なくとも病理医の生産性を低下させる要因と見なされている。
【００１３】
病理医は、特定の（かつ概して任意の選択された）蛍光染料に対応する強度情報（たとえば、一般的には生体物質の存在または具体的には対象となる特定のバイオマーカー）を、蛍光染料が表す生体構造に応じて、前記特定の生体構造を表すことが知られている既定の色に変換することによって、特定の染料が特定の生体構造を表すことに依存することができる。このことは、病理医による蛍光画像の解釈を容易にする場合があり、誤りを回避する助けになり病理医の生産性を向上させることがある。
【００１４】
実施形態によれば、第１の色は、設定データ構造、たとえば、設定ファイルまたは設定データベースレコードの組に記憶された既定の色である。この設定データ構造は、第１の色が、（前記生体物質に含まれる細胞または組織の種類にかかわらず）生体物質の存在を一般的に表すことを規定する。優先事項として、生体物質の存在を一般的に示す色と同じ第１の色が使用され、複数の異なる組織サンプルから得られた複数の異なるデジタル画像のシミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像を生成する。同じ患者または様々な患者から複数の異なる組織サンプルを得ることができる。したがって、病理医は、この特定の第１の色を生体物質の存在のインジケータ、すなわち、組織スライド上の組織の存在のインジケータとすることを習慣化することができる。
【００１５】
実施形態によれば、第２の色は、設定データ構造に記憶された規定の色である。設定データ構造は、複数のバイオマーカーの各々、たとえば、ＦＡＰのような特定のタンパク質をそれぞれの第２の色に割り当てる。設定データ構造に規定された第２の色の各々が、特定のバイオマーカーの存在を示す特定の色として使用され、複数の異なる組織サンプルの画像からシミュレートされた明視野像を生成し、それによって、同じ患者または様々な患者からサンプルを得ることができ、前記特定のバイオマーカーを染色するために同じ蛍光染料または様々な蛍光染料が使用されている場合がある。
【００１６】
特定のバイオマーカーの存在を示す独特な蛍光染料が、設定データ構造における前記バイオマーカーに割り当てられた特定の第２の色に常に変換されるので、バイオマーカー陽性細胞は、生成されたシミュレートされた明視野像において常に第２の色で強調表示される。
【００１７】
優先事項として、設定データ構造は病理医によって編集可能である。したがって、病理医は常に、規定の第２の色、たとえば「緑色」を特定のバイオマーカーに割り当て、したがって、ＦＡＰバイオマーカーを染色するために使用された実際の蛍光染料とは無関係に「緑色」を直ちにＦＡＰ＋細胞と認識することを習慣化することができる。
【００１８】
実際、病理医は、特定の第２の色の各々を、それぞれに割り当てられた特定のバイオマーカーの存在を示すインジケータとすることを習慣化することができる。
【００１９】
明視野イメージングでは、概して使用される染料は、その物理化学的特性を介して既定の生体構造、たとえば、酸性または塩基性の組織成分または細胞成分にリンクされる。蛍光画像を生成したそれぞれの蛍光染料によって特定される生体材料に応じて蛍光画像に特定の規定の色を割り当てる追加的な画像変換ステップを使用することによって、「明視野像」の特徴、すなわち、生体構造と得られる画像の色の相互関係がシミュレートされる。
【００２０】
以下において説明する実施形態のうちの少なくともいくつかは、複数の蛍光画像を入力として使用してシミュレートされる画像の「明視野像」特性をさらに強化する追加的なステップおよび特徴を備える。
【００２１】
実施形態によれば、第１の画像の画素強度は、組織サンプル中の生体物質によって放出される自家蛍光信号を選択的に示す。
【００２２】
自家蛍光とは、ミトコンドリアおよびリソソームなどの生体構造が光を吸収したときのそのような生体構造による光の自然放出である。一般に、自家蛍光は、（組織サンプル中の前記バイオマーカーの発現レベルに応じて特定のバイオマーカーを染色している場合も染色していない場合もある）蛍光染料の実際に望まれる信号を隠す場合がある一種の「雑音信号」を構成するので蛍光顕微鏡法における不要な信号と見なされる。意外なことに、本発明では、自家蛍光（「雑音」）信号が実際には所望の情報を伝達し、すなわち、（組織サンプルのないガラススライドの領域とは対照的に）組織の存在を示す汎用インジケータとして使用できることがわかった。したがって、自家蛍光情報は、明視野像顕微鏡法において使用される汎用組織染料を交換する際および汎用組織染料のシミュレーションを行う場合に使用することができる。そのような汎用染料の一例は、上述のエオジンである。しかし、調査対象の生体物質に応じて、明視野イメージングにおいて使用される前記「汎用組織染料」を表す第１の色を選択することによってシミュレートされるそれぞれに異なる「汎用組織染料」があってもよい。
【００２３】
実施形態によれば、第１の画像の画素強度は、組織サンプルの生体物質に一般的に結合する第１の蛍光染料によって放出される蛍光信号を選択的に示す。たとえば、生体物質に一般的に結合する第１の蛍光染料は、組織を得るための組織タイプのすべての細胞を染色することが予想される抗体に結合される任意の蛍光色の任意の蛍光染料であってもよい。代替として、前記蛍光染料は、非特異的に結合する抗体に結合することができる。
【００２４】
スライド上の組織切片の存在を特定して示し、生体物質の存在を示す一定の「第１の色」によって組織切片の存在を表すことは、病理医が、組織サンプルの「間質」細胞または「バックグラウンド」細胞のバックグラウンドの前にあるいくつかのバイオマーカー陽性細胞の分布を評価する際に病理医を助ける場合がある。
【００２５】
実施形態によれば、この方法は、２つ以上の第２の画像の画素強度を重ね合わせて組み合わせることによって第１の画像を生成することであって、前記２つ以上の第２の画像が２つ以上のバイオマーカーに関して受け取られている、生成することをさらに含む。前記２つ以上のバイオマーカーは、
−  １つまたは複数の細胞質バイオマーカー（すなわち、細胞質基質に存在する生体分子）と、
−  場合によっては、１つまたは複数の核バイオマーカー（すなわち、核に存在する生体分子）および／または１つまたは複数の膜バイオマーカー（すなわち、細胞膜全体に広がる生体分子または細胞膜に付着した生体分子）とを含む。
【００２６】
第１の画像を、少なくとも１つの細胞質バイオマーカーならびに少なくとも１つの核バイオマーカーおよび／または膜バイオマーカーに対応する２つ以上の蛍光画像の組合せとして生成することは有利である場合があり、その理由は、自家蛍光信号を抽出する必要がなく、また、バイオマーカー固有の他の染料に干渉することがある追加の汎用染料を使用する必要もなくなるからである。そればかりでなく、（組織に覆われていない組織スライドの領域とは対照的に）生体物質の存在を一般的に示す第１の蛍光画像は、複数の蛍光信号、および個々のバイオマーカーの存在を検出するために最初に受け取られた対応する画像から計算によって生成される。たとえば、組織は、６つの異なる蛍光染料Ｓ１、Ｓ２、．．．、Ｓ６によって染色されてもよい。前記６つの染料の各々は、異なる色Ｃ１、Ｃ２、．．．、Ｃ６を有し、特定のバイオマーカーＢ１、Ｂ２、．．．、Ｂ６に選択的に結合する。病理医によって解決しなければならない本来の医療的な問題は、組織サンプルの細胞が、特徴的なバイオマーカー発現プロファイルＢ１＋、Ｂ２＋、Ｂ３−、Ｂ４＋、Ｂ５−、およびＢ６−を有する特定の種類の腫瘍細胞を含む場合の問題である。２つのバイオマーカー、３つのバイオマーカー、または場合によっては６つのバイオマーカーのすべての蛍光信号（「画像」）を組み合わせることによって、第１の色で表される汎用の第１の画像を算出することができ、この第１の画像は、病理医が、スライド上の組織領域と非組織領域を判別する際および組織中の内細胞領域と外細胞領域を判別する際に病理医を助ける場合がある。
【００２７】
さらなる有利な態様では、自家蛍光信号をフィルタ処理するためのソフトウェアまたはハードウェアベースのフィルタ機構を備える画像取得システムにこの手法を使用することもできる。
【００２８】
実施形態によれば、第１の色は、エオジン染色されたサンプルの明視野像を生成するために使用されるエオジンの色である。
【００２９】
エオジン染色されたサンプルの明視野像においてエオジンによって染色された生体物質の存在を表す「第１の色」は、赤みを帯びた色、赤色、ピンク色、または赤色とピンク色の間の中間色として規定することができる。
【００３０】
実施形態によれば、第１の色は、エオジンの色、クマシーブルー（非特異的タンパク質染料）、クレシルバイオレット（核細胞質の染色酸性成分）、コンゴレッド（細胞質構造に結合し、脂肪組織を染色するのに広く使用されている）、メチレンブルー（動物細胞の染色）、スーダンブラック（脂肪分子に結合する）、酸性フクシン（エラスチンまたはミトコンドリアに結合する）、またはその他の例の色を含む群から選択される。
【００３１】
実施形態によれば、１つまたは複数の第２の色の各々は、
−  ＤＡＢ（ジアミノベンジヂン）染色サンプルの明視野像を生成するために使用されるブラウンまたはブラウンレッド最終生成物を生成するＤＡＢの色、
−  酸化時にローズレッド最終生成物を形成する３−アミノ−９−エチルカルバゾール（ＡＥＣ）の色、
−  青色最終生成物として析出する４−クロロ−１−ナフトール（ＣＮ）の色、
−  ブルーブラック反応生成物を与えるｐ−フェニルンジアミンジヒドロクロリド／ピロカテコールの色、
−  浅紅色最終生成物を生成するファーストレッドＴＲの色、
−  青色最終生成物を生成するファーストブルーＢＢの色、
−  浅紅色最終生成物を生成するニューフクシンの色、
−  ガーネット最終生成物を生成するファーストガーネットＧＢＣの色、
−  青色最終生成物を生成するニトロブルーテトラゾリウム（ＮＢＴ）の色、および
−  紫色最終生成物を生成するヨードニトロテトラゾリウムバイオレット（ＩＮＴ）の色を含む群から選択される。
【００３２】
代替として、明視野顕微鏡法において使用される、ここには示されていないが公知の他の染料に対応する複数の他の色を使用することができる。
【００３３】
上記の色のいずれも、明視野像条件の下で観察された場合の、それぞれの列挙された染料の色を指す。明視野像顕微鏡法において使用される染料の「色」は、前記染料によって染色されかつ明視野顕微鏡法光源（一般に「白色光」を生成する広域スペクトル光源）によって照明された生体物質によって放出されるスペクトルプロファイルである。減法混色環境では、蛍光顕微鏡法とは異なり、明視野顕微鏡法が使用される。
【００３４】
実施形態によれば、組織サンプルから受け取られた第２の蛍光画像のうちの少なくとも１つは、画素強度が近赤外線スペクトル範囲（約７００ｎｍ〜２５００ｎｍ）内の蛍光を放出する蛍光染料（ＮＩＦ染料）によって放出される蛍光信号を示す画素からなる。本発明の実施形態は、システムの追加的な修正を施さずに可視スペクトル範囲内で発光する「従来の」蛍光染料に加えてＮＩＦ染料を使用するのを可能にする場合がある。したがって、ＮＩＦ染料を含む多種多様な蛍光染料が使用されてもよいが、それにもかかわらず、最終的に生成され病理医に提示される画像は、病理医が慣れ親しんでおり、かつ病理医が自分自身で設定データ構造内に規定している場合がある既定の色によって公知の生体構造およびバイオマーカーを確実に示すことがある。
【００３５】
実施形態によれば、１つまたは複数のバイオマーカーのうちの少なくとも１つは、核バイオマーカーであり、前記少なくとも１つのバイオマーカーに関して受け取られる第２の画像の第２の色は、ヘマトキシリン染色されたサンプルの明視野像内のヘマトキシリンの色である。
【００３６】
ヘマトキシリン染色されたサンプルの明視野像内のヘマトキシリン染色された構造の色を表す「第２の色」は、青色、紫色、または青色と紫色の中間色として規定することができる。
【００３７】
実施形態によれば、この方法は、組織サンプルの蛍光画像のうちの第３の画像を受け取ることであって、第３の画像の画素強度が、核領域を選択的に染色する第３の蛍光染料によって放出される蛍光信号を選択的に示す、受け取ることと、第３の画像を、第３の色を有する変換後の第３の画像に変換することとをさらに含む。それによって、変換後の第１の画像、変換後の第３の画像、および１つまたは複数の第２の画像が重ね合わせられ組み合わされて組み合わされた画像を形成する。たとえば、核領域を選択的に染色する第３の蛍光染料は、ＤＮＡまたはヒストンなどの核タンパク質に結合する任意の色の蛍光染料であってもよい。
【００３８】
（任意の種類の細胞の）核領域を選択的に染色する蛍光染料に対応する追加的な第３の画像を使用することは有利である場合があり、その理由は、核領域を染色するための公知の明視野像染色技法を「シミュレート」し、たとえば、ヘマトキシリン染色をシミュレートすることが可能になるからである。対象となるバイオマーカーがない場合（したがって、第２の画像がない場合）、追加的な核固有の蛍光染料を、組織中に含まれる任意の種類の細胞の核を染色する目的にのみ使用して、明視野イメージング技法から知られているように核指示信号をシミュレートしてもよい。したがって、どのバイオマーカーも核バイオマーカーではない場合、さらなる「第３の」染料／色を使用して、病理医用の光学的案内としての「核画像」を形成する。
【００３９】
代替実施形態によれば、この方法は、
−  ２つ以上の第２の画像の画素強度を重ね合わせて組み合わせることによって第３の画像を生成することであって、前記２つ以上の第２の画像が、２つ以上のバイオマーカーに関して受け取られており、前記２つ以上のバイオマーカーが核バイオマーカーである、生成することと、
−  第３の画像を、第３の色を有する変換後の第３の画像に変換することとを含み、
−  変換後の第１の画像、変換後の第３の画像、および１つまたは複数の第２の画像が重ね合わせられ組み合わされて、組み合わされた画像を形成する。
【００４０】
このことは、バイオマーカーのうちの２つ（または優先事項として３つ以上）が核バイオマーカー、たとえば、核タンパク質である場合と同様に有利である場合があり、追加的な「第３の蛍光染料」を使用して核を一般的に染色することは省略されてもよく、それによって染色プロトコールが簡略化される。
【００４１】
多くの場合、第２の画像を生成するために使用されるバイオマーカーが、すべての種類の細胞において発現されることが予想されるとは限らない。この理由は、バイオマーカーは一般に、バイオマーカーの特定の組合せの有無が特定の細胞の種類または状態を示すように、病理医によって解決すべき生物学的課題または医学的課題に応じて選択されるからである。２つ以上のバイオマーカーによって生成された情報を組み合わせることによって、核バイオマーカーのうちの少なくとも１つが、組織サンプルに含まれる各細胞中の核において発現される可能性が高くなる。それぞれの蛍光染料によって染色された核バイオマーカーの数が多いほど、すべての前記「核画像」の組み合わせが、組織サンプルに含まれる任意の種類の細胞中の核（腫瘍および非腫瘍）を一般的に示す可能性は高くなる。
【００４２】
実施形態によれば、第３の色は、ヘマトキシリン染色されたサンプルの明視野像におけるヘマトキシリンの色である。
【００４３】
実施形態によれば、この方法は、白黒蛍光画像の各々の輝度反転を実行してそれぞれ、輝度反転された白黒蛍光画像を生成することと、輝度反転された白黒蛍光画像に対して変換を実行して、それぞれ、シミュレートされた明視野像を得るために重ね合わされ組み合わされた第１の変換後の画像および第２の変換後の画像ならびに場合によっては第３の変換後の画像を生成することとをさらに含む。
【００４４】
このことは、生成された反転された画像が明視野像の典型的な色組成および分布をずっと正確に反映するので有利である場合がある。典型的な蛍光画像では、バックグラウンド領域（組織によって覆われていないガラススライド領域および蛍光染料によって染色されていない組織領域）は、黒色画素または非常に暗い色の画素によって表される。逆に、明視野イメージングでは、バックグラウンド領域（組織によって覆われていないガラススライド領域およびＨ＆Ｅなどの従来の明視野像染料によって染色されていない組織領域）は、白色画素または明るい画素として表される。
【００４５】
輝度反転は、画素強度値が反転され、許容強度値の所与の範囲内で可能な限り小さい値、たとえば「０」を有する入力画像内の画素が、可能な限り大きい強度値、たとえば「２５５」に変換されるように、入力画像（たとえば、白黒蛍光画像）を変換するために実行される。許容強度値の所与の範囲内で可能な限り大きい値、たとえば「２５５」を有する入力画像内の画素が、可能な限り小さい値、たとえば「０」に変換される。したがって、明視野顕微鏡法から知られているように、白黒蛍光画像の黒色バックグラウンド領域または暗いバックグラウンド領域が、白色バックグラウンド領域または少なくとも明るいバックグラウンド領域に変換される。
【００４６】
デジタル画像を輝度反転させるために様々な手法が当技術分野で知られている。一例によれば、明視野反転を実行することは、入力画像内の強度値（「輝度値」）ＸＰを有する画素Ｐごとに、次式に従って反転された強度値ＹＰを算出することを含む。
Ｙｐ＝Ｌ−Ｘｐ
【００４７】
強度値ＸＰは、既定の範囲、たとえば、０〜２５５の範囲内の値であってもよい。Ｌは、使用される強度符号化方式において入力画像画素が有することが許容される可能な限り大きい強度値であり、たとえば２５５である。したがって、ＸＰが２００である場合、ＹＰは５５である。ＸＰが４０である場合、ＹＰは２１５である。
【００４８】
別の例によれば、明視野反転を実行することは、入力画像内の強度値（「輝度値」）ＸＰを有する画素Ｐごとに、次式に従って反転された強度値ＹＰを算出することを含む。
2019530847.tif 000003
【００４９】
この場合も、「Ｌ」は、使用される強度符号化方式において入力画像画素が有することが許容される可能な限り大きい強度値であり、たとえば２５５である。パラメータｇａｍｍａｐ、ｃｏｎｔｒａｓｔｐ、およびｂｒｉｇｈｔｎｅｓｓｐは、複数の「典型的な」白黒蛍光画像の各々の、それぞれの強度反転画像への強度反転を実行することによって、ヒューリスティックに得ることができる。複数の輝度反転画像は、複数の病理医によって検討される。入力画像の各々について、明視野像において観測される画素輝度分布を最もうまく再生する１つまたは複数の反転画像が選択される。「最良の／最も現実的な」明視野顕微鏡法輝度分布を有する選択された画像を生成するために使用されたパラメータｇａｍｍａｐ、ｃｏｎｔｒａｓｔｐ、およびｂｒｉｇｈｔｎｅｓｓｐが特定される。場合によっては、選択された「最良の」パラメータから平均ｇａｍｍａｐ、平均ｃｏｎｔｒａｓｔｐ、および平均ｂｒｉｇｈｔｎｅｓｓｐが算出される。次いで、選択され場合によっては平均されたこれらのパラメータが、強度反転を実行するためにその後分析される組織サンプルに使用される。３つのパラメータを決定するために病理医によって使用される典型的な画像は、蛍光画像を取得するために使用される組織サンプルのような同じ種類の組織を示すことが好ましいが、必ずしもそうである必要はない。ｇａｍｍａｐ、ｃｏｎｔｒａｓｔｐ、およびｂｒｉｇｈｔｎｅｓｓｐをヒューリスティックに決定することによって、明視野像内の輝度分布を極めて正確に再現する画像輝度反転技法が実現される。
【００５０】
実施形態によれば、核バイオマーカーのうちの少なくとも１つの第２の画像は、第１の画像を生成すること、および第３の画像を生成することに使用される。このことは、「核バイオマーカー」蛍光画像に含まれる情報が、三度使用されるので有利である場合があり、すなわち、生体物質の存在を一般的に示す第１の画像をシミュレートするために一度使用され（「シミュレートされたエオジン染料」）、細胞核を示す画像をシミュレートするために一度使用され（「シミュレートされたヘマトキシリン染料」）、第２の蛍光染料のうちの１つによって選択的に染色された特定のバイオマーカーの存在を第２の画像のうちの１つによって示すために一度使用される。
【００５１】
実施形態によれば、この方法は、１つまたは複数の第２の画像および／または第１の画像を生成することと、場合によっては、組織サンプルの第３の画像を生成することであって、組織サンプルのマルチスペクトルデジタル画像のスペクトルアンミキシングを実行することを含む、第３の画像を生成することとをさらに含む。
【００５２】
たとえば、マルチスペクトル画像が受け取られることがあり、その場合、マルチスペクトル画像に対してカラーデコンボリューションアルゴリズムが適用される。このアルゴリズムは、自家蛍光信号成分を抽出し、この成分を第１の画像として記憶媒体内に記憶する。さらに、アルゴリズムは、それぞれのバイオマーカーを選択的に染色するのに使用される蛍光染料ごとに、対応する蛍光信号を抽出し、この成分を第２の白黒デジタル画像の１つとして記憶媒体内に記憶する。場合によっては、任意の種類の細胞の核領域を選択的に染色する蛍光染料が使用される場合、アルゴリズムは、対応する蛍光信号を抽出し、この成分を組織サンプルの任意の細胞の核領域を示すさらなる白黒デジタル画像として記憶媒体内に記憶し、それによって、後でシミュレートされたヘマトキシリン画像に変換される場合がある画像を提供する。
【００５３】
実施形態によれば、この方法は、
−  この組織サンプルまたは同様の組織サンプルの自家蛍光基準スペクトルを受け取り、第１の画像を生成するためのスペクトルアンミキシングにおいて自家蛍光基準スペクトルを使用すること、あるいは
−  組織サンプルの生体物質に一般的に結合する第１の染料の第１の蛍光基準スペクトルを受け取り、前記第１の画像を生成するためのスペクトルアンミキシングにおいて受け取られた第１の蛍光基準スペクトルを使用することと、
−  １つまたは複数のバイオマーカーを染色するのに使用される蛍光染料の各々の第２の蛍光基準スペクトルを受け取り、受け取られた第２の蛍光基準スペクトルの各々を１つまたは複数の第２の白黒画像のそれぞれの白黒画像の生成のために使用すること、および／あるいは
−  核領域を染色するのに使用される蛍光染料の第３の蛍光基準スペクトルを受け取り、受け取られた第３の蛍光基準スペクトルを第３の画像の生成のために使用することとをさらに含む。
【００５４】
したがって、自家蛍光信号が概してフィルタ処理されるかまたは雑音と見なされた従来技術のシステムとは異なり、自家蛍光信号用の基準スペクトルを生成し使用することによって、自家蛍光信号をマルチスペクトル画像からアクティブに抽出し、この自家蛍光信号を使用して、病理医に表示すべき画像の情報内容および品質を向上させてもよい。
【００５５】
実施形態によれば、画像処理システムは、１つまたは複数のバイオマーカーを染色するのに使用される蛍光染料の種類を示し、場合によっては、生体物質を一般的に染色することおよび／または核領域を染色することに使用される蛍光染料を示す染色プロトコールデータにアクセスする。画像処理システムは、染色プロトコールデータに従って使用される蛍光染料に応じて、変換後の第１の画像、１つまたは複数の第２の画像、および場合によっては第３の画像を生成するための複数の変換手順のうちの１つを選択する。
【００５６】
たとえば、プロトコールデータは、ＦＡＰのような特定のタンパク質を染色するためにフルオレセインイソチオシアネート（ＦＩＴ）のような特定の蛍光染料が使用されたことを示してもよく、その場合、画像処理システムは、典型的な「ＦＩＴ」色を設定データ構造内のバイオマーカーＦＡＰに割り当てられた第２の色に変換するように設定された色変換アルゴリズムを自動的に選択し適用する。さらに、プロトコールデータは、自家蛍光信号を、第１の画像として使用すべきであり、かつ「自家蛍光」信号が設定データ構造内のエオジンの色に割り当てられることに応じて典型的な「エオジン」色に変換すべきであることを示してもよい。したがって、本発明の実施形態による画像処理システムは、画像変換を実行するプロトコールデータを自動的に評価して使用するように設定され、それによって、使用される染色プロトコールにかかわらず、特定のバイオマーカーは、設定データ構造においてこのバイオマーカーに割り当てられた特定の１つの第２の色に常に割り当てられる。
【００５７】
実施形態によれば、染色プロトコールデータは、設定データ構造の一部である。自動サンプル染色システムが、染色プロトコールデータに結合され、染色プロトコールデータへの書込みアクセスが可能であり、サンプル染色システムが１つまたは複数のサンプルを染色するときにはいつでも、染色プロトコールデータ、特にそれぞれのバイオマーカーを染色するのに使用されるかもしくは核領域を一般的に染色するのに使用された蛍光染料の種類および／または生体物質の存在を自動的に記憶する。各生体サンプルは、染色プロトコールデータ内に記憶されたサンプルＩＤに対応するバーコードまたは別の形態のサンプル識別子を備えるスライド上に配置されてもよい。染色プロトコールデータは、新しい生体サンプルが染色されたときはいつでも、サンプルＩＤを、使用された蛍光染料および前記染料が結合するように設定されたバイオマーカーおよびその他の生体構造（これは、染料を生体構造に付着させるのに使用される抗体またはその他の形態の担体がもしあれば、そのような抗体または担体に依存する場合がある）に関連付けて記憶することによって自動的に更新される。自動化サンプル染色システムによる染色プロトコールデータの自動更新と染色プロトコールデータおよび設定データ構造の自動化された評価との組合せは有利である場合があり、その理由は、画像処理システムが、病理医が慣れ親しんだ色で生体構造を表す変換後の第１の画像、第２の画像、および第３の画像を生成するのに適した変換手順を選択することが自動的に行われるからである。
【００５８】
いくつかの実施形態によれば、核領域を選択的に染色する第３の蛍光染料は、Ｋｉ６７タンパク質、すなわち、細胞増殖に関連する核タンパク質に選択的に結合する蛍光染料である。
【００５９】
いくつかの実施形態によれば、１つまたは複数のバイオマーカーは、ＦＡＰ、ＰａｎＣＫ、ＣＤ３４、ＣＤ３、ＣＤ４、ＣＤ８、ＣＳＦ１Ｒ、ＤＲ５、ＫＩ６７、パーフォリン、ＣＣ３などを含む群から選択される。たとえば、ＦＡＰ遺伝子生成物（線維芽細胞活性化タンパク質）は、発現がすべてのヒト癌腫の９０％よりも多くの活性化間質線維芽細胞上に見られる膜タンパク質である。間質線維芽細胞は、癌腫の発生、成長、転位において重要な役割を果たす。明視野イメージングでは、ＦＡＰは、ＤＡＢまたはファーストレッドによって染色されることが多く、変換後の画像の色としてはたとえば、ＤＡＢまたはファーストレッドの明視野像色を自然に再生するような色が選択される。
【００６０】
白黒の（すなわち、「グレースケール」）第１の画像、第２の画像、および／または第３の画像のいずれか（以下では「ソース画像」と呼ぶ）を変換後のバージョンに変換することは、当技術分野で公知の色変換方法によって実行することができ、その場合、入力画像として使用される白黒デジタル画像の「色」は一般に、既定の値範囲内の強度値である。したがって、画像変換は、画像「色付け」動作として記述することもできる。
【００６１】
所望の明視野像色空間への画像変換を実行するための第１の例によれば、ソース画像（すなわち、蛍光白黒画像またはその輝度反転バージョン）内の各画素Ｐは、強度値が０から２５５の間であってもよく、８ビット値として記憶されてもよく、この場合、０は零強度を表し、２５５は全強度を表す。特定のソース画像画素Ｐは、強度値が２０１であってもよい。このタスクでは、次に、ソース画像の画素Ｐの画素強度値２０１をソース画像の変換後バージョン内の対応する画素ＴＰのＲＧＢ値に変換してもよく、この場合、変換後の画像バージョンは、エオジン染色された明視野像と「同様に見える」はずである。前記タスクを実行するには、画像処理システムによって以下の動作を実行すればよい。
−  設定データ構造にアクセスすること。設定データ構造は、明視野顕微鏡法画像におけるエオジン染色された構造に関する「典型的な」ＲＧＢ値、たとえば、Ｒｅｏｓｉｎ＝２４０、Ｇｅｏｓｉｎ＝１１７、Ｂｅｏｓｉｎ＝２４０を規定する。
−  ＨＬＳ色モデルにおける変換後の画素ＴＰを算出し、それによって、変換後の画像の所望の色に関して規定された「典型的な」ＲＧＢ値を使用する。所与の例では、変換は以下のように実行することができる。
−  ソース画像内の画素Ｐのグレースケール値２０１をとり、その値をソース画像の強度スケールの可能な限り大きい強度値、たとえば、２５５の割合として使用する。したがって、Ｐがグレースケール値２０１を有し、可能な限り大きい強度値が２５５である場合、変換後の「色付けされた」画像内の等価画素は以下のようになる。
2019530847.tif 000004
【００６２】
所望の明視野像色空間への画像変換を実行する第２の例によれば、３つのパラメータＰＲ、ＰＧ、およびＰＢが、ｒｇｂ明視野像の所望の明視野像色の赤色、緑色、および青色チャネルに関して定義される。前記パラメータ（吸光係数とも呼ばれる）の各々は、物質がそれぞれ単位密度当たりまたは単位「モル濃度」当たりに所与の波長（たとえば、「赤色」、「緑色」、および「青色」）で光を吸収する程度を定義する。たとえば、前記３つのパラメータは、経験的に決定することができ、病理医は、特定の明視野像染料、たとえば、ヘマトキシリンによって生体サンプルを染色してもよい。次いで、サンプルの明視野像内の赤色画素強度レベル、緑色画素強度レベル、および青色画素強度レベルの分布が決定される。優先事項として、画素強度レベルは、０から１の間の値に正規化される。次いで、ｍｅａｎ−ｏｆ−ａｌｌ−ｉｍａｇｅｐｉｘｅｌｓ（ｌｏｇ（ｐｉｘｅｌｉｎｔｅｎｓｉｔｙ））について最小値を有する３つのＲＧＢ色のうちの１つが特定される。たとえば、前記色は「赤色」であってもよい。この場合、３つのパラメータＰＲ（「パラメータ赤色」）、ＰＧ（「パラメータ緑色」）、およびＰＢ（「パラメータ青色」）は以下のように算出される。
2019530847.tif 000005
【００６３】
経験的に決定されたパラメータＰＲ、ＰＧ、およびＰＢは次いで、蛍光画像（またはその輝度反転バージョン）を特定の所望の明視野色を有する明視野像に変換するために使用することができる。
【００６４】
白黒蛍光画像を特定の所望の明視野色、たとえば、ヘマトキシリンの色を有する明視野像に変換する場合、パラメータＰＲ、ＰＧ、ＰＢを非線形変換式において使用することができる。以下の公式に従って、蛍光画像内の各画素ｐｘをＲＧＢ明視野像内のそれぞれの画素ｐｘＢＦに変換するための非線形変換式。
ＲｐｘＢＦ＝２５５ｅｘｐ（−ｃｒ＊ＰＲ＊［ＦＳＴＡＩＮ＿ＩＮＴｐｘ］）
ＧｐｘＢＦ＝２５５ｅｘｐ（−ｃｇ＊ＢＲ＊［ＦＳＴＡＩＮ＿ＩＮＴｐｘ］）
ＢｐｘＢＦ＝２５５ｅｘｐ（−ｃｂ＊ＢＲ＊［ＦＳＴＡＩＮ＿ＩＮＴｐｘ］）
【００６５】
パラメータＦＳＴＡＩＮ＿ＩＮＴｐｘは、前記蛍光染料ＦＳＴＡＩＮに対応する蛍光画像（または輝度反転蛍光画像）内の画素ｐｘにおける（白黒）蛍光染料信号の強度値を示す。
【００６６】
パラメータｃｒ、ｃｇ、ｃｂは、色をシミュレートしなければならない明視野像染料の吸光係数が乗算される定数である。たとえば、ヘマトキシリンの「所望の」ｒｇｂ色はｒｇｂ（１０２、１０２、２５５）であってもよい。したがって、ヘマトキシリンに関するｃｒパラメータ、ｃｇパラメータ、およびｃｂパラメータは、ｃｒ＝１０２、ｃｇ＝１０２、およびｃｂ＝２５５である。その場合、「シミュレートされた明視野像」の結果的に得られるＲｐｘＢＦ値、ＲｐｘＢＦ値、およびＲｐｘＢＦ値を、それらの値の比例値を維持しながら０から２５５の間の値に正規化することができる。代替として、パラメータｃｒ、ｃｇ、ｃｂは、それらのパラメータの比例値を維持しながら０から２５５の間の値に正規化される。代替として、パラメータｃｒ、ｃｇ、ｃｂは、出力色値（ＲｐｘＢＦ、ＲｐｘＢＦ、およびＲｐｘＢＦ）がそれぞれ０〜２５５の範囲内であるようなパラメータである。
【００６７】
実施形態によれば、１つまたは複数のバイオマーカーは、サイトケラチンタンパク質、ＦＡＰ、アクチン、マイクロチューブリンなどを含む群から選択される細胞質タンパク質である。
【００６８】
実施形態によれば、生体物質を一般的に染色する第１の染料は、抗体に結合される蛍光染料であり、その場合、抗体は、組織サンプル中のあらゆる細胞のうちで少なくとも細胞質基質において分散したタンパク質に結合する。抗体は、調査対象の組織の細胞、具体的には細胞質基質、たとえば哺乳類細胞中のチューブリン、マイクロチューブリン、またはアクチンにおいて構成的に発現されるタンパク質に結合する抗体であってもよい。たとえば、Ｆ−アクチンは、網状構造を形成し、一般に細胞の細胞質の大部分にわたるタンパク質である。したがって、任意の種類のタンパク質に一般的に結合するかまたは豊富に利用できる特定の細胞質タンパク質に結合する抗体に結合される任意の蛍光染料が第１の染料として使用される。
【００６９】
前記抗体（または生体物質、特に細胞質タンパク質に一般的に結合する他の分子）に結合される蛍光染料は、たとえば、フルオレセインおよびその誘導体、たとえば、イソチオシナネート（ＦＩＴＣ）、ローダミンおよびその誘導体、たとえば、テトラメチルローダミン−５−（および６）−イソチオシアネート（ＴＲＩＴＣ）、シアニン（たとえば、Ｃｙ２、Ｃｙ３、Ｃｙ５、およびＣｙ７）を含む蛍光染料の群から選択することができる。
【００７０】
代替として、第１の染料は、たとえば、過ヨウ素酸（細胞細胞質染料および強力酸化剤）、ＢＣＥＣＦ／ＡＭ、アストラブルー（植物組織中のセルロースなどのオリゴ糖および多糖類用の染料）、ファーストグリーンＦＣＦ（ＩＥＦ＆ＳＤＳ−ＰＡＧＥにおいて使用される広く利用されている組織およびタンパク質染料、近ＩＲによって蛍光を発する）、ファロイジン−テトラメチルローダミン複合体（フィラメント状アクチンを特定するために使用することができる蛍光ファロトキシン）、フルオレセイン５（６）−イソシイオシアネート（タンパク質用の蛍光標識試薬）、またはエオジンのように、塩基性分子に結合し、したがって、同様の染色パターンを有する任意の蛍光染料を含む群から選択される蛍光染料である。
【００７１】
さらに、非抗体結合蛍光染料を使用して、特定の細胞内コンパートメント、たとえば、核領域を染色することも可能である。たとえば、ＤＡＰＩ（アデニンおよびチミンリッチＤＮＡに優先的に結合する細胞透過性ＤＮＡ結合染料）を使用して核領域を染色することができる。蛍光ＤＡＰＩ信号を表す白黒画像をたとえば、ヘマトキシリンの色を自然に再現する色を有する画像に変換することができ、それによって、ＤＡＰＩ蛍光画像から「人工」ヘマトキシリン画像が生成される。
【００７２】
実施形態によれば、この方法は、１つもしくは複数の第２の蛍光染料ならびに場合によっては１つもしくは複数の第１の蛍光染料および／または第３の蛍光染料によって組織サンプルを染色することと、蛍光画像取得システムによって組織サンプルのデジタル蛍光画像を取得することとをさらに含む。実施形態に応じて、染色は、手作業によって行われてもよく、半自動的に行われてもよく、または自動的に行われてもよい。優先事項として、染色プロトコールデータ（それぞれのバイオマーカーおよび／または使用された生体物質または核領域の一般的な存在を検出するために使用された蛍光染料の種類、温度、ｐＨ値、持続時間などの染色条件）が、染色プロトコールを適用した際に染色されたサンプルのサンプル識別子に関連付けて記憶媒体に記憶される。デジタル画像は、たとえば蛍光顕微鏡または蛍光スライドスキャナによって取得することができる。
【００７３】
さらなる態様では、本発明は、組織サンプルのデジタル白黒蛍光画像からシミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像を生成するための画像処理システムに関する。組織サンプルは、１つまたは複数の染色されたバイオマーカーを含む。染色されたバイオマーカーの各々は、それぞれの蛍光染料によって染色される。画像処理システムは、
−  組織サンプルの蛍光画像のうちの第１の蛍光画像を受け取ることであって、第１の画像の画素強度が生体物質の存在を一般的に示す、第１の蛍光画像を受け取ること、
−  第１の画像を第１の色を有する変換後の第１の画像に変換すること、
−  染色されたバイオマーカーごとに、組織サンプルの蛍光画像のうちのそれぞれの第２の画像を受け取ることであって、各々の第２の画像の画素強度が、前記バイオマーカーを選択的に染色する蛍光染料によって放出される蛍光信号を選択的に示す、第２の画像を受け取ること、
−  第２の画像の各々をそれぞれの第２の色を有するそれぞれの変換後の第２の画像に変換すること、
−  変換後の第１の画像と１つまたは複数の第２の画像を重ね合わせて組み合わせること、
−  組み合わされた画像をシミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像として記憶媒体に記憶すること、ならびに／あるいは
−  組み合わされた画像をシミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像としてディスプレイデバイス上に表示することを行うように設定される。
【００７４】
さらなる態様では、本発明は、プロセッサによって実行されたときに、プロセッサに上記の実施形態のうちのいずれかに応じた方法を実行させる命令を含むコンピュータ可読媒体に関する。
【００７５】
本明細書で使用される「スペクトルアンミキシング」または「カラーデコンボリューション」という用語は、混合された画素の測定されたスペクトルが、成分スペクトルの集合、および画素内に存在する各成分スペクトルの割合を示す対応する分数の組に分解される手順である。成分スペクトルは通常、特定の蛍光染料およびそれらの発光スペクトルに対応する。
【００７６】
本明細書で使用される「画像処理システム」は、デジタル画像を処理するように設定された１つまたは複数のプロセッサを備える電子装置である。
【００７７】
免疫組織化学（「ＩＨＣ」）は、抗体が生体組織中の抗原に特異的に結合する原則を活用することによって組織切片の細胞中の抗原（たとえば、タンパク質）を検出するプロセスを指す。ＩＨＣは、（免疫細胞化学と比較して）この手順において使用される抗体に関する語根「ｉｍｍｕｎｏ（免疫）」、および組織を意味する「ｈｉｓｔｏ」から名前を取ったものである。免疫組織化学染色は、癌性腫瘍において見られるような異常細胞の診断において広く使用されている。特定の分子マーカーは、増殖または細胞死（アポトーシス）などの特定の細胞的事象の特徴を示す。免疫組織化学はまた、生体組織の様々な部分におけるバイオマーカーおよび特異的に発現されるタンパク質の分布およびローカリゼーションを理解するための基本研究において広く使用されている。抗体−抗原相互作用を視覚化することはいくつかの方法で実現することができる。たとえば、抗体は、フルオレセインまたはローダミンなどのフルオロフォアにタグ付けすることができる。本明細書で使用される「ＩＨＣ」画像は、免疫組織化学的に染色された組織サンプルを示すデジタル画像である。
【００７８】
ｉｎ  ｓｉｔｕハイブリダイザーション（「ＩＳＨ」）は、標識された相補的ＤＮＡ、ＲＮＡ、または修飾核酸鎖（すなわち、プローブ）を使用して組織（ｉｎ  ｓｉｔｕ）の一部または切片における特定のＤＮＡ配列またはＲＮＡ配列の位置を特定し、または組織が十分に小さい場合（たとえば、植物の種子、ショウジョウバエ胚）には、組織全体（マウントＩＳＨ全体）、細胞、および血中循環腫瘍細胞（ＣＴＣ）における特定のＤＮＡ配列またはＲＮＡ配列の位置を特定する種類のハイブリダイゼーションである。免疫組織化学では通常、組織切片中のタンパク質の位置を特定するが、ｉｎ  ｓｉｔｕハイブリダイゼーションは一般に組織切片中の核酸の位置を特定する。本明細書で使用される「ＩＳＨ」画像は、ｉｎ  ｓｉｔｕハイブリダイゼーション染色組織サンプルを示すデジタル画像である。
【００７９】
本明細書で使用される「明視野ＩＨＣ画像またはＩＳＨ画像」は、明視野像染料によって染色されたＩＨＣサンプルまたはＩＳＨサンプルを示す、明視野顕微鏡法によって生成された視覚的出力であるデジタル画像である。
【００８０】
本明細書で使用される「染料」（“ｓｔａｉｎ”  ｏｒ  “ｄｙｅ”）は、特徴的な光吸収スペクトル（明視野イメージング染料）および／または蛍光発光スペクトル（蛍光染料）を有し、様々な手段によって生体物質に結合することができる物質である。結合は、染料および生体物質の物理化学的特性に基づいても（たとえば、染料がＤＮＡのような酸性分子に選択的に結合する）、特定のタンパク質、核酸、またはその他の生体物質に結合する抗体に染料を結合することに基づいても、タンパク質を一般的に修飾して（たとえば、緑色蛍光タンパク質の形態の）染料を前記一般的に修飾されたタンパク質に結合すること、または任意の他の方法で染料を生体物質に結合することに基づいてもよい。
【００８１】
明視野顕微鏡法は、すべての光学顕微鏡法照明技法のうちで最も単純な技法である。サンプル照明は透過され（すなわち、下から照明され上から観察される）、白色光およびサンプルにおけるコントラストは、サンプルの密度が高い領域において透過光の一部が吸収されることによって生じる。明視野顕微鏡法は、光顕微鏡においてサンプルの照明に広く使用されており、単純であるがゆえに普及している。明視野顕微鏡法画像の典型的な外観は、明るいバックグラウンド上に暗い色のサンプル、したがって、名前通りの外観を有する。明視野イメージングにおいて、エオジン、ヘマトキシリン、ギムザ、クマシーブルーなどの１組の公知の染色物質は、生体物質の物理化学特性、たとえば、ＤＮＡの酸性度またはタンパク質中の塩基性基の存在に依存する公知の結合特性を有することが知られている。
【００８２】
本明細書で使用される「シミュレートされた明視野像」は、特定の画素によって表される生体物質または生体構造（たとえば、任意の種類のタンパク質、細胞核、または特定のバイオマーカー）に応じて前記画素に既定の色を割り当てる画像処理動作によって生成されるデジタル画像である。したがって、染料が一般に、その物理化学的特性を介して既定の生体構造、たとえば、酸性または塩基性の組織成分または細胞成分にリンクされるという明視野像の特性が「シミュレートされる」。場合によっては、本明細書で使用されるシミュレートされた明視野像は、典型的な明視野像のさらなる特性を有し、たとえば、黒色の（非組織）バックグラウンドに代わる明るい（非組織）バックグラウンド、および／または前記明視野像染料によって染色される生体構造と同じ種類の生体構造において、エオジン、ヘマトキシリンおよびエオジンなどの明視野像において使用される公知の染料の色を自然に再現する色を有する。画像は、「シミュレートされ」、すなわち、実際には、蛍光画像取込みデバイスによって取り込まれた白黒画像の組から算出される。
【００８３】
以下では、本発明の実施形態について、一例としてのみ、図面を参照しながら詳しく説明する。
【図面の簡単な説明】
【００８４】
【図１】カラーデコンボリューションを介してマルチスペクトル画像から複数の白黒画像を取得することを示す図である。
【図２】サンプルの複数の白黒画像を取得する代替方法を示す図である。
【図３】画像処理パイプラインのブロック図である。
【図４】複数の異なるバイオマーカーがそれぞれに異なる色の蛍光染料によって染色された蛍光画像を示す図である。
【図５】蛍光画像の、シミュレートされた明視野像への変換を示す図である。
【図６】画像処理システムのブロック図である。
【図７】画像処理方法のフローチャートである。
【図８】シミュレートされた明視野像を生成するための複数の変換後の蛍光画像の組合せを概略的に示す図である。
【発明を実施するための形態】
【００８５】
図１は、カラーデコンボリューションを介したマルチスペクトル画像からの複数の白黒画像の取得を示す。
【００８６】
第１の組織サンプルが用意される。たとえば、多数の癌種、たとえば、大腸癌の診断の一部として、１つまたは複数の生検サンプルが得られる。生検サンプルは、１つまたは複数の薄い組織層１０２にスライスされる。層１０２は、特定のバイオマーカー、細胞、および／または細胞小器官を選択的に染色する１つまたは複数の蛍光染料によって染色されてもよく、１つの層１０２におけるマルチスペクトル画像１０４が得られ、腫瘍を分類するのを可能にする場合があり、ならびに／あるいは臨床結果を予想することおよび／または治療推薦情報を生成することを可能にする場合がある意味のある生体医学的特徴が取り込まれる。画像取得システム、たとえば、スライドスキャナまたは顕微鏡は、複数の異なる蛍光染料のスペクトル情報を含む場合があり、スライド上の組織層１０２の自家蛍光信号を含む場合があるマルチスペクトル画像１１４を取得することがある。マルチスペクトル画像１０４は、スライド画像全体であることがあり、したがって、非常に大きい場合がある。スペクトルアンミキシング手順を適用することによって、複数のデジタル画像１０６．１−１０６．４が作成される。したがって、組織サンプル１００の同じ層１０２の白黒蛍光デジタル画像１０６．１〜１０６．４の組１１２が作成される。組１１２における画像のうちの少なくともいくつかは、それぞれのバイオマーカー固有の蛍光染料によって選択的に生成される強度信号に対応する場合があり、したがって、特定の生体医学的特徴、たとえば、特定のバイオマーカーの存在および分布に対応する場合がある。前記白黒蛍光画像のうちの少なくとも１つは、組織の自家蛍光信号を選択的に示す画像である。代替として、他の１つの白黒画像（「第１の画像」）（図示せず）は、細胞質バイオマーカーおよび核バイオマーカーおよび／または膜バイオマーカーを示す複数の白黒蛍光画像を重ね合わせて組み合わせることにより計算によって生成される。画像１０６．１〜１０６．４の各々は、白黒蛍光画像１０６．１−１０６．４の変換バージョンからシミュレートされた「仮想」明視野像を生成するように、たとえば図６に示された画像処理システムによって処理され分析されてもよい。
【００８７】
画像取得システム３０２は、マルチスペクトル画像１０４を画像処理システム３０６に供給してもよく、画像処理システム３０６は、カラーデコンボリューションを実行して第１および第２の白黒蛍光画像を生成し、また、画像変換動作および画像組合せ動作を実行してシミュレートされた明視野像を生成する。代替として、カラーデコンボリューションは画像取得システム３０４によってあらかじめ実行されてもよく、カラーデコンボリューション動作によって出力されるときに生成される生成された白黒蛍光画像は、画像処理システム３０６からアクセスできる記憶媒体に記憶される。
【００８８】
図２は、組織サンプルの複数の白黒蛍光画像を取得する代替方法を示す。
【００８９】
この場合も、組織サンプル、たとえば腫瘍、または免疫蛍光画像分析によって検出することができる別の病気を有することが疑われる患者の組織サンプルが用意される。
【００９０】
この生検サンプルは、複数の薄い隣接する組織層１０２、１０８、１１０にスライスされる。各組織層１０２、１０８、１１０は、特定のバイオマーカー、細胞、および／または細胞小器官を選択的に染色するか、またはスライド上に含まれる任意の生体物質を非特異的に染色する蛍光染料によって染色される。各組織層は、異なる染色プロトコールによって染色されてもよく、それぞれのスライド上に移されてもよい。各層および対応する染料について、対応する白黒蛍光画像１０６．５−１０６．７が得られ、腫瘍を分類するのを可能にする場合があり、ならびに／あるいは臨床結果を予想することおよび／または治療推薦情報を生成することを可能にする場合がある意味のある生体医学的特徴が取り込まれる。画像取得システム、たとえばスライドスキャナまたは顕微鏡は、染色された互いに隣接する組織スライス１０２、１０８、１１０によって放出された蛍光信号を順次または並行して取り込み、それぞれの白黒蛍光画像を取得する。各画像１０６．５−１０６．７は、特定の蛍光染料のスペクトル情報を含んでもよく、スライド上の任意の組織または生体構造の自家蛍光信号を含んでもよい。図１に示されている例に関しては、画像は、スライド画像全体である場合があり、したがって、非常に大きくなることが多い。
【００９１】
組織スライスは薄く（一般に３００μｍよりも薄い）、たとえば、約２００μｍ以下であるので、様々なスライスから得られた画像を重ね合わせても、様々な層に関して得られた画像を組み合わせ重ね合わせて、組み合わされシミュレートされた明視野像を生成することが可能であり、この画像は、病理医によって解釈することのできる生物学的な意味のあるグラフィック情報を含む。
【００９２】
さらに他の実施形態（図示せず）によれば、複数の蛍光フィルタを使用することによって組織サンプルの複数の蛍光白黒画像が生成される。たとえば、特定の組織スライス１０２は複数の異なる蛍光染料によって染色され、各染料は、異なる色を有し、異なるバイオマーカー、たとえば、複数の異なる細胞質タンパク質、核タンパク質、および／または膜タンパク質に結合する。それぞれの蛍光染料による蛍光信号の放出を励起させるために光源が使用されてもよい。
【００９３】
いくつかの例では、広域スペクトル光源が使用される。この場合、発光スペクトルが重なり合う複数の蛍光染料が励起され、様々な蛍光染料によって放出される蛍光信号が混合される可能性がある。これによって、様々なバイオマーカーに対応する信号の判別を試みるときに問題が生じることがある。いくつかの実施形態によれば、特定の蛍光染料の特徴を示し、したがって、前記蛍光染料によって染色された生体構造の特徴を示す特定のスペクトル範囲内の蛍光信号を選択的に受け取るために蛍光フィルタが使用される。使用される蛍光染料ごとにそれぞれの蛍光フィルタを使用する（各蛍光染料の蛍光発光スペクトルは既知である）ことによって、蛍光染料のうちの特定の１つに対応する蛍光信号強度を選択的に有する白黒蛍光画像が取得される。
【００９４】
図３は、画像処理パイプラインのブロック図である。自動化組織染色システムまたは研究所職員がある染色プロトコールを適用し、１つまたは複数の組織サンプル３０２、１００、またはその一部１０２、１０８、１１０を１つまたは複数の蛍光染料によって染色してもよい。染色されたサンプルはそれぞれの組織スライドに移され、スライドは、画像取得装置３０４、たとえば、蛍光スライド走査デバイスまたは蛍光顕微鏡などに導入される。
【００９５】
画像取得装置３０４はマルチスペクトル画像１０４を取得し、マルチスペクトル画像１０４は、図１に関して説明したように、スペクトルアンミキシング手順によって複数の白黒蛍光画像２０２、１０６．１−１０６．４に変換される。代替として、画像取得装置３０４からマルチスペクトル画像１０４を受け取る画像処理システム３０６によってカラーデコンボリューションを実行することができる。
【００９６】
代替として、画像取得装置３０４は、それぞれ図２の図の説明において説明したように組織サンプルとして働く複数の隣接する組織スライスから複数の白黒蛍光画像２０２、１０６．５−１０６．７を直接取得する。さらなる代替実施形態によれば、画像取得装置３０４は、複数の異なる蛍光フィルタを適用することによって複数の白黒蛍光画像２０２、１０６．５−１０６．７を取得する。
【００９７】
上述の手法のいずれかに従って複数の白黒蛍光画像を取得した後、かつ前記画像が画像処理システム３０６によって受け取られならびに／あるいは生成された後、画像処理システム３０６は、白黒蛍光画像のサブセットを変換して組み合わせることを開始し、本明細書において本発明の実施形態に関して説明するようにシミュレートされた明視野像２０４を生成する。図６に示されている画像処理システム３０６の構成要素の例示的でより詳細な説明。生成されたシミュレートされた明視野像２０４は、不揮発性記憶媒体に記憶され、および／または、ディスプレイデバイス３０８上で病理医に表示される。
【００９８】
図４は、重ね合わせられた複数の蛍光画像２０２を示し、複数の異なるバイオマーカーがそれぞれに異なる色の蛍光染料によって染色されている。蛍光画像の非組織バックグラウンド領域は黒色を有する。様々な蛍光染料の数および分布は複雑である。病理医は、染色プロトコールを慎重に手動で検査し、どんな蛍光色がどんな種類のバイオマーカーに対応するかを判定することが必要になる場合がある。
【００９９】
図５は、蛍光画像の、シミュレートされた明視野像２０４への変換を示す。より詳細には、シミュレートされた明視野像は、それぞれの蛍光画像上に変換ステップが適用された結果として、核がヘマトキシリン−ブルーによって色付けされ、細胞質タンパク質がエオジン−ピンク色によって染色されたＨ＆Ｅ染色組織切片をシミュレートする。蛍光画像２０２の黒色画像バックグラウンドは、変換後の（「色付けされた」）蛍光画像の画素強度を反転させることによって明視野像に典型的な白いバックグラウンドに変換される。
【０１００】
図６は、画像処理システム３０６のブロック図である。このシステムは、メインメモリ４１６と、１つまたは複数のプロセッサ４０２と、不揮発性記憶媒体４０４および／または画像取得システム３０４からマルチスペクトル画像および／または白黒蛍光画像を受け取るためのインターフェース４１８とを備える。たとえば、インターフェース４１８は、ネットワークインターフェースであってもよく、画像取得システム３０４は、ネットワーク、たとえばインターネットを介して画像処理システム３０６に接続されてもよい。本明細書で使用される「不揮発性記憶媒体」は、パワーサイクルを受け（オフにされ、オンに戻された）後でも記憶された情報を取り出すことができる種類のメモリである。不揮発性記憶媒体の例には、読取り専用メモリ、フラッシュメモリ、強誘電ＲＡＭ（Ｆ−ＲＡＭ）、大部分の種類の磁気コンピュータ記憶デバイス（たとえば、ハードディスクドライブ、フロッピーディスク、および磁気テープ）、および光学ディスクが含まれる。
【０１０１】
画像処理システム３０６は、ディスプレイデバイス３０８、たとえば、ＬＣＤディスプレイ、双安定ディスプレイ、または任意の他の形態の電子ディスプレイシステムに動作可能に結合される。画像処理システムの不揮発性記憶媒体４０４は、複数のデジタル命令を含んでもよく、これらの命令は、プロセッサ４０２によって解釈し実行することができ、本明細書で説明する本発明の実施形態によるシミュレートされた明視野像を生成するための画像処理方法を実施する。これらの命令は、複数の（第１、第２、および場合によっては第３の）各白黒蛍光画像を特定の色のそれぞれの変換後の画像に変換するための第１の命令４０６を含んでもよい。変換後の画像の色は、蛍光染料が結合した生体構造に依存する。生体構造は、特定のバイオマーカー、たとえば、細胞質、核、または細胞膜内に位置する特定のタンパク質であってもよい。
【０１０２】
第１の画像の変換に関して、染色された生体構造は、一般的に結合する（たとえば、非特異的に結合する）蛍光染料によって染色されるかまたは複数の異なる蛍光染料によって染色された生体物質の全体であってもよく、この場合、複数の異なる蛍光染料は、シミュレートされた第１の蛍光白黒画像を生成するように後で組み合わされるそれぞれに異なる生体構造を対象とする。代替として、「染色された生体構造」は、実際には自家蛍光信号を放出することができるスライド上の生体物質の全体であってもよい。
【０１０３】
存在が白黒蛍光画像２０２のうちのいずれかに画素強度によって示される生体構造を、前記白黒蛍光画像が変換される画像の色への割り当ては、記憶媒体４０４内の設定データ構造に記憶される。
【０１０４】
たとえば、特定のバイオマーカーＢ１は、特定のＲＧＢ値ＲＧＢ１を特徴とする第２の色Ｃ１に割り当てられてもよい。別のバイオマーカーＢ２は、別の特定のＲＧＢ値ＲＧＢ２を特徴とする別の第２の色Ｃ２に割り当てられてもよい。さらに別のバイオマーカーＢ３は、特定のＲＧＢ値ＲＧＢ３を特徴とするさらに別の第２の色Ｃ３に割り当てられてもよい。前記割当ておよび明視野像顕微鏡法染料の典型的なＲＧＢ値は、設定データ構造４１４に記憶される。したがって、設定データ構造は、明視野像顕微鏡法において広く使用されているＤＡＢ、ヘマトキシリン、および／またはエオジンなどの複数の異なる染料の典型的なＲＧＢ値を示してもよい。記憶媒体は、特定のバイオマーカーを染色するために使用される蛍光染料の種類を示す染色プロトコールデータ４１２をさらに含んでもよい。染色プロトコールデータが、第１の画像を生成するために使用された汎用蛍光染料がないことを示す場合、画像処理システム３０６は、すべての利用可能な、バイオマーカー固有の第２の蛍光画像を重ね合わせて組み合わせることによって第１の画像を自動的に算出してもよく、あるいは自家蛍光信号を含む画像を、明視野像顕微鏡法において組織バックグラウンド染色に一般に使用される色、たとえば、エオジンのピンク色を有する変換後の第１の画像に自動的に変換してもよい。
【０１０５】
命令は、画像分析システムが画像取得システムからインターフェース４１８を介してマルチスペクトル蛍光画像を受け取るように設定されている場合にカラーデコンボリューション動作を実行するためのさらなる命令４０８を含んでもよい。具体的には、命令４０８は、調査対象の組織（たとえば、肝臓組織、肺組織、筋肉組織）の種類に典型的な自家蛍光基準プロファイルを得て、その自家蛍光基準プロファイルを使用してマルチスペクトル画像のカラーデコンボリューションを実行し、組織スライド上の生体物質の存在を一般的に示しかつ第１の画像として使用される自家蛍光画像を抽出するためのルーチンを含んでよい。
【０１０６】
命令は、バイオマーカー固有の、２つ以上の第２の白黒蛍光画像１０６．１−１０６．７を組み合わせることによって組織スライド上の生体物質の存在を一般的に示す第１の白黒画像を算出するための命令をさらに含む。
【０１０７】
図７は、画像処理方法のフローチャートである。たとえば、この方法は、たとえば、図６に示されておりかつ図６において説明する画像処理システムの記憶媒体４０４に記憶された電子命令の形で実施されてもよい。
【０１０８】
第１のステップ７０２において、画像処理システム３０６は、生体サンプル１００を含むスライド上の生体物質１０２、１０８、１１０の存在を一般的に示す第１の蛍光画像を受け取る。たとえば、第１のデジタル画像は、プロセッサ４０２が命令４０８を実行する生体サンプルによって放出された自家蛍光信号を抽出することによって実行されるカラーデコンボリューション動作によって形成されてもよい。代替として、第１のデジタル画像は、本明細書では「第２の画像」と呼ばれる、バイオマーカー固有の複数の特定の白黒蛍光画像を組み合わせることによって生成されてもよい。第１のデジタル画像の生成は命令４１０によって実施されてもよい。
【０１０９】
第２のステップ７０４では、画像分析システムは、命令４０６を実行することによって、第１の画像を変換後の第１の画像に変換する。変換後の第１の画像は、設定データ構造４１４において規定された第１の色を有する。第１の色は優先事項として、明視野像顕微鏡法において広く使用されている汎用組織染料の色である。そのような第１の色の例は、エオジンの赤みを帯びた／ピンク色である。
【０１１０】
それぞれの蛍光染料によって染色プロトコールを実行する間に１つまたは複数のバイオマーカーの各々が染色されるように、ステップ７０６および７０８が実行される。ステップ７０６において、画素強度がそのバイオマーカーの存在を選択的に示す蛍光白黒画像が、画像分析システム３０６によって受け取られる。その画像は、本明細書では「第２の画像」とも呼ばれる。各々の第２の画像は、たとえば、画像を記憶媒体４０４から読み取るかまたは画像取得システムからインターフェース４１８を介して受け取ることによって取り出すことができる。ステップ７０８において、たとえば、命令４０６を実行することによって、各々の第２の画像がそれぞれの変換後の第２の画像に変換される。各々の変換後の第２の画像は、他のあらゆる変換された第２の画像の第２の色とは異なる特定の第２の色を有する。第２の変換後の画像を生成するために使用される第２の色は、設定データ構造４１４に規定される。優先事項として、画像処理システム３０６は、病理医が特定の第２の色を特定のバイオマーカーに割り当てるのを可能にするグラフィカルユーザインターフェースを実装する。病理医は、様々な患者におけるそれぞれに異なる組織サンプルに対して同じ設定を使用してシミュレートされた明視野像を生成することによって、特定のバイオマーカー、たとえばＦＡＰのような特定のタンパク質が、ＦＡＰタンパク質を染色するのに使用される蛍光染料の色とは無関係に、同じ第２の色、たとえば、茶色、ＤＡＢのような色によって常に色付けられるようにしてもよい。このことは、特定のバイオマーカーをそれぞれに異なる染色キットを有する様々な研究所によって染色することができるので有利である。染色され色を再現するバイオマーカーに第２の色が依存する変換後の第２の画像を生成することによって、明視野像顕微鏡法においてある程度の経験を有する病理医は、すでに慣れ親しんでおり、病理医の生産性を向上させることができ、診断エラーを回避することができる。
【０１１１】
追加の画像処理ステップ（図示せず）では、第１、第２、および第３の変換後の画像の各々の輝度が反転される。それによって、蛍光信号のない画像領域は、明視野像に典型的な高画素強度値によって表される。
【０１１２】
ステップ７１０において、第１の変換後の画像と第２の変換後の画像が重ね合わせられ組み合わされて、シミュレートされた明視野像２０４が生成される。「重ね合わせ」ステップは、互いに異なる第１の変換後の画像と第２の変換後の画像を共通の座標系において互いにマップすることを意味する。第１の変換後の画像と第２の変換後の画像の重ね合わせを作成することは、優先事項として、第１の画像が最低レベル画像として使用され、すべての変換後の第２の画像が第１の画像に重畳されるように行われる。これは、変換後の第１の画像が、生体物質が存在することを示し、かつこの画像が、スライド上の組織領域を非組織領域から判別することおよび／または細胞内領域を細胞外領域から判別することのために使用されるからである。画像処理システムが、任意の種類の細胞の核領域を示す変換後の第３の画像（典型的な例によれば、ヘマトキシリンブルー−色画像に変換される）をさらに生成している場合、前記その第３の画像は、第１の画像の上で、かつバイオマーカー固有の第２の変換後の各画像の下に配置される。重ね合わされた第１、第２、および第３の変換後の画像の完全なスタックは、組み合わされシミュレートされた明視野像と呼ばれる。いくつかの実施形態によれば、グラフィックユーザインターフェースが生成されて病理医に提示され、病理医が、変換後の第１、第２、および／または第３の画像のサブセットを選択し、重ね合わせ組み合わせて、シミュレートされた明視野像を生成するのを可能にする。このことは、シミュレートされた明視野像に含まれる視覚的情報の複雑さが低下されるので有利である場合がある。病理医は、すべての染色されたバイオマーカーの信号を一度に見ることを望まない場合、その時点で無関係と見なされるバイオマーカーを単に除外してもよい。たとえば、ＧＵＩは、第１、第２、および／または第３の変換後の画像の各々に関するチェックボックスを含む場合があり、チェックボックス項目が病理医によって選択された変換後の画像のみが重ね合わせられ組み合わされて、シミュレートされた明視野像２０４が生成される。
【０１１３】
ステップ７１２において、画像処理システム３０６は、組み合わされた第１、第２、および／または第３の変換後の画像の組をシミュレートされた明視野像として記憶媒体４０４に記憶する。たとえば、画像は、ＪＰＥＧまたは任意の他の既知の画像フォーマットとして記憶することができる。さらに、または代替として、画像処理システム３０６は、画像処理システムに結合されたディスプレイデバイス３０８上にシミュレートされた明視野像２０４を表示する。
【０１１４】
図８は、シミュレートされた明視野像を生成するための変換後の複数の蛍光画像の組合せを概略的に示す。ガラス組織スライド６００は、組織細胞によって覆われていない領域６０２を備え、様々な種類の細胞によって覆われた他の領域６０４、６０６を備える。たとえば、右側に示された細胞の群６０４は、間質細胞からなってもよく、右側に示された細胞の第２の群６０６は、腫瘍細胞からなってもよい。細胞の各々は、核領域６１０と、細胞質領域６０８と、細胞膜６１２とからなる。
【０１１５】
明視野像顕微鏡法において使用される典型的なＨ＆Ｅ染色組織スライドにおいて、図８ａに示されている領域は以下の色を有する。細胞に覆われていない領域６０２は一般に、非常に明るい（かつＲＧＢ値が約２５５である場合がある）。エオジンがほぼあらゆる種類の細胞の細胞質基質に存在する塩基性タンパク質に結合するので、組織スライド上に含まれるほぼすべての細胞がエオジンによってピンク色に染色されている。さらに、ヘマトキシリンが核中の酸性ＤＮＡに結合するので、組織スライド上に含まれるあらゆる細胞のほぼすべての核がヘマトキシリンによって青色に染色される。一般に、Ｈ＆Ｅ染色は、病理医が組織領域６０４、６０６を非組織領域６０２から判別するのを助け、組織切片中の核領域、細胞質領域、および細胞外領域を特定するために使用される。
【０１１６】
以下の図８ｂ〜図８ｄは、組織サンプルの明視野像を計算によって生成する（シミュレートする）には、バイオマーカー固有の複数の蛍光信号と自家蛍光信号の組合せをどのように使用するかを示す。
【０１１７】
図８ｂは、変換後の第１の白黒蛍光画像６１４と変換後の第２の白黒蛍光画像６１６を重ね合わせて組み合わせることによって生成されたシミュレートされた明視野像２０４．１を示す。変換後の第１の画像６１４は、カラーデコンボリューション動作を適用することによってマルチスペクトル画像から抽出された変換後の自家蛍光画像である。変換後の第１の画像は、細胞が正常な組織細胞（「間質細胞」）６０４であるかそれとも腫瘍細胞であるかにかかわらず、生体物質、たとえば組織のあらゆる細胞に含まれるタンパク質、核酸、脂肪酸の存在を一般的に示す高強度画素ブロブ６１４のクラスタを含む。変換後の第１の画像の色は、エオジンの色を自然に再現する。
【０１１８】
変換後の第２の画像６１６は、画素強度がヒストンタンパク質（すべての種類の哺乳類細胞において発現される核マーカー）を選択的に染色する蛍光染料を示す白黒蛍光画像を色付けすることによって算出されている。変換後の第２の画像は、細胞が正常な組織細胞（「間質細胞」）６０４であるかそれとも腫瘍細胞６０６であるかにかかわらず、核領域を一般的に示す高強度画素ブロブ６１６のクラスタを含む。変換後の第２の画像の色は、ヘマトキシリンの色を自然に再現する。
【０１１９】
第１および第２の画像６１４、６１６に対して強度反転を実行し、第１の画像と第２の画像を重ね合わせて組み合わせることによって、病理医が慣れ親しんだ「現実の」明視野像の色組成および分布を自然に再現する明視野像２０４．１がシミュレートされる。
【０１２０】
図８ｃは、上述の変換後の第１の白黒蛍光画像６１４と変換後のさらなる第２の白黒蛍光画像６１８を重ね合わせて組み合わせることによって生成されたシミュレートされた明視野像２０４．２を示す。変換後の第２の画像６１８は、画素強度がＫｉ６７タンパク質（増殖する細胞において選択的に発現される核マーカー）を選択的に染色する蛍光染料を示す白黒蛍光画像を色付けすることによって算出されている。Ｋｉ６７は、激しく増殖する腫瘍細胞を検出するための腫瘍マーカーとして広く使用されている。変換後の第２の画像は、腫瘍細胞６０６の核領域を選択的に示す高強度画素ブロブ６１８のクラスタを含む。変換後の第２の画像の色は、設定データ構造内に規定されてもよく、たとえば、緑であってもよい。
【０１２１】
第１の画像および第２の画像６１４、６１８に対して強度反転を実行し、第１の画像と第２の画像を重ね合わせて組み合わせることによって、エオジンおよび腫瘍固有の緑色染料によって染色された「現実の」明視野像の色組成および分布を自然に再現する明視野像２０４．２がシミュレートされる。
【０１２２】
図８ｄは、図８ｂに関して説明した変換後の第１の白黒蛍光画像６１４および変換後の第２の白黒蛍光画像６１６、図８ｃに関して説明した別の変換後の第２の画像６１８、ならびにさらに別の変換後の第２の画像６２０を重ね合わせて組み合わせることによって生成されたシミュレートされた明視野像２０４．３を示す。変換後の第２の画像６２０の画素強度は、免疫細胞マーカー、たとえばＣＤ３タンパク質を選択的に染色する蛍光染料を示す。ＣＤ３を検出すると、腫瘍の近傍の免疫細胞を検出することが可能になる場合がある。変換後の第２の画像６２０の色は、設定データ構造内に規定されてもよく、たとえば、ＤＡＢ−ブラウンであってもよい。
【０１２３】
第１および第２の画像６１４、６１６、６１８、６２０に対して強度反転を実行し、第１の画像と第２の画像を重ね合わせて組み合わせることによって、エオジン（画像６１４内の任意の種類のタンパク質の汎用染色）、ＤＡＢ（ＣＤ３＋免疫細胞を示す画像６２０）、ヘマトキシリン（ヒストンを含む核領域を示す画像６１６）、および緑色染料（Ｋｉ６７＋腫瘍細胞を示す画像６１８）によって染色された「現実の」明視野像の色組成および分布を自然に表す明視野像２０４．３がシミュレートされる。
【図１】
2019530847.tif 000006
【図２】
2019530847.tif 000007
【図３】
2019530847.tif 000008
【図４】
2019530847.tif 000009
【図５】
2019530847.tif 000010
【図６】
2019530847.tif 000011
【図７】
2019530847.tif 000012
【図８】
2019530847.tif 000013
【国際調査報告】
2019530847.tif 000014
2019530847.tif 000015