(57)【要約】  画像全体内の画像領域（「タイル」）の選定を自動化する方法は、同時生起行列及び画像全体の緑色面のエントロピを計算する段階と、行列に形態学的クロージングを適用する段階と、行列及びエントロピ画像を閾値処理して２値マスクを提供する段階とを含む。行列マスク及びエントロピマスクは、ビネットマスクと結合され、該結合は、タイルが無作為に選定される受け入れ可能な組織の領域を示す。癌グレーディングにおいては、画像データは、色相、彩度及び明度に変換され、ステロイド／タンパク質発現分析においては、画像データは、シアン色に変換されて、ソーベルのシアン色が計算される。特徴部尺度は、色及びテクスチャに基づいて各タイルに関して計算され、無作為に実行されるが、特徴部尺度によって影響を受ける。最後に、更なる選定により、高い特徴部尺度と低い重複とを組合わせたタイルが選定される。【選択図】図３
2009508200.tif 000002
【特許請求の範囲】
【請求項１】
画像全体(overall image)内の画像領域（「タイル」）の選定(selection)を自動化する方法であって、
ａ）前記画像全体の同時生起行列(co-occurrence matrix)及び前記画像全体のエントロピ画像のうちの少なくとも１つから、関心のある特性(a property of interest)を示す可能性が比較的高いか又は比較的低いかに基づいてタイル間の区別(distinguishing)を行なう計算画像(computed image)を生成する段階と、
ｂ）関心のある特性を示す可能性が比較的高い前記タイルの事前部分集合(prior subset)を選定する段階と、
ｃ）前記事前部分集合内のタイルに関して、色及びテクスチャの少なくとも１つに関連する特徴部尺度(a feature measure)を導き出す段階と、
ｄ）タイル特徴部尺度(tile feature measures)に少なくとも部分的に基づいて、前記事前部分集合からタイルの別の部分集合(a further subset)を選定する段階と、
を含む方法。
【請求項２】
前記タイルの事前部分集合から別の部分集合を選定する段階が、過度のタイル重複の回避を考慮する、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記計算画像を生成する段階が、同時生起行列と、エントロピ画像と、前記画像全体の内部領域に比べて低照度である外部領域を前記計算画像から除外するよう構成されたビネットマスク(vignette mask)との組合せを使用する、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記計算画像を生成する段階が、前記同時生起行列及び前記エントロピ画像を閾値処理してこれらを２進化する段階を含む、
ことを特徴とする請求項３に記載の方法。
【請求項５】
前記画像全体が、赤色、緑色及び青色（Ｒ、Ｇ、Ｂ）画像であり、前記計算画像を生成する段階が、前記画像全体の緑色面を使用して実施される、
ことを特徴とする請求項１に記載の方法。
【請求項６】
前記計算画像を生成する段階が、前記画像全体の同時生起行列を少なくとも使用し、関心のある画像特徴部を含むタイル領域（前景）及びこのような特徴部の無いタイル領域（背景）の両方の空間フィルタリングのために、前記計算画像に対して形態学的クロージング演算を適用する段階を含む、
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記事前部分集合を選定する段階が、無作為処理によって実施される、
ことを特徴とする請求項１に記載の方法。
【請求項８】
前記タイルの事前部分集合から別の部分集合を選定する段階が、無作為処理によって実施される、
ことを特徴とする請求項１に記載の方法。
【請求項９】
癌グレーディングにおいて、色相／彩度／明度の変換を画像データに適用する段階と、色相及び彩度の成分を閾値処理して「明ピンク色」、「暗ピンク色」及び「白色」の組織の領域を得る段階と、色及びテクスチャに基づいて各タイルについて特徴部尺度を計算する段階と、
を含む請求項１に記載の方法。
【請求項１０】
ステロイド／タンパク質発現分析において、画像データを変換してシアン色画像データを提供する段階と、該シアン色画像データの色及びテクスチャの尺度並びにこのようなデータのソーベルフィルタリング相当部に基づいて、各タイルについての特徴部尺度を計算する段階と、
を含む請求項１に記載の方法。
【請求項１１】
前記タイルの事前部分集合から別の部分集合を選定する前記段階が、特徴部尺度と、非選定相当部よりも大きな（符号は無視）タイル重複との間の差異を示すタイルを選定することによって実施される、
ことを特徴とする請求項１に記載の方法。
【請求項１２】
画像全体内のタイルの自動化選定のための装置であって、
ａ）前記画像全体の同時生起行列及び前記画像全体のエントロピ画像のうちの少なくとも１つから、関心のある特性を示す可能性が比較的高いか又は比較的低いかに基づいてタイル間の区別を行なう計算画像を生成する手段と、
ｂ）関心のある前記特性を示す可能性が比較的高いタイルの事前部分集合を選定する手段と、
ｃ）前記事前部分集合内のタイルに関して色及びテクスチャの少なくとも１つに関連する特徴部尺度を導き出す手段と、
ｄ）タイル特徴部尺度に少なくとも部分的に基づいて、前記事前部分集合からタイルの別の部分集合を選定する手段と、
を含む装置。
【請求項１３】
前記タイルの事前部分集合から別の部分集合を選定する手段が、過度のタイル重複を回避するように構成されている、
ことを特徴とする請求項１２に記載の装置。
【請求項１４】
前記計算画像を生成する手段が、同時生起行列と、エントロピ画像と、前記画像全体の内部領域に比べて低照度である外部領域を前記計算画像から除外するよう構成されたビネットマスクとの組合せを使用する、
ことを特徴とする請求項１２に記載の装置。
【請求項１５】
前記計算画像を生成する前記手段が、前記同時生起行列及び前記エントロピ画像を閾値処理してこれらを２進化することを実装する、
ことを特徴とする請求項１４に記載の装置。
【請求項１６】
前記画像全体が、赤色、緑色及び青色（Ｒ、Ｇ、Ｂ）の画像であり、前記計算画像を生成する手段が、前記画像全体の緑色面から前記計算画像を導き出す、
ことを特徴とする請求項１２に記載の装置。
【請求項１７】
前記計算画像を生成する手段が、前記画像全体の同時生起行列を少なくとも使用し、関心のある画像特徴部を含むタイル領域（前景）及びこのような特徴部の無いタイル領域（背景）の両方の空間フィルタリングのために、前記計算画像に対して形態学的クロージング演算を適用する、
ことを特徴とする請求項１２に記載の装置。
【請求項１８】
前記事前部分集合を選定する手段が、無作為選定処理を使用する、
ことを特徴とする請求項１２に記載の装置。
【請求項１９】
前記タイルの事前部分集合から別の部分集合を選定する手段が、無作為選定処理を使用する、
ことを特徴とする請求項１２に記載の装置。
【請求項２０】
癌グレーディングにおいて、色相／彩度／明度の変換を画像データに適用する手段と、色相及び彩度の成分を閾値処理して「明ピンク色」、「暗ピンク色」及び「白色」の組織の領域を得る手段と、色及びテクスチャに基づいて各タイルについて特徴部尺度を計算する手段とを含む、
ことを特徴とする請求項１２に記載の装置。
【請求項２１】
ステロイド／タンパク質発現分析において、画像データを変換してシアン色画像データを提供する手段と、該シアン色画像データの色及びテクスチャの尺度並びにこのようなデータのソーベルフィルタリング相当部に基づいて、各タイルについての特徴部尺度を計算する手段と、
を含む請求項１２に記載の装置。
【請求項２２】
特徴部尺度と、非選定相当部よりも大きな（符号を無視）タイル重複との間の差異を示すタイルを選定することによって、前記タイルの事前部分集合から別の部分集合を選定する手段を含む、
ことを特徴とする請求項１２に記載の装置。
【請求項２３】
画像全体内のタイルの選定を自動化するのに使用するコンピュータソフトウェアであって、前記ソフトウェアが、
ａ）前記画像全体の同時生起行列及び前記画像全体のエントロピ画像のうちの少なくとも１つから、関心のある特性を示す可能性が比較的高いか又は比較的低いかに基づいてタイル間の区別を行なう計算画像を生成する段階と、
ｂ）関心のある特性を示す可能性が比較的高い前記タイルの事前部分集合を選定する段階と、
ｃ）前記事前部分集合内のタイルに関して、色及びテクスチャの少なくとも１つに関連する特徴部尺度を導き出す段階と、
ｄ）タイル特徴部尺度に少なくとも部分的に基づいて、前記事前部分集合からタイルの別の部分集合を選定する段階と、
を実行するようにコンピュータ装置を制御する命令を組込んでいることを特徴とするソフトウェア。
【請求項２４】
過度のタイル重複の回避を考慮して前記タイルの事前部分集合から別の部分集合を選定する段階を実施する命令を有する、
ことを特徴とする請求項２３に記載のコンピュータソフトウェア。
【請求項２５】
同時生起行列と、エントロピ画像と、前記画像全体の内部領域に比べて低照度である外部領域を前記計算画像から除外するよう構成されたビネットマスクとの組合せを使用して、前記計算画像を生成する段階を実施するための命令を有する、ことを特徴とする請求項２３に記載のコンピュータソフトウェア。
【請求項２６】
前記同時生起行列及び前記エントロピ画像を閾値処理してこれらを２進化することによって、前記計算画像を生成する段階を実施するための命令を有する、
ことを特徴とする請求項２５に記載のコンピュータソフトウェア。
【請求項２７】
前記画像全体が、赤色、緑色及び青色（Ｒ、Ｇ、Ｂ）画像であり、前記画像全体の緑色面から計算画像を生成する前記段階を実施するための命令を有する、
ことを特徴とする請求項２３に記載のコンピュータソフトウェア。
【請求項２８】
前記画像全体の同時生起行列を少なくとも使用し、関心のある画像特徴部を含むタイル領域（前景）及びこのような特徴部が無いタイル領域（背景）の両方の空間フィルタリングのために前記計算画像に対して形態学的クロージング演算を適用する、前記計算画像を生成する段階を実施するための命令を有する、
ことを特徴とする請求項２３に記載のコンピュータソフトウェア。
【請求項２９】
無作為処理によって事前部分集合を選定する段階を実施するための命令を有する、
ことを特徴とする請求項２３に記載のコンピュータソフトウェア。
【請求項３０】
無作為処理によって前記タイルの事前部分集合から別の部分集合を選定する段階を実施するための命令を有する、
ことを特徴とする請求項２３に記載のコンピュータソフトウェア。
【請求項３１】
癌グレーディングにおいて、色相／彩度／明度の変換を画像データに適用する段階と、色相及び彩度の成分を閾値処理して「明ピンク色」、「暗ピンク色」及び「白色」の組織の領域を得る段階と、色及びテクスチャに基づいて各タイルについて特徴部尺度を計算する段階とを実施するための命令を有する、
ことを特徴とする請求項２３に記載のコンピュータソフトウェア。
【請求項３２】
ステロイド／タンパク質発現分析において、画像データを変換してシアン色画像データを提供する段階と、該シアン色画像データの色及びテクスチャの尺度並びにこのようなデータのソーベルフィルタリング相当部に基づいて、各タイルについての特徴部尺度を計算する段階とを実施するための命令を有する、
ことを特徴とする請求項２３に記載のコンピュータソフトウェア。
【請求項３３】
特徴部尺度と、非選定相当部よりも大きな（符号は無視）タイル重複との間の差異を示すタイルを選定することによって、前記タイルの事前部分集合から別の部分集合を選定する段階を実施するための命令を有する、
ことを特徴とする請求項２３に記載のコンピュータソフトウェア。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像領域の自動選定に関し、詳細には（但し、限定ではないが）、病理組織学的評価用の標本組織試料の画像領域を自動的に選定するための方法、装置及びコンピュータプログラムに関する。
【背景技術】
【０００２】
標本組織試料の選定は、多くの種類の癌、異常、又は患者の反応の病理組織学的評価において不可欠な準備である。組織試料が選定されると、これらの試料は病理学者によって手作業で評価され、エストロゲン及びプロゲステロン受容体（ＥＲ及びＰＲ）状態、Ｃ−ｅｒｂ−２及び血管分布のようなパラメータを判定することができる。Ｃ−ｅｒｂ−２はまた、Ｃｅｒｂ−Ｂ２、ｈｅｒ−２、ｈｅｒ−２／ｎｅｕ及びｅｒｂ−２として公知である。自動病理組織学的評価はまた、例えば、国際特許出願公開第２００４／０１７０５２号、第２００４／０４７００４号、第２００４／０４６９９４号、第２００４／０３８６３３号、第２００４／０５７５１３号、第２００４／０４４８４５号、第２００４／０５５７３３号及び第２００４／０７２９００号によって公知である。
【０００３】
【特許文献１】国際特許出願第２００４／０１７０５２号公報
【特許文献２】国際特許出願第２００４／０４７００４号公報
【特許文献３】国際特許出願第２００４／０４６９９４号公報
【特許文献４】国際特許出願第２００４／０３８６３３号公報
【特許文献５】国際特許出願第２００４／０５７５１３号公報
【特許文献６】国際特許出願第２００４／０４４８４５号公報
【特許文献７】国際特許出願第２００４／０５５７３３号公報
【特許文献８】国際特許出願第２００４／０７２９００号公報
【非特許文献１】ＲＭ  Ｈａｒａｌｉｃｋ、Ｋ  Ｓｈａｎｍｕｇｅｎ  ａｎｄ  Ｉ  Ｄｉｎｓｔｅｉｎ著「Ｔｅｘｔｕｒｅ  Ｆｅａｔｕｒｅｓ  ｆｏｒ  Ｉｍａｇｅ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」（ＩＥＥＥ  Ｔｒａｎｓ．Ｓｙｓｔ．、Ｍａｎ、Ｃｙｂｅｒｎ．、Ｖｏｌ  ＳＭＣ−３、ｐｐ６１０−６２１、１９７３年）
【非特許文献２】Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ著Ｕｍｂａｕｇｈ  Ｓ．Ｃ．「Ｃｏｌｏｕｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ」１９９８年
【非特許文献３】Ｋ．Ｊａｃｋ著「Ｖｉｄｅｏ  Ｄｅｍｙｓｔｉｆｉｅｄ」第２版、ＨｉｇｈＴｅｘｔ  Ｐｕｂｌｉｃａｔｉｏｎｓ、サンディエゴ、１９９６年
【非特許文献４】Ｋｌｅｔｔｅ  Ｒ．及びＺａｍｐｅｒｏｎｉ  Ｐ．著「Ｈａｎｄｂｏｏｋ  ｏｆ  ｉｍａｇｅ  ｐｒｏｃｅｓｓｉｎｇ  ｏｐｅｒａｔｏｒｓ」、Ｊｏｈｎ  Ｗｉｌｅｙ  ＆  Ｓｏｎｓ、１９９５年
【非特許文献５】Ｋｌｅｔｔｅ  Ｒ．、Ｚａｍｐｅｒｏｎｉｕ  Ｐ．著「Ｈａｎｄｂｏｏｋ  ｏｆ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  Ｏｐｅｒａｔｏｒｓ」、Ｊｏｈｎ  Ｗｉｌｅｙ  ＆  Ｓｏｎｓ、１９９６年
【非特許文献６】Ｇｏｌｄｂｅｒｇ  Ｄ．Ｅ．著「Ｇｅｎｅｔｉｃ  Ａｌｇｏｒｉｔｈｍｓ  ｉｎ  Ｓｅａｒｃｈ、Ｏｐｔｉｍｉｓａｔｉｏｎ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ」、Ａｄｄｉｓｏｎ  Ｗｅｓｌｅｙ、１９８９年
【非特許文献７】Ｐｒｅｓｓ  Ｗ．Ｈ．、Ｔｅｕｋｏｌｓｋｙ  Ｓ．Ａ．、Ｖｅｔｔｅｒｌｉｎｇ  Ｗ．Ｔ．、Ｆｌａｎｎｅｒｙ  Ｂ．Ｐ．著「Ｎｕｍｅｒｉｃａｌ  Ｒｅｃｉｐｉｅｓ  ｉｎ  Ｃ  ：ｔｈｅ  ａｒｔ  ｏｆ  ｓｃｉｅｎｔｉｆｉｃ  ｃｏｍｐｕｔｉｎｇ」、Ｃａｍｂｒｉｄｇｅ  Ｕｎｉｖｅｒｓｉｔｙ  Ｐｒｅｓｓ、１９９２年
【非特許文献８】Ｋｎｕｔｈ  Ｄ．Ｅ．著「Ｔｈｅ  Ａｒｔ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｐｒｏｇｒａｍｍｉｎｇ」、ｖｏｌ．２、Ａｄｄｉｓｏｎ  Ｗｅｓｌｅｙ、１９８１年
【非特許文献９】「Ｐａｔｈｏｌｏｇｙ  Ｒｅｐｏｒｔｉｎｇ  ｏｆ  Ｂｒｅａｓｔ  Ｄｉｓｅａｓｅ」、ＮＨＳＢＳＰ  Ｐｕｂｌｉｃａｔｉｏｎ  ｎｏ５８、２００５年１月
【発明の開示】
【発明が解決しようとする課題】
【０００４】
乳癌は、詳細には、女性の癌の一般的なものであり、組織試料の選定を必要とし、乳癌を示す病変が検出されると乳房組織試料が採取され、関心のある特徴を明らかにするために化学的に染色されて病理学者によって評価され、診断、予後及び治療計画を設定する。しかしながら、評価のための組織試料の選定は、時間がかかる手作業の処理である。この手作業の処理は、極めて主観的な人間の目によるカラー画像の判読を伴い、すなわち、病理学者が顕微鏡を低倍率で使用して、顕微鏡スライド上のコア生検標本組織試料を詳しく調べ、関心のあるパラメータが検出可能であることを示唆する特徴部を示すスライドの一部分を識別する。この目的は、組織学的パラメータの判定に好適な可能性がある顕微鏡スライド画像の領域（タイルと呼ぶ）を識別することである。２．５ｘの倍率（選定用に一般的）で見られるスライドにタイルの重複がないと仮定すると、４０ｘの倍率（評価用には一般的）で最大２５６個のタイルに対応するが、これらのタイルの多くが不適切な可能性がある。実際には関心のあるパラメータが正確に検出可能ではなかったことが後で判明するようなタイルが選定された場合、評価時間が無駄なものとなる。この選定処理は、別の観測者によって選定されたタイル間で、及び同じ観測者によって異なる時間に選定されたタイル間でさえもかなりのばらつきがあることを特徴とする。更に、病理学スタッフが不足しているので、タイル選定処理を自動化することが望ましい。
【０００５】
本発明の目的は、標本選定の自動化技術を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、画像全体内の画像領域（「タイル」）の選定を自動化する方法を提供し、本方法は、
ａ）画像全体の同時生起行列及び画像全体のエントロピ画像のうちの少なくとも１つから、関心のある特性を示す可能性が比較的高いか又は比較的低いかに基づいてタイル間の区別を行なう計算画像を生成する段階と、
ｂ）関心のある特性を示す可能性が比較的高いタイルの事前部分集合を選定する段階と、
ｃ）事前部分集合内のタイルに関して、色及びテクスチャの少なくとも１つに関連する特徴部尺度を導き出す段階と、
ｄ）タイル特徴部尺度に少なくとも部分的に基づいて、事前部分集合からタイルの別の部分集合を選定する段階と、
を含む。
【０００７】
本発明は、組織試料の画像からのタイルの選定のための客観性のある再現可能な自動化技術を形成する利点を提供する。
【０００８】
タイルの事前部分集合から別の部分集合を選定する段階は、過度のタイル重複の回避を考慮することができる。計算画像を生成する段階は、同時生起行列と、エントロピ画像と、画像全体の内部領域に比べて低照度の外部領域を該計算画像から除外するように構成されたビネットマスクとの組合せを使用することができる。
【０００９】
計算画像を生成する段階は、同時生起行列及びエントロピ画像を閾値処理してこれらの行列及び画像を２進化する段階を組込むことができる。画像全体は、赤色、緑色及び青色（Ｒ、Ｇ、Ｂ）画像であり、計算画像を生成する段階は、画像全体の緑色面を使用して実施することができる。
【００１０】
計算画像は、画像全体の同時生起行列を少なくとも使用して、関心のある画像特徴部を含むタイル領域（前景）及びこのような特徴部が無いタイル領域（背景）の両方の空間フィルタリングのために、該計算画像に対して形態学的クロージング演算を適用して生成することができる。
【００１１】
タイルの事前部分集合及び別の部分集合の選定は、無作為処理によって実施することができる。
【００１２】
本発明の方法は、癌グレーディングに使用することができ、本方法は、色相／彩度／明度の変換を画像データに適用する段階と、色相及び彩度の成分を閾値処理して「明ピンク色」、「暗ピンク色」及び「白色」の組織の領域を得る段階と、色及びテクスチャに基づいて各タイルについて特徴部尺度を計算する段階とを含むことができる。
【００１３】
或いは、本発明の方法は、ステロイド／タンパク質発現分析に使用することができる、本方法は、画像データを変換してシアン色画像データを提供する段階と、該シアン色画像データの色及びテクスチャの尺度並びにこのようなデータのソーベルフィルタリング相当部に基づいて、各タイルについての特徴部尺度を計算する段階とを含むことができる。
【００１４】
タイルの事前部分集合からの別の部分集合の選定は、特徴部尺度と、非選定相当部よりも大きな（符号は無視）タイル重複との間の差異を示すタイルを選定することによって実施することができる。
【００１５】
別の態様において、本発明は、画像全体内のタイルの自動化選定のための装置を提供し、該装置は、
ａ）画像全体の同時生起行列及び画像全体のエントロピ画像のうちの少なくとも１つから、関心のある特性を示す可能性が比較的高いか又は比較的低いかに基づいてタイル間の区別を行なう計算画像を生成する手段と、
ｂ）関心のある前記特性を示す可能性が比較的高いタイルの事前部分集合を選定する手段と、
ｃ）事前部分集合内のタイルに関して色及びテクスチャの少なくとも１つに関連する特徴部尺度を導き出す手段と、
ｄ）タイル特徴部尺度に少なくとも部分的に基づいて、事前部分集合からタイルの別の部分集合を選定する手段と、
を含む。
【００１６】
タイルの事前部分集合から別の部分集合を選定する手段は、過度のタイル重複を回避するように構成することができる。計算画像を生成する手段は、同時生起行列と、エントロピ画像と、画像全体の内側領域に比べて低照明の外側領域を計算画像から除外するように構成されたビネットマスクとの組合せを使用することができる。
【００１７】
計算画像を生成する手段は、同時生起行列及びエントロピ画像の閾値処理を用いて、これら行列及び画像を２進化することができる。画像全体は、赤色、緑色及び青色（Ｒ、Ｇ、Ｂ）の画像であり、計算画像を生成する手段は、画像全体の緑色面から該計算画像を導き出すことができる。
【００１８】
計算画像は、画像全体の同時生起行列を少なくとも使用し、関心のある画像特徴部を含むタイル領域（前景）及びこのような特徴部が無いタイル領域（背景）の両方の空間フィルタリングのために、該計算画像に形態学的クロージング演算を適用することによって生成することができる。
【００１９】
タイルの事前部分集合及び別の部分集合の選定は、無作為処理を使用することによって実施することができる。
【００２０】
本発明の装置は、癌グレーディングに使用することができ、本装置は、色相／彩度／明度の変換を画像データに適用し、色相及び彩度の成分を閾値処理して「明ピンク色」、「暗ピンク色」及び「白色」の組織の領域を得て、色及びテクスチャに基づいて各タイルについて特徴部尺度を計算するように構成することができる。
【００２１】
或いは、本発明の装置は、ステロイド／タンパク質発現分析のために使用することができ、本装置は、画像データを変換してシアン色画像データを提供し、該シアン色画像データの色及びテクスチャの尺度並びにこのようなデータのソーベルフィルタリング相当部に基づいて、各タイルについての特徴部尺度を計算するように構成することができる。
【００２２】
タイルの事前部分集合からの別の部分集合の選定は、特徴部尺度と、非選定相当部よりも大きな（符号は無視）タイル重複との間の差異を示すタイルを選定することによって実施することができる。
【００２３】
別の態様において、本発明は、画像全体内のタイルの選定を自動化するのに使用するコンピュータソフトウェアを提供し、該ソフトウェアは、
ａ）前記画像全体の同時生起行列及び前記画像全体のエントロピ画像のうちの少なくとも１つから、関心のある特性を示す可能性が比較的高いか又は比較的低いかに基づいてタイル間の区別を行なう計算画像を生成する段階と、
ｂ）関心のある特性を示す可能性が比較的高い前記タイルの事前部分集合を選定する段階と、
ｃ）前記事前部分集合内のタイルに関して、色及びテクスチャの少なくとも１つに関連する特徴部尺度を導き出す段階と、
ｄ）タイル特徴部尺度に少なくとも部分的に基づいて、前記事前部分集合からタイルの別の部分集合を選定する段階と、
を実行するようにコンピュータ装置を制御する命令を組込む。
【００２４】
本発明のソフトウェアは、同時生起行列及びエントロピ画像の閾値処理して、これらの行列及び画像を２進化することによって計算画像を生成する命令を有することができる。画像全体は、赤色、緑色及び青色（Ｒ、Ｇ、Ｂ）の画像であり、該ソフトウェアは、画像全体の緑色面から該計算画像を生成する命令を有することができる。
【００２５】
本ソフトウェアは、画像全体の同時生起行列を少なくとも使用することによって、及び関心のある画像特徴部を含むタイル領域（前景）と、このような特徴部が無いタイル領域（背景）との両方の空間フィルタリングのために計算画像に対して形態学的クロージング演算を適用することによって該計算画像を生成する命令を有することができる。
【００２６】
タイルの事前部分集合及び別の部分集合の選定は、無作為処理によって実施することができる。
【００２７】
本発明のソフトウェアは、癌グレーディングに関して使用することができ、本ソフトウェアは、色相／彩度／明度の変換を画像データに適用し、色相及び彩度の成分を閾値処理して「明ピンク色」、「暗ピンク色」及び「白色」の組織の領域を得て、色及びテクスチャに基づいて各タイルについて特徴部尺度を計算するための命令を含むことができる。
【００２８】
或いは、本発明のソフトウェアは、ステロイド／タンパク質発現分析のために使用することができ、本ソフトウェアは、画像データを変換してシアン色画像データを提供し、該シアン色画像データの色及びテクスチャの尺度並びにこのようなデータのソーベルフィルタリング相当部に基づいて、各タイルについての特徴部尺度を計算するための命令を含むことができる。
【００２９】
タイルの事前部分集合からの別の部分集合の選定は、特徴部尺度と、非選定相当部よりも大きな（符号は無視）タイル重複との間の差異を示すタイルの選定を実施するソフトウェア内の命令によって実施することができる。
【発明を実施するための最良の形態】
【００３０】
次に、本発明を十分に理解することができるようにするため、添付図面を参照しながら例証として本発明の実施形態を説明する。
【００３１】
図１を参照すると、全体的に符号２で示された低倍率の顕微鏡スライド画像は、コア生検標本組織４を含む。符号６のような矩形画像領域は、組織学的パラメータの判定に好適な可能性があるものと見なされる。領域６は、組織タイル又は単にタイルと呼ばれ、組織学的目的のために後で更に拡大されることになる。選定処理の目的は、比較的テクスチャがかなりあるコア生検の染色切片の画像であり、従って、比較的テクスチャが少なく且つ染色されていない切片よりも関心のある特徴部を示す可能性が高いタイル６を選定することである。
【００３２】
タイルを選定する従来技術の手作業処理では、臨床医は、顕微鏡下にスライド２を置き、低倍率（例えば、２．５ｘ）から高倍率（例えば、４０ｘ）までの倍率の組合せでスライドを調べる。次に、臨床医は、異常な色、サイズ、形状及び境界定義付けを含む組織又はタイル６の領域を目視で識別するといった主観的手順を試みる。次に、この方法で選定されたタイル６は、１つ又はそれ以上の組織学的パラメータの特定につながるより詳細な分析のために使用される。この実施例で以下に説明するタイル選定処理は、従来技術の手作業処理を自動化処理に置き換えるものである。
【００３３】
図２は、組織学的評価用の組織タイルの自動化選定の処理１０の概略である。切片は、組織試料（生検）から採取（切断）され、それぞれの顕微鏡スライド上に置かれる。これらのスライドは、どの組織学的パラメータが関連しているかに応じて、この実施例においては乳癌グレーディング又はタンパク質発現分析において、選定された染色剤を使用して染色される。特定の染色剤及びこれらの利用法は、次の通りである。
ａ）ヘマトキシリン及びエオシン（Ｈ＆Ｅ）。組織及び細胞構造を描写するための一般的な染色液である。Ｈ＆Ｅによって染色された組織は、有糸分裂活性、核多形性及び細管活性を含む、乳癌のグレーディングを評価するのに使用される。
ｂ）基質（化学的染色剤）としてジアミノベンジジン（ＤＡＢ）を有するＣ−ｅｒｂ−２、総称して「Ｃｅｒｂ−ＤＡＢ」用の免疫組織化学的染色。タンパク質過剰発現及びＣ−ｅｒｂ−２遺伝子増幅状態を評価するためのものである。
ｃ）エストロゲン受容体の発現（発現又は放出量）を評価するために、基質としてＤＡＢを有するエストロゲン受容体（ＥＲ）（総称的に「ＥＲ−ＤＡＢ」）。プロゲステロン受容体（ＰＲ）の状態は、ＥＲにおけるものと同じ呈色をもたらす化学処理を使用して調べられる。
【００３４】
各染色されたスライドは、１２において、赤色、緑色及び青色（Ｒ、Ｇ及びＢ）の３色のデジタル画像を生成する自動化スライドスキャナを使用してスキャンされる。ピクセルアレイ内の各ピクセルについて３つの輝度値が求められ、Ｒ、Ｇ及びＢの画像平面の組合せからなる画像を提供する。このデジタル画像の低解像度形態（例えば、２．５ｘの直線寸法又は２．５ｘの倍率）が分析され、１４でタイルのセットを選定するようにする。次に、選定されたタイルは高倍率の像が得られ、１６でデータベース内に入力されて更に処理される。有糸分裂、多形性、エストロゲン受容体（ＥＲ）、プロゲステロン受容体（ＰＲ）及びＣ−ｅｒｂ−２の評価では、最大解像度又は最大顕微鏡倍率は、現在４０ｘであり、細管では倍率は１０ｘである。選定されたタイルセットを構成するタイルの数は、評価されるもの、及び現在の医療行為に応じて決まり、有糸分裂ではまた、その数は顕微鏡のフィールド径によって決まる。現在のところ、有糸分裂には１０タイルが選定され、多形性には２タイル、細管には２タイル、ＥＲ、ＰＲ及びＣ−ｅｒｂ−２には各々１タイルが選定される。しかしながら、タイルのセット内のタイル数は選定の問題であり、本発明にとって重要ではない。
【００３５】
次に図３を参照すると、図２を参照して説明した処理１０の段階１４がより詳細に示されている。２０において、入力ＲＧＢ画像の緑色面Ｇから同時生起行列が生成される。緑色面を使用することは必須ではないが、これが良い結果をもたらすことが経験的に示されている。同時生起行列の生成は、例えば、ＩＥＥＥ  Ｔｒａｎｓ．Ｓｙｓｔ．、Ｍａｎ、Ｃｙｂｅｒｎ．、Ｖｏｌ  ＳＭＣ−３、ｐｐ６１０−６２１（Ｔｅｘｔｕｒｅ  Ｆｅａｔｕｒｅｓ  ｆｏｒ  Ｉｍａｇｅ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ、ＲＭ  Ｈａｒａｌｉｃｋ、Ｋ  Ｓｈａｎｍｕｇｅｎ  ａｎｄ  Ｉ  Ｄｉｎｓｔｅｉｎ）（１９７３年）で説明されている標準的な画像処理手順である。このような行列は、その各々が既定の画像特徴が同時に起こる周波数の行列成分を有する多次元ヒストグラムである。入力ＲＧＢ画像は、最初に、その元の直線寸法（１／３６の領域）の１／６にサブサンプリングされ、次に、このサブサンプリングされた画像内のピクセル値が、後続の計算を軽減するために、２５６グレイレベルから８グレイレベルにまで再量子化され、すなわち、０〜３１のピクセル値は０に設定され、３２〜６３は１に設定され、以下、２２４〜２５５が７に設定されるまで同様である。次に、同時生起行列が計算され、これは、量子化なしの場合に得られるはずの２５６ｘ２５６行列ではなく、８ｘ８行列である。本実施例において、同時生起行列は、グレイレベルｉ及びｊが１つ又はそれ以上の既定方向の特定の距離だけ離れた２つのピクセルで起こる度数である、一般成分すなわちｉ，ｊ成分（ｉ行ｊ列）を有する。ここで、この距離は、１ピクセルであるようにとられ、方向は４つのセット、すなわち、現在考慮中のピクセルの上下左右であり、これらは、現在のピクセルの行と列（但し、対角方向ではない）の最も近接した成分である。
【００３６】
２２において、同時生起行列の成分が評価され、最大値の成分及びその行位置が決定され、この行位置は、当該位置における量子化されたグレイレベルを示し、これに３２（すなわち、２５６／８）を乗算してグレイレベル値を０〜２５５の元の前量子化範囲の値に変換する。次に、変換された値を用いて、以下のようにバイナリマスク（ピクセル値１及び０のみ）の生成のために閾値を定義する。このバイナリマスクは、変換された閾値を上回る値を有する入力画像緑色面Ｇのピクセルに等価の位置に配置されたピクセルに関して全て０（背景、組織なし）であるピクセル値を有し、バイナリマスクにおける他の全てのピクセル値は１（前景、組織）に設定される。
【００３７】
同様に２２において、バイナリマスクを除去するために、形態学的クロージングが適用される。形態学的クロージングは必須ではないが、不要な画像構造を空間的にフィルタ除去することによって、得られる結果が改善される。形態学的クロージングは、形状及び配置に基づいた標準的な画像処理技術であり、Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ著Ｕｍｂａｕｇｈ  Ｓ．Ｃ．「Ｃｏｌｏｕｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ」（１９９８年）に公表された。あるサイズ及び形状のフィルタを画像に適用し、画像特徴部の膨張（拡張）又は縮退（収縮）を生成し、凹凸を除去する。形態学的クロージング演算は、膨張の後に縮退が続くものとして定義される。形態学的演算は、フィルタカーネルを画像全体で一度に１ピクセル位置だけ動かすことによって、画像に適用される。本実施例において、以下の式（１）に示す円への近似である３ｘ３フィルタカーネル（９成分）を使用する。
【数１】
2009508200.tif 000003
このフィルタカーネルは、概念上一度に９つの画像ピクセルを覆い、好都合なことに、最初の３列のうちの最初の３行のピクセルを有する画像の左上コーナーで始まる。膨張を生成するために、非ゼロフィルタカーネル成分によって覆われている４つの画像ピクセルのいずれか１つ又はそれ以上が値１を有する場合、フィルタ出力は１に設定され、これは、ＯＲ演算を使用して実行される加算に相当する。次に、フィルタカーネルは、右に１ピクセル動かされ、この処理が繰り返される。画像の右手端に達すると、次いで、フィルタカーネルは１ピクセル下に動かされ、この処理は、画像全体がこの方法で処理されるまで反復される。縮退は膨張の双対であり、ここで、非ゼロフィルタカーネル成分によって覆われている４つの画像ピクセルのいずれかの１つ又はそれ以上が、値０を有する場合、フィルタ出力は０に設定され、これは、ＡＮＤ演算を使用して実行される加算に相当する。縮退は、膨張と同じようにして画像全体に対して繰り返される。
【００３８】
次に、形態学的クロージング演算から得られた処理済み画像は、その成分の各々を１から減算することによって反転され、従って、背景ピクセルは１になり、前景ピクセルは０になる。同じ形態学的クロージング演算が繰り返され、新しい結果が反転されて、元の形式に戻り、すなわち背景ピクセルが０になり、前景ピクセルが１になる。これらの２つの段階は、背景及び前景の両方に存在する穴を低減する効果を有し、これらの段階から得られた画像をマスクＡと呼ぶ。
【００３９】
２４において、元の入力ＲＧＢ画像の緑色面Ｇから、エントロピ画像が計算される。エントロピは、ランダム性の尺度であり、分布したピクセル値がよりランダムであるほど、エントロピがより大きい。一様な画像領域（組織がない空きのスライドガラスの領域の画像など）は、組織のテクスチャがかなりある領域よりも低いエントロピを有する傾向がある。画像は、最初にその元の直線寸法の１／６にサブサンプリングされ（例えば、１４７６ｘ１１６０ピクセルはサブサンプリングされて２４６ｘ１９３にされる）、エントロピは、画像内の７ｘ７ピクセルのウィンドウに関して計算される（以下で説明する）。このウィンドウは、画像全体にわたって一度に１ピクセル位置だけスキャンされ、各位置においてエントロピが計算される。このウィンドウは、画像全体にわたって完全にスキャンされると、１ピクセル位置だけ下に動かされ、再度画像全体にわたりスキャンされる。この処理は、画像全体がこのようにスキャンされるまで反復される。
【００４０】
各ピクセル位置において、ピクセル輝度の周波数を示すヒストグラムが得られ、例えば、８ビットピクセルを有する画像では、ヒストグラムは、０〜２５５の２５６の輝度値を備えた横軸と、各輝度値を備えたピクセル数の縦軸とを有する。従って、ヒストグラムは、２５６成分を有するベクトルとして扱われ、このベクトルは、一般のすなわち輝度ｉを有するピクセル数であるｉ番目の非正規化成分ｕi（ｉ＝０〜２５５）を有する。次に、このヒストグラムは、各非正規化成分ｕiをヒストグラムの非正規化成分ｕiの和、すなわち和Σｕiで除算することによって正規化され、この正規化は、各ｕiをそれぞれの正規化要素ｈiに変換し、次いで、エントロピＥが式（２）から計算される。
【数２】
2009508200.tif 000004
ウィンドウが画像全体にわたって下方に移動し、エントロピ測定の完全なセットが完了すると、エントロピマスクを生成するための閾値であるエントロピ画像が得られる。エントロピ画像ピクセルが、１．０などの閾値よりも大きい場合には、マスクは、前景値１に設定され、閾値よりも大きくないエントロピ画像ピクセルは、背景値０に設定される。この処理の間、エントロピ画像及びエントロピマスクの両方は、元の完画像全体サイズまで、すなわち、サブサンプリングする前の画像までアップサンプリングされる。ここではエントロピマスクをマスクＢと呼ぶ。
【００４１】
スライド画像を得るのに使用される顕微鏡は、外側画像領域よりも中央画像領域がより明るい状態で変化する可能性がある画像照明を提供し、実験から、この変化は、極端な場合には３５％〜５０％になり、その照明がスライドの４つのコーナーに向かって大きく低下していることが観察された。この問題は、段階２６において、画像処理を既定領域に制限するビネットとして作用する楕円形画像マスクＶを生成することによって改善される。ビネットマスクＶのピクセルは、式（３）を用いてｖxy値から計算される。
【数３】
2009508200.tif 000005
ここで、ｘ及びｙは、画像の中心の原点（０，０）に対するデカルトピクセル座標位置であり、ｒ1及びｒ2は、楕円形マスクＶの半長軸及び半短軸であり、これらの軸は、ビネットを行なう前に対応する矩形画像の高さ及び幅寸法の４２．５％になるように好都合に設定され、これは、各画像の直線寸法の少なくとも最外部１５％が処理から除外されることを意味する。式（３）の右辺の全パラメータは、ピクセルの数で表現されている。式（３）がｖxy値を１以下にすると、位置（ｘ，ｙ）での楕円形マスクＶのピクセルは、前景を示す１に設定され、式（３）がｖxy値を１よりも大きくすると、位置（ｘ，ｙ）での楕円形マスクＶのピクセルは、背景を示す０に設定され、このマスクは後でマスクＣと呼ぶ。
【００４２】
２８において、同時生起、エントロピ、及び楕円形ビネットのマスクＡ、Ｂ及びＣは、それぞれ、式（４）で示した論理演算を使用して単一のマスクＤに結合される。
【数４】
2009508200.tif 000006
ここで、∧は、論理ＡＮＤ関数を意味し、∨は、論理ＯＲ関数を意味する。マスクＡ、Ｂ及びＣのこの組合せを使用することは実際には必須ではなく、Ｃは除外することができ、Ｄの代わりにＡ又はＢのいずれかは単独で使用することができる。しかしながら、マスクＡ、Ｂ及びＣが生成され、タイル選定での使用のために結合される場合には、得られる結果が改善されることが経験的に示されている。
【００４３】
マスクＤは、病理組織分析用のスライド領域を示すために使用され、病理学目的に許容できる組織を含むスライド領域を定める。式（４）に示すように、論理ＯＲは、マスクＡとＢとの間に適用され、これは、同時生起とエントロピ技術の両方が、考慮すべき可能性のある関心スライド領域を単独で示すことができることを反映している。従って、Ａ又はＢのいずれかにおけるピクセルが１である場合には、結果として得られるピクセルは１になるはずである。次に、ＡとＢとの論理和の結果はマスクＣと論理積をとられ、これは、マスクＣによって表現される楕円形ビネット内の領域に制限される考慮事項をもたらす。
【００４４】
３０において、元のＲＧＢ画像のビネット領域Ｃ内から無作為に選定されたタイルのセットを生成するタイル選定の処理が導入される。無作為な処理は必須ではないが、既定の位置からの又は規則的な間隔に基づいた選定と比較して、アーティファクトに対してより堅牢であることが経験的に分かっている。無作為処理は、そのかなり小さいセットが、後で説明される基準に基づいて引き続き選定されることになるタイルの極めて大きいセットを生成する。最初に選定されたタイルの数は重要ではなく、経験的に、タイルの好適な数は、有糸分裂で１７５個、細管で７０個、並びにＣ−ｅｒｂ−２、ＥＲ及びＰＲの各々では１２５個であることが分かっている。多形性でのタイルは、後に説明するように、有糸分裂用に選定されたタイルの最終セットから選定される。
【００４５】
無作為の選定処理は、各々が０〜１の範囲の無作為な数のペア（ｘ，ｙ）のセットを生成し、これは次に、関連する画像寸法に応じてスケーリングされ、すなわち、画像の横ピクセル（ｘ）又は縦ピクセル（ｙ）の数が乗算される。各ペア（ｘ，ｙ）は、画像内の位置（ｘ，ｙ）におけるタイルの中心と見なされる。無作為の選定処理は、既定数のペアが選定されるまで反復する。この処理は、選定されたペアが特定の基準に従うことを保証し、すなわち、このペアは適正な分布を示し、画像のエッジにあまり近接しないようにすべきであり、又は、当初は限定的な重複（２０％）は許容されるが、あまり過大に重複しないようにすべきである。従来技術の手作業選定では、最大で６０％までのタイル重複が生じる可能性がある。既に生成されたものと比べて、基準セットに適合できないあらゆるペア（ｘ，ｙ）は、不適切として排除され、すなわち、基準は以下の式（５）で設定される。
【数５】
2009508200.tif 000007
式（５）において、ｘ及びｙは無作為に生成された数のペア、ｔxi及びｔyiは現在許容されている無作為な数のセットのｉ番目のペア、ｗはタイルの必要幅、ｈはタイルの必要高さ、Ｗは入力画像の幅、Ｈは入力画像の高さ、ｒ1及びｒ2は、楕円形ビネットマスクＣの半長軸及び半短軸である。この処理の終了時の出力は、組織学的好適な可能性のあるものとして選定されたタイルの中心を示す座標（ｘ，ｙ）ペアのセットとなる。
【００４６】
３２において、処理１４は、乳癌グレーディング又はタンパク質発現分析が行われるかどうか応じて分岐する。他の特定の病理組織分析処理を後続の段階３４〜４２と並行して導入し、関連する特徴尺度の異なるセットを計算し、従って、処理１４が他のアプリケーションを対象とすることができるようにする。
【００４７】
乳癌グレーディングに関して、３４で、元のＲＧＢ画像は、赤色／緑色／青色から異なる画像空間である色相、彩度、明度ＨＳＶに変換される。この変換を現在選定されているタイルの画像データに制限することができるが、しかしながら、極めて多くのタイルが選定され、タイルの一部は重複し、少なくとも部分的に同じデータの変換を必要とする可能性がある。従って、タイルに対する変換を制限することは必ずしも有利ではなく、この実施例では、元のＲＧＢ画像全体が変換される。
【００４８】
ＲＧＢからＨＳＶへの変換は必須ではなく、変換なし又は別の変換を用いることができるが、ＲＧＢからＨＳＶに変換すると、より重要な画像特徴部を更に強調することによって得られる結果が改善される。これは、「Ｖｉｄｅｏ  Ｄｅｍｙｓｔｉｆｉｅｄ」第２版、ＨｉｇｈＴｅｘｔ  Ｐｕｂｌｉｃａｔｉｏｎｓ、Ｓａｎ  Ｄｉｅｇｏ（１９９６年）Ｋ．Ｊａｃｋによって説明されている。実際には、明度Ｖ（すなわち明るさ）は、染色の変化及びスライド全体の厚さ、並びに画像を生成するのに使用されるカメラレンズによる潜在的なビネットによって影響を受ける傾向がある。その結果、この実施例では、Ｖ成分は無視され、すなわちＶ成分は計算されず、色相（すなわち色）及び彩度値Ｈ及びＳが強調される。Ｈ及びＳは、以下のように２つのＲＧＢ画像の各ピクセルに関して計算される。
【数６】
2009508200.tif 000008
式（８）〜式（１０）は、ピクセルの各色を、その等級と当該ピクセルの３色等級の最大等級との間の差に変換し、この差は、（Ｒ，Ｇ，Ｂ）の最大値と最小値の間の差によって除算される。
彩度Ｓは以下のように設定される。
【数７】
2009508200.tif 000009
【００４９】
色相（Ｈ）に関する計算は、以下の通りである。式（６）から、Ｍは、Ｒ、Ｇ及びＢの少なくとも１つに等しくなくてはならない。
【数８】
2009508200.tif 000010
上述したように、明度Ｖはこの実施例では使用されないが、Ｖが使用されたとすると、（Ｒ，Ｇ，Ｂ）の最大値に設定されるはずである。
【００５０】
図４に図式的に示した０〜３５９の３６０個の値を有するベクトルである、ヒストグラムが色相Ｈに関して生成される（上述の通り）。このヒストグラムは、２つの極大値を有し、これらの極大値は、該ヒストグラムの低色相（０〜１７９）領域７２の明極大点すなわち極大値７０、及び高色相（１８０〜３５９）領域７６の暗極大点すなわち極大値７４である。明極大点７０及び暗極大点７４が生じる位置又は色相値は、この実施例においては、既定の色相位置（実験によって選定された２５０）から外側を捜すことによって配置され、これらの極大値は、「明極大位置」及び「暗極大位置」として記録される。これに加えて、暗極大点の始点位置及び終点位置である位置７８及び８０が記録される。これらの点は、元のＲＧＢ画像が、色相範囲の全３６０度を占めることができないことに起因して求められる。上部分の暗極大点終点位置の絶対値から暗極大点位置の絶対値を差し引いた値が１２よりも小さい場合、色相ヒストグラムは、３６０度方向に偏っていると考えられ、次いで、以下の式（１９）及び式（２０）で定義された量ｒmin及びｒmaxが計算される。
【数９】
2009508200.tif 000011
【００５１】
上部分の暗極大点終点位置の絶対値から暗極大点位置の絶対値を差し引いた値が、１２よりも小さくない場合、ｒmin及びｒmaxは、以下の式（２１）及び式（２２）で定義され計算される。
【数１０】
2009508200.tif 000012
【００５２】
式（１９）〜式（２２）において、ｒminは範囲最小値であり、ｒmaxは範囲最大値である。この範囲情報を色相値及び彩度値と共に使用して、元の入力（Ｒ，Ｇ，Ｂ）画像の「明ピンク色」位置、「暗ピンク色」位置及び「白色」位置にほぼ対応する、３つの新しいマスクが生成される。これらの新しいマスクは、以下の式（２３）において、それぞれの条件を使用して作成される。
【数１１】
2009508200.tif 000013
ここで、ｈは色相画像、ｓは彩度画像、ｌｐは明ピンク色、ｄｐは暗ピンク色、ｗｔは白色である。ｌｐ、ｄｐ又はｗｔに関してそれぞれの条件を満足する場合、ｌｐ、ｄｐ又はｗｔは、適切であるとして１に設定され、満足しない場合には、０に設定される。この演算は、画像ｈ及びｓにおいて同様に配置された（ｉ番目の）ピクセルのペアを使用して画像全体にわたり画素毎に実行される。
【００５３】
３６において、乳癌に関連する画像特徴部の尺度ｆｍが、段階３０で選定されたタイルの各々について計算され、この計算には、以下の式（２４）を使用する。
【数１２】
2009508200.tif 000014
ここで、Ｅは、式（２）を使用して計算され且つ現在のタイル内の全データ点にわたって平均化されたエントロピ、Σｌｐ、Σｄｐ及びΣｗｔは、それぞれ明ピンク色、暗ピンク色及び白色の画像内のピクセルにわたる総和、各画像はピクセル数として表現された面積Ａを有する。従って、ｘ、ｙ及びｚは、評価される現在のタイル内に存在する成分ｌｐ、ｗｔ及びｄｐのそれぞれの百分率を示している。
【００５４】
式（２４）内の他のパラメータは以下の通りである。μ1、μ2及びμ3は０に設定され、σ1＝０．２５、σ2＝０．２、σ3＝０．１、ｗ1＝０．７及びｗ2＝０．３に設定され、α、β及びδは、それぞれのガウス関数Ｃ1、Ｃ2及びＣ3の倍率、各場合において最大関数値が１．０になることを保証するように選択され、すなわち、α＝１．５９５、β＝１．９９４及びδ＝３．９８９である。現在のタイルに関し、図３の段階２８で生成された結合マスクＤの対応する部分からの背景点について、２５％より大きい百分率が決定される場合、特徴部尺度ｆｍは、例えば、タイルが組織を十分に示していないと考えられるので０に設定され、すなわち、この尺度は、１片の組織のエッジにまで広がる可能性がある。
【００５５】
ここで、ステロイド又はタンパク質分析に関連する図３の他のブランチ３８〜４２に戻り、３８で、元のＲＧＢ画像が、青色及び緑色画像平面から導き出されるシアン色画像を計算するのに使用され、すなわち、各ピクセルに関して、シアン色輝度Ｃは、Ｃ＝（２ｘＢ＋Ｇ）／３、すなわち、それぞれのピクセルの緑色（Ｇ）輝度を、青色（Ｂ）輝度の２倍に加えて、結果として得られた総和を３で除算して計算される。全ピクセルに関して繰り返されると、これによって、シアン色の画像又は画像平面がもたらされる。シアン色は、従来の標本の化学染色によって生成されるセル境界色の茶色に対する補色である理由から使用される。代わりに青色画像面を使用することができるが、通常はシアン色画像と同じ程度に良好な結果をもたらすものではない。異なる色の染色が使用される場合には、望ましくは、関連の補色画像が選定されることになる。次に、ソーベルエッジフィルタが、シアン色画像面に適用され、このフィルタは、Ｋｌｅｔｔｅ  Ｒ．及びＺａｍｐｅｒｏｎｉ  Ｐ．著「Ｈａｎｄｂｏｏｋ  ｏｆ  ｉｍａｇｅ  ｐｒｏｃｅｓｓｉｎｇ  ｏｐｅｒａｔｏｒｓ」、Ｊｏｈｎ  Ｗｉｌｅｙ  ＆  Ｓｏｎｓ（１９９５年）で公表されている標準画像処理技術である。
【００５６】
癌グレーディングに関して説明した場合と同様に、上述のシアン色／ソーベルのシアン色変換は、現在選定されたタイルの画像データに制限することができる。しかしながら、これを行うことは必ずしも有利ではなく、この実施例においては、元のＲＧＢ画像全体が変換される。
【００５７】
ソーベルエッジフィルタは４０で適用され、このフィルタは、２つの３ｘ３の数値配列ＳP及びＳQを含み、これらの各々は、画像内のピクセルの連続する３ｘ３配列と畳み込まれる。
【数１３】
2009508200.tif 000015
段階４０は、最初に、シアン色画像の左上手コーナーにおいて第１のシアン色３ｘ３ピクセル配列を選択する。行ｉ及び列ｊの一般シアン色ピクセルをＣijで指定し、画像の左上手コーナーは、Ｃ11〜Ｃ13、Ｃ21〜Ｃ23及びＣ31〜Ｃ33のピクセルからなる。次に、Ｃijが３ｘ３シアン色ピクセル配列の中にある時、Ｃijは、ＳP配列内に配置されたそれぞれのＳPの数字を乗算する。すなわち、Ｃ11〜Ｃ13は、それぞれ、１、２及び１を乗算し、Ｃ21〜Ｃ23は０を乗算し、Ｃ31〜Ｃ33は、それぞれ−１、−２及び−１を乗算する。こうして形成された積は、代数的に加算されて値ｐを得る。
【００５８】
ｐの値は、Ｃ22の行のいずれかの側である第１行と第３行との間でゆっくりと変化するピクセル値については相対的に低く、これらの行の間で迅速に変化するピクセル値に対しては相対的に高く、その結果、ｐは、行にわたる画像エッジ鮮鋭度の指標を提供する。この処理は、ＳPをＳQに置き換える以外は同じピクセル配列を使用して繰り返され、値ｑが得られ、ｑは、Ｃ22の列のいずれかの側にある第１列と第３列との間でゆっくりと変化するピクセル値に対して相対的に低く、これらの列の間で迅速に変化するピクセル値に対しては相対的に高い。従って、ｑは、列にわたる画像エッジ鮮鋭度の指標を提供する。次に、ｐ及びｑの平方和の平方根、すなわち、
2009508200.tif 000016
が計算され、これは「エッジ強度」として定義され、変換されたシアン色画像内のＴ22（３ｘ３配列の中心においてピクセルＣ22を置き換えた）になる。又、エッジの「位相角度」をｔａｎ-1ｐ／ｑとして導出することが可能であるが、これは、本実施例においては必要とされない。
【００５９】
変換された画像内の一般ピクセルＴij（すなわち、行ｉ、列ｊにおいて）は、シアン色画像のＣi-1,j-1〜Ｃi-1,j+1、Ｃi,j-1〜Ｃi,j+1及びＣi+1,j-1〜Ｃi+1,j+1から導き出される。式（２５）のソーベルフィルタの中央行及び列は、それぞれ０であり、他の係数は１及び２であるので、Ｔijに関するｐ及びｑは、以下のように計算することができる。
【数１４】
2009508200.tif 000017
ｉ＝ｊ＝２から始めると、ｐ及びｑは、行の最後に達するまでｊが１だけ増分され、並びにこうした各配列の評価式（２６）及び（２７）によって連続する３ｘ３ピクセル配列について計算され、次いで、ｊが１だけ増分され、この処理は、画像全体が変換されるまで第２行その他に関して繰り返される。この変換された画像は、以下では「ソーベルのシアン色」画像又は画像平面と呼ぶ。
【００６０】
ソーベルフィルタは、両側の一方又は他方上に隣接するピクセルがない画像エッジにおけるピクセルについて、すなわちＮ行Ｍ列のピクセル配列においては値を計算することができず、エッジピクセルは、最上行及び最下行並びに第１列及び最終列にあり、又は変換後の画像ピクセルＴ11〜Ｔ1M、ＴN1〜ＴNM、Ｔ11〜Ｔ1N及びＴ1M〜ＴNMにある。ソーベルフィルタリングの規約によって、これらの端部ピクセルは０に設定される。
【００６１】
４２において、ステロイド又はタンパク質分析におけるそれぞれの特徴部尺度ｆmが、以下の式（２８）により図３の段階３０において選定されたタイルの各々について計算される。
【数１５】
2009508200.tif 000018
ここで、Ｅは式（２）を用いて計算され且つ評価される現在のタイル内の全ピクセルにわたって平均化されたエントロピであり、Ａは、タイル面積（現在のタイル内のピクセルの数）であり、ｃ及びｃｅは、一般な又はそれぞれｊ番目のピクセルｃj及びｃｅjを有するシアン色画像及びソーベルのシアン色画像、μc及びμceは、それぞれ、シアン色画像及びソーベルのシアン色画像の平均値、σc及びσceは、それぞれ、それらの画像の標準偏差である。Ｃpeについての式は、各タイルについて順番に、すなわち、各場合における現在のタイルについて、該タイルのシアン色画像及びソーベルのシアン色画像ｃ及びｃｅ内の全ての関連の同様に配置された又はｊ番目のピクセルｃj及びｃｅjが、それぞれの閾値Ｔ1及びＴ2と比較されることを意味しており、Ｔ1より小さい各ｃjが、利用可能なＴ2より大きい各ｃｅjと論理和をとられ、各タイルについての論理和演算の結果が総和される。次に、総和演算の結果は、タイル面積Ａによって除算され、現在のタイルに関する特徴部尺度への寄与であるＣpeを提供する。これは、現在選定されている全タイルに関して繰り返される。
【００６２】
平均値及び標準偏差は、以下のように計算される。便宜上、命名法の変更が行なわれ、ｉ及びｊを単独ピクセル指数ｋに置き換え、すなわち、ｉ，ｊ＝１，１〜Ｎ，Ｍをｋ＝１〜ＮＭに置き換える。ここで、Ｎ及びＭは元の画像寸法であり、この指標ｋは、２次元画像を画像の連続する行から構成された単独の複合ラインとして扱う。以下の式（２９ａ）〜式（３０ｂ）は、シアン色画像及びソーベルのシアン色画像内のピクセルｘk及びｘkeの平均値μc及びμce並びに標準偏差σc及びσceを計算するのに使用される。
【数１６】
2009508200.tif 000019
【００６３】
この点において、ループ３４〜３６又はループ３８〜４２のどちらが実施されるかに応じて、３６で癌グレーディング特徴部尺度のセットが導き出されるか、或いは、４２においてステロイド／タンパク質発現分析特徴部尺度のセットが導き出されるかのいずれかである。評価される各タイルにそれぞれ１つの特徴部尺度がある。いずれの場合においても、導き出された特徴部尺度のセットは、その各々がそれぞれのタイルについての特徴部尺度であるエントリ（ベクトル成分）を有するベクトルとして取り扱われる。４４において、これらのベクトル成分は、「クイックソート」と呼ばれるものを用いて（但し、いずれのソート技術も使用することができる）ソートされる。クイックソートは、Ｋｌｅｔｔｅ  Ｒ．、Ｚａｍｐｅｒｏｎｉｕ  Ｐ．著「Ｈａｎｄｂｏｏｋ  ｏｆ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  Ｏｐｅｒａｔｏｒｓ」、Ｊｏｈｎ  Ｗｉｌｅｙ  ＆  Ｓｏｎｓ（１９９６年）に公表された公知の技術であり、以下では説明されない。次に、このソートされたベクトル成分特徴部尺度は、大きさを降順にランク付けされ、最大値が最初に現れるようにする。ソート及びランク付けは必須ではないが、好都合である。
【００６４】
４６において、それぞれソートされ且つランク付けされた特徴部尺度であるベクトル成分を有する、累積分布関数ベクトルｃが導き出される。累積分布関数ベクトルｃは、単調増加しているベクトル成分を有するものであるが、特徴部尺度がソートされランク付けされると、このベクトルは、その成分が最大値を有する最小番号の成分ｃ1から単調減少するように計算される。従って、ベクトル成分は、逆順で評価され、すなわち、累積分布関数ベクトルｃの最終ベクトルエントリ又はベクトル成分ｃnは、特徴部尺度のソートされ且つランク付けされたベクトルの最終成分ｆmnに等しいように設定される。次に、累積分布関数ベクトルｃの連続する各成分ｃi（ｉ＝ｎ−１〜１）は、式（３２）に示すように、その前の成分ｃi+1と、ソートされ且つランク付けされた特徴部尺度ベクトルｆの現在の成分ｆiとの和に等しいように設定される。
【数１７】
2009508200.tif 000020
ここで、ｎはベクトルの成分の数であり、ｉ＝ｎ−１，ｎ−２，．．．．．．，１。
【００６５】
４８において、確率的サンプリングが適用され、これは、Ｇｏｌｄｂｅｒｇ  Ｄ．Ｅ．「Ｇｅｎｅｔｉｃ  Ａｌｇｏｒｉｔｈｍｓ  ｉｎ  Ｓｅａｒｃｈ、Ｏｐｔｉｍｉｓａｔｉｏｎ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ」、Ａｄｄｉｓｏｎ  Ｗｅｓｌｅｙ（１９８９年）による遺伝的アルゴリズムにおける無作為選定のために開発された公知の技術である。この技術はまた、図５の右上に符号１００で示したルーレットホイール選定と呼ばれ、すなわち、ホイールの１０２のような概念的に個々のスロットがその特徴部尺度に従って重み付けされ、よって、より大きなスロットをもたらすことになるスロットが、選定処理中に選定される尤度がより大きくなる。簡単な実施例でこれを説明すると、それぞれ重み０．２、０．３、及び０．５を有する３つの特徴値のみが存在する場合、これらには０〜０．２、０．２１〜０．５、及び０．５１〜１の区間が割り当てられ、０．２と０．２１の間、及び０．５と０．５１との間の値はいずれも切り上げられることになる。従って、区間長は重みに比例する。乱数発生元は、０から１の間の数を選定し、第１の値、第２の値、又は第３の値は、乱数が第１の区間、第２の区間又は第３の区間に現れるか否かに応じて選定される。従って、選定は無作為であるが、より大きな重みの特徴部尺度はより大きな選定確率を有する。
【００６６】
現在評価されているタイルのセットの部分集合は無作為に選定され、該部分集合は、このセットにおける他のタイルに比べて病理組織的測定目的に好適なより高い確率を有する。この段階において選定されるタイル数は重要ではない。ここでも同様に、無作為選定は必須ではないが、得られる結果が改善すると思われる。
【００６７】
実験から、次のタイルの数、すなわち有糸分裂で２０個、細管で７個、Ｃ−ｅｒｂ−２で５個、ＥＲ及びＰＲの各々で５個が選定され、多形性タイルは、以下で説明するように有糸分裂タイルの最終セットから選定される。標準的なライブラリ関数を使用して固有擬似乱数のセットが生成される。Ｐｒｅｓｓ  Ｗ．Ｈ．、Ｔｅｕｋｏｌｓｋｙ  Ｓ．Ａ．、Ｖｅｔｔｅｒｌｉｎｇ  Ｗ．Ｔ．、Ｆｌａｎｎｅｒｙ  Ｂ．Ｐ．著「Ｎｕｍｅｒｉｃａｌ  Ｒｅｃｉｐｉｅｓ  ｉｎ  Ｃ  ：ｔｈｅ  ａｒｔ  ｏｆ  ｓｃｉｅｎｔｉｆｉｃ  ｃｏｍｐｕｔｉｎｇ」、Ｃａｍｂｒｉｄｇｅ  Ｕｎｉｖｅｒｓｉｔｙ  Ｐｒｅｓｓ（１９９２年）、及びＫｎｕｔｈ  Ｄ．Ｅ．著「Ｔｈｅ  Ａｒｔ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｐｒｏｇｒａｍｍｉｎｇ」、ｖｏｌ．２、Ａｄｄｉｓｏｎ  Ｗｅｓｌｅｙ（１９８１年）を参照されたい。このような数の生成は、公知技術によるものであり、より詳細には説明しない。擬似乱数は、２つの数が同じではなく、生成処理が確実に終了するように生成が制限され、実験によりこの制限が５０回の試行に設定されるようにして生成される。
【００６８】
再度図５を参照すると、累積分布関数ベクトルｃは、ベクトル成分の大きさの降順で予め割り当てられたそれぞれのタイル指数ｘに関する成分で曲線１２０としてプロットされて図示されている。累積分布関数ベクトルｃの各成分は、それぞれ特徴部尺度であり、これらの成分はタイル指数ｘに関して降順でソートされるので、曲線１２０は単調減少している。上述のように選定された各擬似乱数はｙ軸位置として扱われ、すなわち、矢印１２２及び１２４によって示されているように、該乱数を用いて累積分布曲線１２０上の点に指数を付与し、当該ｙ軸位置を有する曲線上の点についてのタイル指数又はｘ軸値で示されるタイルが識別される。生成処理の終りにおいては、選定されたタイルの部分集合を示すタイル指数のセットが得られる。
【００６９】
５０において、タイルの選定された部分集合は、段階４４において説明したように、これらの特徴部尺度ｆmに従ってソートされ、次いでランク付けされて、最大ｆm値が最初に現れるようにｆmの降順で指数が与えられる。ソート及びランク付けは必須ではないが、好都合である。５２において、選定された部分集合のタイルの各々について、選定された部分集合内の他の全タイルｊと比較されるときには、指数番号ｉを有する現在のタイルの重複の量ｏｖiの見積もりが式（３３）を使用して行われる。
【数１８】
2009508200.tif 000021
ここで、ｘicは、ｘ（高さ）方向におけるタイルｉの中心の座標、ｘjcは、その方向におけるタイルｊの中心の座標、ｙicは、ｙ（幅）第２方向におけるタイルｉの中心の座標、ｙjcは、第２方向におけるタイルｊの中心の座標、ｈはタイルの高さ、ｗはタイルの幅、Ｎは、選定された部分集合内のタイルの数である。
【００７０】
５４において、式（３４）を使用して各タイルの特徴部尺度（段階３６又は段階４２から）及び重複測定値（段階５２から）に基づいて、新しい尺度Ｆiが得られる。
【数１９】
2009508200.tif 000022
ここで、ｆmi及びｏｖiは、ｉ番目のタイルの特徴部尺度及び重複測定値である。尺度Ｆiは、段階４８から選定されたタイルの各々に関して計算される（例えば、有糸分裂で２０個、細管で７個、並びにＣ−ｅｒｂ−２、ＥＲ及びＰＲの各々で５個）。特徴部尺度を最大にし、重複の量を最小にすることが望ましく、タイル間の重複は許容できるときには重複の最小化は必須ではないが、後続の組織学的パラメータの測定において冗長性が低減されることになる。特徴部尺度を最大化し重複を最小化するために、式（３４）の右辺の負の特徴部尺度−ｆmiと正の重複＋ｏｖiとの組合せについての最小値が導出される。実際には、最小値のセットが配置され、本実施例では、有糸分裂については２０個のうちの１０個が選定され、細管については７個のうちの２個、並びにＣ−ｅｒｂ−２、ＥＲ及びＰＲの各々については５個のうちの２個が選定され、多形性に関しては、２０個の有糸分裂タイルから２個が選定された。次いで、病理学者による後続の組織分析又は自動化技術についての本発明によるタイルの自動化選定が完了する。しかしながら、これらの最小値の数は経験から得られるものであり、本発明の技術は、他のタイルの数にも等しく有効であることは強調される。有糸分裂について選定されたタイルの数は、例えば、タイルを得るのに使用される顕微鏡の視野に関係している。「Ｐａｔｈｏｌｏｇｙ  Ｒｅｐｏｒｔｉｎｇ  ｏｆ  Ｂｒｅａｓｔ  Ｄｉｓｅａｓｅ」、ＮＨＳＢＳＰ  Ｐｕｂｌｉｃａｔｉｏｎ  ｎｏ５８（２００５年１月）において言及されているように、１０個よりも多い有糸分裂タイルを選定することができる。
【００７１】
前述の実施例において、本発明の自動化処理により評価されたタイルの数は、有糸分裂では１７５個、細管では７０個、並びにＣ−ｅｒｂ−２、ＥＲ及びＰＲの各々については１２５個であった。最終的に、組織学的評価のために選定されたタイルの数は、有糸分裂では１０個、細管、Ｃ−ｅｒｂ−２、ＥＲ、ＰＲ及び多形性の各々については２個であった。選定されたタイルのこれらの数は、元のスライド画像全体から得ることができる２５６個の重複のないタイルよりも極めて少ない。本発明のこの実施例は、評価されるタイルの６％よりも小さく、平均２．９％までタイルの数の削減を達成し、これは、組織学的評価の負担を大幅に軽減すると同時に、利用可能なタイルの良好な試料の調査を保証する。
【００７２】
本発明の適用には、
ａ）腫瘍と、
ｂ）細胞質又は細胞核又は支質、壊死、線維芽細胞、腺、腺管、皮膚、リンパ球、線維、管腔、弾性組織などの細胞の様々な部分の異常と、
ｃ）製剤、創薬における使用、すなわち詳細分析のための組織切片の特定、生物マーカ、及びタンパク質、ステロイド、又は他の種類の受容体のための創薬と、
が含まれる。
【００７３】
上記の説明において記載された処理は、キャリア媒体において具現化され且つ従来のコンピュータシステム上で動作する適切なコンピュータソフトウェアによって評価することができる点は明らかである。このようなソフトウェアは、画像全体におけるタイルの自動選定を実施するためのコンピュータ装置の動作を制御するコンピュータ可読命令を収容するコンピュータ可読媒体を備えた製品の形態とすることができ、該コンピュータ可読命令は、本明細書で前述した処理の段階を実施するコンピュータ装置を制御する手段を提供する。この性質からなるソフトウェアは、記載の処理は公知の数学的処理であるので、発明を必要とせずに熟練したプログラマーであれば実施が簡単である。従って、このようなソフトウェア及びコンピュータ装置又はコンピュータシステムは詳細には説明しない。
【図面の簡単な説明】
【００７４】
【図１】コア生検の切片位を含む組織試料を有する顕微鏡スライドの低倍率画像と、更に評価するために組織の領域の選定を示している概略図である。
【図２】本発明の処理のブロック図である。
【図３】図２における段階を実施する処理をより詳細に示すブロック図である。
【図４】図３の色画像変換段階において得られる色相ヒストグラムの概略図である。
【図５】図３に示す処理において使用する無作為選定処理の図である。
【符号の説明】
【００７５】
２  低倍率の顕微鏡スライド画像
４  コア生検標本組織
６  矩形画像領域
【図１】
2009508200.tif 000023
【図２】
2009508200.tif 000024
【図３】
2009508200.tif 000025
【図４】
2009508200.tif 000026
【図５】
2009508200.tif 000027
【国際調査報告】
2009508200.tif 000028
2009508200.tif 000029
2009508200.tif 000030