(57)【要約】      （修正有）【課題】被写体に焦点を合わせて分離する必要なしに、特定の分析を行うことができる試料の検査方法を提供する。【解決手段】顕微鏡を用いた試料の検査が、ニューラルネットワークにより自動化されて実行される。検査の第１段階のプロセスは、試料がタイプによって分類され試料の画像は互に接続した複数のセグメントに分割され、ニューラルネットワークにより検査される。試料は試料に対応しないタイプの細胞を含んでいたり構造的変化があった場合に病的であると分類される。検査の第２段階のプロセスはデジタル画像のセグメントが更に分割されその中に細胞検体が存在するかどうかについてチェックされる。次に細胞検体が単一の細胞か複数の細胞の複合体であるかについて確認される。検査の第３段階では検出された細胞が画像セグメントの境界内にあるかどうかについて確認される。境界内にある場合その画像は再び記録される。【選択図】図１
2007133859.tif 000002
【特許請求の範囲】
【請求項１】
スライドガラス上の試料を自動的に検査するシステムであって、
試料の最初の画像を記録し、ディジタル化信号を画像の個々の画像点に割り当てる記録手段、
最初の画像および個々の画像点を評価し、タイプによって分類する評価手段、
画像点を接続したセグメントに分割する分割手段、
前記分割手段に接続され、かつ各々のセグメントの画像信号を受信する入力ニューロンを含む第一のニューラルネットワーク、
前記分割手段に接続され、前記接続されたセグメントを分析するための第二のニューラルネットワーク、および
試料の分類に属していない細胞型が存在する場合、および／または細胞／組織の構造的変化が試料中に存在する場合に異常と分類するための分類手段
からなる
ことを特徴とするシステム。
【請求項２】
前記分類手段が、第二のニューラルネットワークによって実現されることを特徴とする請求項１記載のシステム。
【請求項３】
さらに第三のニューラルネットワークを含むことを特徴とする請求項１記載のシステム。
【請求項４】
前記第三のニューラルネットワークが前記分類手段を形成することを特徴とする請求項３記載のシステム。
【請求項５】
前記第一のニューラルネットワークが、細胞、細胞複合体、組織の部分およびアーチファクト構造の少なくとも一つが前記の各々のセグメントに存在しているかどうかを検査可能であるように適用されていることを特徴とする請求項１記載のシステム。
【請求項６】
前記第三のニューラルネットワークが、試料が上皮、内皮、結合組織、筋系または体液のうちの一つであるかどうかを検査可能であるように適用されていること特徴とする請求項３記載のシステム。
【請求項７】
前記第三のニューラルネットワークが、細胞および細胞複合体のうちの一つが前記それぞれのセグメント中に存在しているかどうかを検査可能であるように適用されていることを特徴とする請求項３記載のシステム。
【請求項８】
前記第三のニューラルネットワークが、それぞれのセグメントの分析および細胞被写体が該それぞれのセグメントの周縁を越えて突出しているときにはそれを認識可能であるように適用されていることを特徴とする請求項３記載のシステム。
【請求項９】
前記記録手段が、３０〜６００の倍率を有することを特徴とする請求項１記載のシステム。
【請求項１０】
前記記録手段が、少なくとも二つの層内の試料の画像を記録可能であることを特徴とする請求項１記載のシステム。
【請求項１１】
さらにステイニングを行なう前に試料中のＤＮＡまたはＲＮＡの少なくとも一つを増幅するための増幅手段を含むことを特徴とする請求項１記載のシステム。
【請求項１２】
試料の画像を記録し、ディジタル化信号を画像の個々の画像点に割り当てる記録手段、
個々の画像点を接続したセグメントに分割する分割手段、
前記分割手段に接続され、接続したセグメントの各々のセグメントの個々の画像点を受信する入力ニューロンおよび出力ニューロンからなる第一のニューラルネットワーク、
前記分割手段に接続され、入力ニューロンおよび出力ニューロンを有する第二のニューラルネットワーク、
前記分割手段に接続され、入力ニューロンおよび出力ニューロンを有する第三のニューラルネットワーク、前記第一のニューラルネットワーク内では、少なくとも一つの出力ニューロンは細胞被写体が各セグメントに存在することを示す活動を有する各セグメントに割り当てられ、
前記第二のニューラルネットワーク内では、各セグメントの個々の画像点は第二のニューラルネットワークの入力ニューロンに送られ、かつ前記第二のニューラルネットワークの少なくとも一つの出力ニューロンが個々の細胞もしくは細胞複合体がセグメント内に存在しているかどうかを示す活動を有する各セグメントに割り当てられ、
前記第三のニューラルネットワーク内では、それぞれのセグメントの画像点は第三のニューラルネットワークの入力ニューロンに送られ、かつ第三のニューラルネットワークによって、細胞被写体が画像の境界に位置しているか否かの情報が得られ、
前記記録手段が前記第三のニューラルネットワークに接続され、画像の境界に位置する被写体が検出される場合に第三のニューラルネットワークによって特定されるセグメントのために完全な細胞被写体を含む第二の画像を記録し、高い倍率で細胞被写体が特定されるセグメントを記録してなる
ことを特徴とするシステム。
【請求項１３】
さらに前記第二の画像を分析するための第四のニューラルネットワークを含むことを特徴とする請求項１２記載のシステム。
【請求項１４】
前記記録手段が少なくとも二つの層内の試料の画像を記録可能であることを特徴とする請求項１２記載のシステム。
【請求項１５】
さらにステイニングを行なう前に試料中のＤＮＡまたはＲＮＡの少なくとも一つを増幅するための増幅手段を含むことを特徴とする請求項１２記載のシステム。
【請求項１６】
前記記録手段が３０〜６００の倍率を有することを特徴とする請求項１２記載のシステム。
【請求項１７】
前記第一のニューラルネットワークのそれぞれの出力ニューロンが１６×１６の入力フィールドを含むことを特徴とする請求項１２記載のシステム。
【請求項１８】
前記記録手段が４４０，０００画素のＣＣＤアレイを備えたＣＣＤカメラを含むことを特徴とする請求項１２記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動顕微鏡、ビデオシステム、およびニューラルネットワークを備えた評価コンピュータを用いて、スライドガラス上の組織の試料または体液を検査するシステムに関する。上記システムの詳細は、請求項１〜１８から分かる。
【０００２】
現在の技術水準で、コンピュータに連結されたビデオカメラ付き顕微鏡を備えてなる、試料検査用コンピュータ支援画像分析システムは公知である。ビデオカメラで記録された画像は、画像処理チップによってコンピュータに転送され、画像処理ソフトウエアを用いて、適切な方式でスクリーンに表示される。現在の技術水準の公知の方法では、ユーザが、顕微鏡を調節して、被検査領域に焦点を合わせねばならない。試料は、スクリーンに表示された画像に基づいて分析されるが、その画像は、任意に画像処理ソフトウエアによって支援され、コントラスト、色合いなどを変化させることができる。
【背景技術】
【０００３】
また、更に自動化された装置も、例えば、国際特許願公開第ＷＯ９１／２００４８号および同第Ｗ０７２／１３３０８号に記載されているように、現在の技術水準で公知である。これらの文献に開示されている装置は、カメラ付きの自動顕微鏡とコンピュータ支援分析システムを備えている。レンズの交換、焦点合わせおよび試料の移動は自動的に実施される。例えば、しきい値法のような特別の方法によって、画像情報からバックグランドを除くことによって、分析が実施される。
【０００４】
被写体は画像内に位置決めされ、次いで被写体を互いに離れさせる。位置を確認された被写体（通常は細胞）に焦点を合わせて、形態計測パラメータと写真濃度計測パラメータが測定される。次に、これらパラメータは、ルールベース法または多変量統計的方法で評価される。この方法の必要条件は、近接している細胞が、光学的に互いに隔てられていることである。なぜならば、さもないと、細胞を、形態計測パラメータと写真濃度計測パラメータに基づいて認識できないからである。このような方法は、文献“Automated Cervical Smear Classification”（IEEE/9th Annual Conference of the Engineering in Medicine and Biological Society，１４５７頁）に記載されている。この文献には、オーバーラップしている細胞の問題は、核を染色し、この染色に基づいて分類を行うだけで解決できると述べられている。
【０００５】
さらに、被写体の画像を、多変数空間内で分離線／分離領域によって互いに分離しようとする数学的最適化法が、現在の技術水準で公知である。また、ルールベース法と統計的方法も、被写体分離の問題を解決するために開発されている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、近接している被写体を有する試料の場合でさえ、被写体に焦点を合わせて分離する必要なしに特定の分析を行うことができる、組織の試料または体液の試料の検査方法を提供することである。
【課題を解決するための手段】
【０００７】
上記目的は、請求項１〜１８に記載のシステムで達成できる。特に、細胞、細胞複合体または組織学的構造体の画像が、分析領域の周縁部に存在しているのではなくて分析領域から部分的に突出する方法で形成されていることが、試料をニューラルネットワークで検査する場合に重要であることが分かったのである。本発明のシステムは、オペレータが、例えば形態計測パラメータや写真濃度計測パラメータのような誘導パラメータに介入しまたはこれを使用する必要がないシステムを提案している。驚くべきことには、個々の細胞に焦点を合わなかった場合でも、近接している細胞または細胞複合体を含んだ画像セグメントを、ニューラルネットワークで検査することができることが分かったのである。上記のことは予想外のことである。なぜならば、現在の技術水準で公知の方法は、細胞、細胞複合体または組織学的構造体のような個々の複写体を位置決めし、焦点を合わせて確認することに基づいているからである。
【０００８】
さらに、試料を分類することが有利であると分かり、そして、この分類を考慮して、ニューラルネットワークが、試料の分類に属していない細胞型が存在しているかどうか、または細胞または組織の構造的変化があるかどうかを検査する。この方法では、試料の画像をディジタル化し、得られた画像ポイントを、各々、個々に検査できる接続したセグメントに分割することが重要であることが分かったのである。
【０００９】
本発明は、断層撮影法、超音波法および顕微鏡法を含む医療画像診断法の技術分野の発明である。これらの方法のうち、顕微鏡診断法は、悪性疾患を除外するかまたは確認するのに最も重要な手段である。したがって、婦人科、泌尿器科または内視鏡の診察と手術を行う際に、試料が、腫瘍学的検査を行うため、病理学、細胞学、または血液学の研究室に日常的に送られている。試料物質には、細胞塗抹試料、細胞懸濁液もしくは細胞を形成する成分、または生検で得られる構造体もしくは組織切片が含まれる。
【００１０】
現在の標準の検査では、医師が、最初に、全細胞成分が存在しているか、これら成分が互いに正常な比率で存在しているか、そして、細胞核のクロマチン分布が正常かどうかを、細胞レベルで決定する。さらに、異常な細胞型が存在しているかどうかを細胞レベルで分析する。構造レベルでは、医師は、見出される細胞群が、採取された器官に相当するものであるかどうか、そして被験組織に対して一般的でない細胞型が生成しているかどうかを検査する。その上に、各種組織型間の境界が正常かまたは乱れているかが検査される。このような変化を起こす最も多い原因は、細胞の悪性変換である。
【００１１】
探索される試料中の構造の変化は通常、染色を行わずに目視することはできないので、特別の染色が使用される。標本は手作業でまたは自動染色装置を用いて染色され、その際、例えば腫瘍マーカーの抗体のような特定の免疫マーカーを使うこともできる。いわゆるｉｎ  ｓｉｔｕハイブリッド形成法では、細胞ＤＮＡの腫瘍遺伝子部分に結合する特別のＤＮＡプローブを用いて腫瘍遺伝子を見つけ出す。ＰＣＲ法は、中間の増幅ステップによって、特定のＤＮＡまたはＲＮＡの各種染色法に対して適当な量の元の腫瘍細胞を生成して検出する特別の実施態様である。次いで、この方法で標識された組織の成分または細胞は、先に述べた顕微鏡分析に利用できる。
【００１２】
従来、医師が実施してきた検査を自動化できるように、多変数統計的方法による決定規則を公式化する試みが細胞レベルで行われている。この分野の自動化は極めて重要である。というのは、検査の数は引続き増大し、かつ必要な適格の研究室スタッフが不足している場合が多いからである。癌性変化が早期に認識されると、患者の病後の経過の医学的見通しが根本的に改善される。細胞と器官の細胞および構造の変化が自動的に評価されると、腫瘍を早期認識する新しい可能性が開かれて、治癒する可能性が著しく増大する。
【００１３】
本発明は、これらの問題に関し、組織の試料または体液の試料の自動検査法を提案する物である。
【００１４】
本発明の方法で検査できる試料は、例えば、組織の切片、塗抹標本、細胞塗抹標本、ならびに血液、尿、穿刺液などの体液である。試料は、検査する場合、検査できる試料の薄層が得られるように、スライドガラス上にのせる。
【００１５】
本発明の範囲内で、細胞、細胞複合体、組織学的構造体などは、ニューラルネットワークによって検査される。これらのものは、以後、総合的に細胞被写体（cell object）と呼称する。これらのものには、記録された画像の周縁に位置しているものおよび一部分だけ入っている被写体も含まれる。
【００１６】
試料は自動顕微鏡で分析される。現在の技術水準で知られている顕微鏡（例えば国際特許願公開第ＷＯ９１／２００４８号）は、焦点合わせを調節する装置と所望の画像セクションを調節する装置を備えている。試料を横に移動させるこのような装置の最も新しい例は、スライドガラスを、平面内で移動させることができるクロステーブルを備えている。さらに、本発明の方法を実施するのに用いる顕微鏡は、レンズとフィルターを自動的に変換する装置も設けることができる。
【００１７】
ビデオシステムのセンサが、上記顕微鏡の画像平面内に配置されている。最新のビデオカメラは、４４０，０００個の画素を有する１／２インチのＣＣＤプレイを有している。画像を記録するのに使用するフレームグラッバー（flame grabber）は、１０２４×１０２４または５１２×５１２の画素のアレイを提供する。出力値としてグレイ（白黒濃度）値を与えるＣＣＤアレイ、およびカラー値（赤−緑−青値）を与えるＣＣＤアレイが知られている。
【００１８】
試料を自動的に検査する本発明のシステムは、さらに、前記ビデオシステムと前記顕微鏡に接続された評価コンピュータを備えている。このように利用される評価コンピュータは、そのビデオシステムによってその評価コンピュータに与えられる信号を読みとる働きをするいわゆる“フレームグラッパー”を備えている。
【００１９】
評価コンピュータはさらに、焦点合わせおよび顕微鏡のレンズに対する試料の横方向への移動を制御するために顕微鏡を制御する装置を備えている。
【００２０】
評価コンピュータは、現在の問題点を解決するため、高い演算能力をもっていなければならない。特にいくつものニューラルネットワークが評価コンピュータ内で使用される。
【００２１】
ニューラルネットワークは、生物学的な脳の機能の数学的モデルとして使用される。適切なネットトポロジー（net topology）と処理機能を選択することによって、複雑な思考と決定を、コンピュータでシミュレートする試みがなされている。人工ニューラルネットワークに関する基本的な知見は、ＲｕｍｍｅｌｈａｒｔとＭｃＣｕｌｌｏｃｈが、著書“Paralled distributed procssing:Explorations in the microstructure of cognition”に提供されている。現在、１００種を超えるネットワークモデルが多数の接続特性や機能とともに存在している。ニューラルネットワークが機能する原理の方式を図１に示す。いわゆる入力ニューロンが、隠れニューロン（hidden neuron）に接続されているニューラルネットワークの入力側に配置されている。各ニューロンは、外部信号の形態で、または他のニューロンからの出力として、一つ以上の重み付けされた入力を有している。正および負の重み付けが可能である。重み付けされた入力の合計は、順に他のニューロンを制御する出力値、またはネットワークの出力値として働く単一もしくは複数の出力値に、伝達関数を通じて伝達される。図１に示す隠れたニューロンは、出力ニューロンと接続されている。勿論、隠れニューロンの領域は、かなり複雑な構造を有し、複数段の内部結合レベル（interlinked level）で構成されていてもよい。特定の機能を有するすべてのニューロンを総括して、層、例えば入力層と呼称される。現在の技術水準で知られているニューラルネットワークの組織構造のうち、Ｐｅｒｃｅｐｔｒｏｎ、Ｈｏｐｆｉｅｌｄ、ＫｏｈｎｅｎおよびＧｒｏｓｓｂｅｒｇのモデルの分類だけを本明細書で述べる。トポロジー以外のネットワークの最も重要なパラメータは、ニューロンのベースポテンシャルと、ニューロン間結合の強度である。これらのパラメータを設定するため、代表的な訓練のセット（training set）をネットワークで何度も評価する。各評価サイクルの後、重み付けとベースポテンシャルは変更され、新たに設定される。この繰返しは、平均の誤まり率が予め決められた最小値より小さい値に低下するか、または予め決められた問題に関連する停止基準に到達するまで実施される。試験のセット（test set）もまた、トレーニングの規準としての目的のために、繰返し評価される。
【００２２】
本発明は、特に、異なるタスクを有するいくつものニューラルネットワークを使用することを特徴とするものである。ニューラルネットワークで分析する場合、ディジタル化された画像を、好ましくは同じ大きさの接続しているセグメントに分割し、得られたセグメントを、ネットワークで別個に評価する。
【００２３】
検査される試料は、第一に、分類することが重要である。これはオペレータが実施してもよく、または試料のディジタル化画像をニューラルネットワーク（ＮＮα）で検査してもよい。
【００２４】
本発明の方法では、試料の画像が第一に記録され、次に、個々の画像点が、その画像のディジタル化信号に割り当てられる。得られた画像点は、接続したセグメントに割り当てられ、そのセグメントは別々に評価される。これらのセグメントは、セグメントのディジタル化画信号を入力ニューロンに送ることによって、ニューラルネットワークＮＮβiで検査される。
【００２５】
第一の分類にかかわるニューラルネットワークＮＮβiの場合、そのニューラルネットワークは、細胞、細胞複合体、組織の一部、またはアーチファクト（artifact）構造体がそれぞれのセグメント内に存在しているかどうかを検査する。代わりにまたは追加して、試料の組織が上皮、内皮、結合組織または筋系であるかどうか、または体液が存在しているかどうかを検査するニューラルネットワークＮＮβ2によってさらに分析を行うことができる。
【００２６】
さらに、細胞または細胞複合体がそのセグメント内に存在しているかどうかを検査する第三のニューラルネットワークＮＮβ3による分析を行うことができる。最後に、それぞれのセグメントの周縁から突出している細胞被写体を検出する第四のニューラルネットワークＮＮβ4による追加の検査を行うことができる。この場合、全細胞被写体が分析される。細胞被写体が、画像がすでに記録されている他のセグメント中に延出している場合、その細胞被写体は、それがこれらセグメントの中の一つの中に完全に入るような方式で新しいセグメントを作ることによって検査することができる。しかし、細胞被写体が、ビデオシステムによって記録されている画像から突出している場合、細胞被写体を完全に包含する別の画像を記録する必要がある。
【００２７】
一つの検査で、上記諸分析のうちの一つだけを利用するか、または適切な方式で互いにネットワークを組み合わせることができる。しかし、一試料に対し、前記４種のすべてのニューラルネットワークを使用することが有利である。
【００２８】
本発明の方法では、これらセグメントは、１種以上のニューラルネットワークＮＮγiでさらに分析され、試料の分類に属していない細胞型が存在しているか、または細胞もしくは組織が構造的に変化している場合、病的であると分類される。異種の細胞型または構造の変化があるかどうかを検査するため、試料の分類を分析に組み入れることが重要である。特に、試料の分類の知識に基づいて、ニューラルネットワークＮＮγiを選択することが有利である。その結果、例えば、実際に存在する各分類の試料に対するニューラルネットワークであって、試料の特定の分類に対して訓練されたネットワークのセットを提供することが考えられる。ニューラルネットワークＮＮγiでセグメントを分析するのに、一つ以上のネットワークを使用するかどうかは、それぞれの問題の複雑さによって決まる。
【００２９】
それぞれの試料が異常であると分類されたならば、異常が見られた、それぞれの単一もしくは複数のセグメントの画像をより大きい倍率で記録して検査する追加の検査を行う方が好ましい。この新しい記録はすでに述べたように再び分割し、次いでニューラルネットワークＮＮβiをすでに実施したように低分解度（low resolution）で利用する。最後に、ニューラルネットワークＮＮγiを用いてより大きい倍率で記録を行い、次いで該ネットワークは、試料の分類に属していない細胞型が存在しているかどうか、または細胞／組織の構造的変化があるかどうかを再び検査する。この場合、低倍率で得た画像で行った診断が確認される。高倍率の画像をモニターに直接示して熟練オペレータが視覚で分析できるように計画することもできる。
【００３０】
すでに述べた方法に加えて、本特許願の課題は、３種の分類のニューラルネットワークによる分析を有効な方式で実施できる方法を示す別の自動顕微鏡検査法である。すでに述べた方法と以下に述べる方法は互いに組み合わすこともできる。
【００３１】
上記方法は、より総合的に、図５の流れ図に示してある。
【００３２】
本発明の第二の方法では、第一ニューラルネットワークは、細胞被写体が、このニューラルネットワークの入力層に割り当てられたセグメント内に位置しているかどうかについて、ビデオシステムのディジタル化信号を分析する働きをする。この第一ニューラルネットワーク（ＮＮA）は、好ましくは、各出力ニューロンが入力フィールドの１６×１６の画素画像に割り当てられる構造を有している。したがって、これは、５１２×５１２画素を有するＣＣＤカメラ用の３２×３２の出力フィールドになる。ニューラルネットワークＮＮAおいて、およびＮＮBとＮＮCにおいても、ディジタル化画像点が、各場合、入力ニューロンに割り当てられる。各場合の本発明のニューラルネットワークは、１セグメント当たり単一の出力ニューロンを有していることが好ましい。
【００３３】
望ましい情報をこれら出力ニューロンから簡単な方式で読みとることができるならば、１セグメント当たりいくつもの出力ニューロンを有するＮＮを使用することも勿論可能である。この第一ネットワークのタスクは、細胞被写体が、どのセグメント内に位置しているかを決定することである。この分析を行うには、使用されるニューラルネットワークを適切に訓練する必要がある。特に、そのネットワークによって後に分析されることになっているのと同じ分類の試料を用いてそのニューラルネットワークを訓練することが有利であることが分かった。望ましい作動を達成するために行うニューラルネットワークの訓練は、現在の技術水準でよく知られているので、ここではこれ以上詳細には説明しない。
【００３４】
分析の結果、細胞被写体がどのセグメント内に存在しているかという情報が得られる。これは、各セグメントに割り当てられている単一もしくは複数の出力ニューロンの活動によって得られる。
【００３５】
細胞被写体が検出されたこれらセグメントは、それぞれのセグメントのディジタル化信号をＮＮBの入力ニューロンに送り、かつ好ましくは一つの出力ニューロンを、その活動が、個々の細胞もしくは細胞複合体がそれぞれのセグメント内に存在しているかどうか示す各セグメントに割り当てることによって、第二ニューラルネットワーク（ＮＮB）で分析される。また、この用途に対して適切なニューラルネットワークは、既知の組成の試料で訓練することによって得ることができる。ニューラルネットワークＡと同様に、この場合も、同じ分類の試料で訓練することが有利である。ニューラルネットワークＡによって、細胞被写体がセグメント内にすでに検出されたセグメントのみをニューラルネットワークＢで分析するという方法は、評価しなければならないセグメントの数を大きく減らすことができて、計算時間が節約されるという利点がある。
【００３６】
したがって、この方法は、ごく少数の細胞被写体しか画像中に存在しないとき（まれな事象の検出）に特に有利である。
【００３７】
さらに、本発明の方法の信頼性を得るには、細胞被写体が、画像の境界に位置しているかまたはごく一部分だけ画像内に含まれているかを検査する必要があることが分かった。これを排除するため、画像の境界に位置しかつ細胞被写体が見出されたセグメントを分析する第三のニューラルネットワーク（ＮＮC）を使用する。ニューラルネットワークＣによって、特定のセグメント内の画像境界に細胞被写体が存在するかどうかの情報が得られる。この場合、細胞被写体が完全に包含されている試料の別の画像が記録される。この場合、自動顕微鏡が、試料とレンズが横方向に逆方向へ移動するように、評価コンピュータによって操縦される。この操縦は、例えば、電動機で駆動されるクロステーブルで達成される。
【００３８】
分析ステップをニューラルネットワークＮＮA、ＮＮBおよびＮＮCで実施した場合、細胞被写体が検出されたセグメントは高い倍率で再び記録される。この方式で得られた画像は、例えば、オペレータによって目視で分析できる。しかし、これらの記録は別のニューラルネットワーク（ＮＮD）で評価することが有利である。このネットワークは、試料が病的であるとみなすことができるかどうかを分析する。
【００３９】
ニューラルネットワークの樹木状接続部および交差部で起こる分類方式と評価方式は、正常な試料と病的な試料を分類するのに用いることができる理想的な分類規準になる。したがって、上記システムを利用中に、ノウハウのデータベースが成長する。局部的に（すなわち個々のシステムに）生じる各種の上記データベースは接合されて基準データベースが得られる。評価する専門家は、彼自身が検査するのに用いる基準として、この基準データベースから、正常試料また病的試料を提供される。
【００４０】
以下の有利な実施態様は、前記両検査法に関する。
【００４１】
本発明の方法の特徴は、どのステップでも、顕微鏡は個々の細胞または構造に焦点を合わせないということである。焦点を合わせることは、試料の適切な層の画像を記録する場合にしか必要でない。細胞を診断する自動画像分析に用いる現在の技術水準で知られている方法は、細胞または細胞集合体の位置を局限し、これらを、形態計測パラメータと写真濃度パラメータについて分析する方法である。したがって、本発明の方法が、個々の被写体に焦点を合わせなくても、高い確実度で病的な構造変化を検出できることは驚くべきことである。
【００４２】
ビデオシステムがその細胞または細胞群に焦点が合わされていない試料のいくつもの層の画像を記録することが特に有利であることが分かった。各種の層が重なっているセグメントからの情報を組み合わせてより正確な分析を行うことができる。
【００４３】
試料を分類することは有利であるとすでに述べたが、これは、適切なニューラルネットワークがこの情報に基づいて選択できるからである。したがって、評価コンピュータは、各種の試料の分類に適応した多数の各種のニューラルネットワークを自由に利用できる方が好ましい。試料の分類が分かっている場合、適切なニューラルネットワークを、本発明の方法の評価ステップに自動的に使用できる。試料自身の分類は、起源によって分類するユーザが実施してもよく、または、各種試料の分類を互いに区別するため特殊化されている別のニューラルネットワークを使用してもよい。
【００４４】
日常的に使用するため、試料の分類については、試料が置かれているスライドガラスに標識を付ける（例えばバーコードで）ことが好ましい。この情報は、（例えばバーコードリーダで）、検査手順が始まる前に読み取ることができるので、この情報は、評価コンピュータに転送されて適切なニューラルネットワークを選択に利用することができる。
【００４５】
顕微鏡が作動する倍率は、ニューラルネットワークＮＮA、ＮＮBおよびＮＮCを用いるステップの場合、３０〜２００の範囲内であり、好ましくは約１００である。細胞被写体が検出されたセグメントを分析するための高倍率での記録は、２００〜６００の倍率、好ましくは約４００の倍率で実施する。
【００４６】
各入力ニューロンが１６×１６の入力フィールドを割り当てられるニューラルネットワークＮＮAとＮＮBを使用すると、実際に有利であることが分かった。
【００４７】
また、上記の方法は、その方法で、組織試料の三次元顕微鏡検査を実施できるような方式に改変することもできる。この場合、切片は、上記方法で各々検査される組織試料から調製される。この目的を達成するため、切片は、分析が完了した後、評価結果を試料中の元の部位に割り当てることができるように規定された方式で調製される。組織切片は、その断面が互いにほぼ平行なものを用いることが好ましい。組織試料のこのような検査は、現在の技術水準の手作業による、または部分的に自動化された方法では不可能であった。この三次元の特に好ましい実施態様では、これら切片は、２種類以上の調製法で標識化される。例えば、第一切片はヘマトキシリンで標識化し、次の切片を免疫組織化学的標識で、そしてその次の切片をｉｎ  ｓｉｔｕハイブリッド形成法で標識化することができる。その次の切片を再びヘマトキシリンなどで標識化してもよい。
【００４８】
いくつもの切片および標本から得たデータが論理的に統合されたならば、これらの三次元標本の分析結果は、４Ｄスライドマップ（4D slide-map）に対応させることができる。同じ効果は、生検試料の切片を代わりに、例えば、異なるエピトープ特異性を有する抗体および蛍光標識を用いるいくつもの標識化法で調製するときにも得られる。個々のＲＧＢ画像成分を選択することによって、試料のいくつもの三次元顕微鏡画像を得ることができる。この場合の各蛍光の波長は、他の試料特性に対応している。４Ｄスライドマップは、医師が、試料のトポロジーと細胞の特性（標識の分類）について調べることができるデータを論理的に統合することによって形成される。個々の画像のデータセットをぼかしたりまたはマスクすることによって、試料の各種の画像を選択することができる。これは、診断の仮説を立証または反証する場合、システムのユーザを著しく助ける。
【００４９】
上記スライドマップのその外の用途は、そのマップから、適切なソフトウェアモジュールで各種の画像を作る用途である。これによって、観察者は、試料を各種の空間方向から見ることができる。このことは特に重要である。なぜならば、特に病的な試料中の各種細胞型は均一に分散していなくて局部的に集まって存在している傾向があるので、前記方法で位置を確認しやすいからである。
【発明を実施するための最良の形態】
【００５０】
本発明の方法の使用を、さらに、下記の用途実施例によって説明する。
【００５１】
血液学的な細胞の分類
血液学的な細胞の分類における主なタスクは以下のとおりである。
【００５２】
定量的または定性的な血球数の測定、および例えば白血病とリンパ腫のような悪性の血液学的疾患の検出と区別である。
【００５３】
この分析を行うため、血液塗抹または胸骨の穿刺塗抹を先に述べた方法で調製し、次に本発明の方法で評価する。この用途では、選択されたセグメントが全細胞を含有していなければならないということは無条件に必要なわけではなく、実際に、セグメントが細胞の一部しか含有していないときもそのセグメントを評価することができる。この用途で、色は重要な情報源であるから、画素の色情報は、ＲＧＢ（赤−緑−青）系またはＨＳＩ（色相−彩度−強度）系で分析することが好ましい。
【００５４】
尿沈渣の検査
尿沈渣を検査する場合、より定性的な診断が必要である。尿沈渣が大細胞（円柱状）の場合、これら細胞を高い信頼性で検出することが最も優先されるが、赤血球の場合は、その数の方が重要である。
【００５５】
組織学的検査
組織学の試料は、現在、臨床上の問題によって、非常に異なる方法で分析されている。手術室からの組織試料は、例えば、試験結果が手術の手順を進行させるのに重要な場合、迅速法で分析される。第二の分類の試料は生検によって得られる試料である。この場合、試料は、内視鏡的超音波検査またＸ線断層撮影検査を行っている際、体内にソリッドマス（solid mass）が検出された場合、生検針で採取するかまたははさみで切り取る。このような試料の分析には一般に約１週間掛かる。第三の分類の試料は、手術中に採取されるが、直ちに分析することはない。第四の分類の試料は、識別して診断することが困難な試料であり、診断センターに送られる。
【００５６】
この場合、組織学上の試料または生検試料を直接分析することに加えて、ＤＮＡステインと免疫組織化学ステインも考慮する。これらの試料は非常に異なっているので、この用途の場合、それぞれの分類の試料に対して適切なニューラルネットワークを選択することが特に重要である。最終の分析を実施するネットワークは、この分類の組織中に通常存在している構造体と、異常な変化が原因で存在しているかまたはこの種の試料中には通常存在していない構造体に起因している構造体とを区別する。起こりうる症例の分類が非常に異なるので、ニューラルネットワークが、異常であると認識された構造体を局限し、そしてその構造体をディスプレイでオペレータに表示して別の分析を実施できるようにする分析法が好ましい。一方、この場合、起こりうる症例の形態に適合した特異的な診断ニューラルネットワークを使用することもできる。
【００５７】
免疫組織化学的検査
免疫組織化学反応によって特異的な診断が容易になり、かつ病後の経過が見通しやすくなる。現在、各種の免疫組織化学的評価法がある。細胞懸濁液の場合、フローサイトメトリーを使用できるが、この評価に用いる信頼性の高い腫瘍マーカーまたはマーカーパターンまでは入手できない。
【００５８】
テレビ画像サイトメトリーによって、個々の細胞の免疫組織化学反応を、定性的のみならず定量的に測定することも可能である。組織学的試料は、現在まで引続いて、顕微鏡で手作業によって測定されてきたが、染色された標本および各種抗体で標識した標本を得るのに要する時間は５〜３０分間である。免疫化学反応の強さは、“＋”または“＋＋”または“＋＋＋”のマークで表される。特定の腫瘍の場合、正の核反応と細胞質反応が区別される。
【００５９】
ニューラルネットワークに基づいたシステムは、特定の抗体で染色された標本の画像を、画像セグメントに分割し、これらの画像を陽性の反応があるかどうかについてチェックする。そのニューラルネットワークは、メーカーが訓練することが好ましく、各試験法に対し特別の訓練を行わねばならない。解決すべき問題の困難度によって、例えば異なる試験法に対していくつもの構造が異なるニューラルネットワークを使うこともできる。分析システムが、バーコードまたは手作業プログラミングを通じて、現在要求されている試験法を受ける場合、適当なネットワークの分類と有効なネットワークパラメータが自動的に選択される。そのネットワークは、画像セグメントに対してｙｅｓ／ｎｏの決定だけをしていればよいので、分析は極めて迅速に進行する。
【００６０】
免疫組織科学的評価は、試料を特定の抗体で染色した後、ニューラルネットワークで実施することができる。試料の画像は各種の画像セグメントに分割され、これらセグメントは、抗体との陽性の反応についてチェックされる。この用途では、各試験法に対して特定のニューラルネットワークを訓練することが重要である。解決すべき問題の困難度によっては、異なる試験法に対していくつもの構造が異なるニューラルネットワークを使用することもできる。特にこの用途では、現行の試験法を、バーコードまたは手動のプログラミングを通じて分析システムと連通させて、その分析に適切なニューラルネットワークを使用できるようにすることが有利である。
【００６１】
ｉｎ  ｓｉｔｕハイブリッド形成法
ｉｎ  ｓｉｔｕハイブリッド形成法は、特定のＤＮＡセグメントを検出するのに役立つ。この方法では、細胞ＤＮＡがまず変性され、次いで標識化システムを備えたＤＮＡプローブが添加される。反応が完了した後、細胞がプローブを取り込んだかどうかを確認し、次にプローブをいくつ取り込んだかを確認する。
【００６２】
最も重要なタスクは、標識をつけて、反応を分析することである。試料を自動的に調整する装置が開発されつつあるので、反応の分析の自動化に関心が増している。ニューラルネットワークによって、第二の作業集約的ステップ（work-intensive step）すなわち画像分析を簡略化しかつ短時間で実施することができる。さらに、この分析は、いくつものステップで、定性的（陽性／陰性）のみならず半定量的にも実施できる。
【００６３】
実施例１：ニューラルネットワークＡによる分析
図２はスライドガラス上に置かれている被分析被写体の画像を示す。この画像は電子メモリに読み取られてさらに処理される。図３は、ＸＹ面に置かれた試料被写体の光強度分布をＺ軸方向に示す。ここに示した単色強度の測定の代わりに、赤、黄および青の色の強度を測定して、それを、その後の分析の基準として利用することが有利である。
【００６４】
図３に示す強度分布の分析結果を、図４に図式的に示してある。強度分布の上方に画かれているラスタは、画像がセグメントに分割されている分画を示す。ニューラルネットワークは、ここのセグメントを分析し、組織試料がそれぞれのセグメント内に存在しているかどうかをチェックする。その後の検査では、これらの画像セグメントだけが検討される。
【００６５】
実組織の試料の場合、強度の情報を、ニューラルネットワークを用いて、異常について、さらに検討する。このような異常が見出された画像セグメントは、脈管被写体、ニューロン複合体および直接の病理変化を区別できる別のニューラルネットワークで分類される。
【００６６】
上皮／内皮器官の場合、ニューラルネットワークは、被分析被写体が結合組織、筋系、上皮または内皮を含有しているかどうかを分析する。別のニューラルネットワークは、侵襲性過程を検出するため上皮と結合組織の境界を分析する。さらに別のニューラルネットワークを使用して、結合組織が上皮／内皮の細胞島を含有しているかどうかを検査することができる。その外のニューラルネットワークは、脈管複合体またはニューロン複合体についてセグメントを検査することができる。
【００６７】
実施例２：ニューラルネットワークによる組織型の区別
試料の顕微鏡画像の作成
この実施例では、胃の生検で得た試料を検査する。試料の大きさは３ｍｍ×８ｍｍであり、ヘマトキシリン−エオシンを染色に使用する。Ｚｅｉｓｓ  Ａｘｉｏｐｌａｎ  ２  ＭＯＴ顕微鏡を用いて自動的に写真をとり、Ｏｌｙｍｐｕｓ  ＢＨ２顕微鏡を用いて、手作業でその写真を記録する。Ｇｒｕｎｄｉｇ  １／２″ＣＣＤカメラを用いてカラー写真をとるが、これは黒／白画像もとることができる。あるいは、“Stemmer Datentechnik”製のカメラを使用することもできる。データ圧縮なしでは、４０μｍ×４０μｍの画像部分に対し約１Ｍｂｙｔｅのメモリ容量が必要であるが、ＪＰＥＧ仕様の圧縮によって、メモリの必要性は、画像情報を著しく損失することなしに、約１０〜２０％まで減らすことができる。これら個々の画像は、全セグメントにわたって画像の内容を電子的に検査することができるような方式で記憶される。
【００６８】
ニューラルネットワークによる決定木のシミュレーション
ニューラルネットワークＡは、すべての部分的画像を、生物学的物質が存在しているかどうかチェックして、“空の”セグメントはすべて廃棄／消去する。この分析結果によって、組織試料の位置がプロットされているスライドガラスの区分された“マップ”が得られる。このスライドマップはコンピュータに記録され、その後の検査と分類に対する基準として役立つ。
【００６９】
ニューラルネットワークＢは、これらセグメントが上皮を含有しているかどうかを検査するのに使用される。評価結果が陽性の場合、決定木が“ニューラルネットワークＢ１とＢ２に分枝する。ネットワークＢ１は、他の組織型も存在しているかどうか、および上皮の境界領域が存在しているかどうかをチェックする。ネットワークＢ２は、上部と下部の上皮領域を区別する。
【００７０】
上皮が存在しない場合、ニューラルネットワークＣが、セグメントが結合組織または筋系を含有しているかどうかをチェックする。
【００７１】
画像セグメントのその後の検査は、ニューラルネットワークＤとＥによって行われる。ネットワークＤは、病的細胞または病的細胞群を有する上皮を探索する。ネットワークＥは、上皮島を含有しているどうかについて結合組織のセグメントをチェックする。
【００７２】
個々の分析の要約
個々の分析結果は、段階的にスライドマップに入れられ、医師は決定基準として利用できる。可視化するため、各種の組織型を、異なる色で表す。例えば、上皮を緑色、結合組織を黄色、筋系をオレンジ色で示し、病的領域を赤で表す。この表示の利点は、各種の組織型を区別するのに加えて、それらのお互いの相対的な大きさと位置を見ることもできることである。適当な分析用具によって、さらに、マウスクリックによって、スライドマップ上に、画像セグメントを直接呼び出すことができる。
【００７３】
実施例３：ニューラルネットワークによる増殖中の細胞の検出
試料の顕微鏡画像
この実施例では、ヘマトキシリンで染色した胃の生検由来の標本を、ＰＣＮＡ抗体系を用いて検査する〔この抗体は増殖細胞各抗原（proliferation cellular nuclear antigen）に対する抗体であり、アビジン−ビオチン−ペルオキシダーゼ系で標識されている〕。陽性の反応性を有する細胞核は薄い褐色に染色され、そして陰性の反応性の細胞は薄い青色になる。
【００７４】
画像セグメントの自動記録を、実施例２に記載したのと同様にして実施する。黒／白の画像およびＲＧＢの３色成分を提供するＧｒｕｎｄｉｇカメラ８３０Ｉを使用する。
【００７５】
ニューラルネットワークによる決定樹のシミュレーション
黒／白の画像に基づいて、ニューラルネットワークＡは、どのセグメントが上皮由来であるかをチェックする。これらセグメントは、次に、陽性染色を呈する中心があるかどうかについてニューラルネットワークＢによって検査される。
【００７６】
個々の分析の要約
これら分析の結果はスライドマップに入れられ、例えば、ポジティブの上皮領域は褐色でありネガティブの上皮領域は緑色であり、上皮なしの領域は黄色である。腫瘍の転移は、スライドマップで、迅速にかつ高い信頼性で検出することができる。
【００７７】
実施例４：標本中の組織型の空間分布
規定の距離を置いていくつもの平行な切片を生検試料から採取する。試料の作製、画像の記録、および各種のニューラルネットワークによる分析を、実施例３に記載したのと同様にして実施する。分析は、個々の切片のデータが論理的に総合され、集められた生検試料の三次元の表示が、延長された分析プログラムによって得られるように実施する（３−Ｄスライドマップ）。
【図面の簡単な説明】
【００７８】
【図１】ニューラルネットワークの決定樹を示す説明図である。
【図２】スライドガラス上に置かれている被分析被写体の画像である。
【図３】ＸＹ面に置かれた試料被写体のＺ軸方向の光強度分布を示す図である。
【図４】図３の強度分布の分析結果を示す図である。
【図５】本発明の方法を示す流れ図である。
【図１】
2007133859.tif 000003
【図２】
2007133859.tif 000004
【図３】
2007133859.tif 000005
【図４】
2007133859.tif 000006
【図５】
2007133859.tif 000007