(57)【要約】  【課題】本発明は、組織病理学検査用組織サンプルをスクリーニングするためのシステム及び方法を提供する。  【解決手段】複数のトレーニング画像で異常検知システムをトレーニングする。複数のトレーニング画像は、いずれも、実質的に異常がない組織サンプルを表す。組織サンプルを表すテスト画像を異常検知システムに提供する。テスト画像の少なくとも一部の、正常スコアからの偏差を生成する。正常スコアからの偏差は、テスト画像で表される組織サンプルにおける異常の程度を表す。  【選択図】図３
2021508373.tif 000002
【特許請求の範囲】
【請求項１】
組織病理学検査用組織サンプルをスクリーニングするためのシステムであって、
プロセッサと、
実行可能指令を保存する非一時的なコンピュータ可読媒体と、を備え、
前記非一時的なコンピュータ可読媒体は、
複数のトレーニング画像でトレーニングされた異常検知システムと、
テスト画像を受信し、前記テスト画像を前記異常検知システムに提供する画像インターフェースと、
関連する出力装置で偏差スコアをユーザーに提供するユーザーインターフェイスとを含み、
前記複数のトレーニング画像は、いずれも、実質的に異常がない組織サンプルを表し、
前記異常検知システムは、前記テスト画像の少なくとも一部についてその正常スコアからの偏差を生成し、
前記正常スコアからの偏差は、前記テスト画像で表される組織サンプルにおける異常の程度を表すことを特徴とするシステム。
【請求項２】
前記異常検知システムは、前記複数のトレーニング画像のそれぞれから複数の特徴を抽出し、前記複数の特徴は、変分オートエンコーダーの潜在空間に由来する特徴群を含む、請求項１に記載のシステム。
【請求項３】
前記異常検知システムは、前記複数のトレーニング画像のそれぞれから複数の特徴を抽出し、前記複数の特徴は、色とテクスチャの特徴のマルチスケールヒストグラム群に由来する特徴群を含む、請求項１に記載のシステム。
【請求項４】
前記異常検知システムは、前記正常スコアからの偏差を決定木に沿った平均経路長として特定して前記テスト画像で表される観測結果を分離する分離フォレストアルゴリズムを含む、請求項１に記載のシステム。
【請求項５】
前記異常検知システムは、前記正常スコアからの偏差を生成するシングルクラスサポートベクターマシンを備える、請求項１に記載のシステム。
【請求項６】
前記異常検知システムは、それぞれの出力をアービトレータに提供して正常スコアからの偏差を提供する複数のエキスパートシステムを含む、請求項１に記載のシステム。
【請求項７】
前記異常検知システムは、前記複数のトレーニング画像のそれぞれから複数の特徴を抽出し、前記複数の特徴は、畳み込みニューラルネットワークによって生成された潜在ベクトルに由来する特徴群を含むことを特徴とする請求項１に記載のシステム。
【請求項８】
前記異常検知システムは、前記複数のトレーニング画像のそれぞれから複数の特徴を抽出し、前記複数の特徴は、敵対的生成ネットワークの少なくとも１つの隠れ層中に形成された特徴群を含む、請求項１に記載のシステム。
【請求項９】
組織病理学検査用組織サンプルをスクリーニングするための方法であって、
複数のトレーニング画像で異常検知システムをトレーニングし、前記複数のトレーニング画像は、いずれも、実質的に異常がない組織サンプルを表すこと、
テスト対象とする組織サンプルを表すテスト画像を前記異常検知システムに提供すること、及び
前記テスト画像の少なくとも一部についてその正常スコアからの偏差を前記異常検知システムで生成し、前記正常スコアからの偏差は、前記テスト画像で表される組織サンプルにおける異常の程度を表すことを含むことを特徴とする方法。
【請求項１０】
被検体に薬物を投与し、前記被検体から前記テスト画像で表される組織サンプルを抽出することをさらに含む、請求項９に記載の方法。
【請求項１１】
ヒト患者の生検を通じて前記テスト画像で表される組織サンプルを抽出することをさらに含む、請求項９に記載の方法。
【請求項１２】
前記テスト画像中の複数の位置のそれぞれについて前記正常スコアからの偏差を生成する、請求項９に記載の方法。
【請求項１３】
前記複数の位置それぞれの正常スコアからの偏差を閾値と比較して、前記テスト画像で表される組織サンプルにおける異常を含む位置を識別することをさらに含む、請求項１２に記載の方法。
【請求項１４】
前記テスト画像中の前記複数の位置は、前記テスト画像に含まれる複数のピクセルであることを特徴とする請求項１２に記載の方法。
【請求項１５】
治療剤を前記組織サンプルに関連する被検体に投与すること、
前記被検体から第２の組織サンプルを抽出すること、
テスト対象とする前記第２の組織サンプルを表す第２のテスト画像を前記異常検知システムに提供すること、
前記テスト画像の少なくとも一部についてその正常スコアからの第２の偏差を生成すること、及び
前記正常スコアからの第２の偏差を前記正常スコアからの第１の偏差と比較して、前記治療剤の効力を確認することをさらに含む、請求項９に記載の方法。
【請求項１６】
前記テスト画像の少なくとも一部について前記正常スコアからの偏差を前記異常検知システムで生成することは、前記テスト画像から複数の特徴を抽出することを含み、
前記複数の特徴は、変分オートエンコーダの潜在空間、高密度の高速化ロバスト特徴の特徴検知プロセス、色とテクスチャの特徴のマルチスケールヒストグラム群、畳み込みニューラルネットワークによって生成された潜在ベクトル群、及び敵対的生成ネットワークの隠れ層から選ばれたいずれか一つに由来する特徴群を含む、請求項９に記載の方法。
【請求項１７】
前記テスト画像の少なくとも一部について前記正常スコアからの偏差を前記異常検知システムで生成することは、抽出された複数の特徴を、分離フォレストアルゴリズム及びシングルクラスサポートベクターマシンのうちの１つに提供することを含む、請求項９に記載の方法。
【請求項１８】
組織病理学検査用組織サンプルをスクリーニングするためのシステムであって、
プロセッサと、
実行可能指令を保存する非一時的なコンピュータ可読媒体と、を備え、
前記非一時的なコンピュータ可読媒体は、
複数のトレーニング画像でトレーニングされた分離フォレストアルゴリズムと、
前記テスト画像を受信し、前記テスト画像を前記異常検知システムに提供する画像インターフェースと、
関連する出力装置で偏差スコアをユーザーに提供するユーザーインターフェイスとを含み、
前記複数のトレーニング画像は、いずれも、実質的に異常がない組織サンプルを表し、
前記異常検知システムは、前記テスト画像の少なくとも一部についてその正常スコアからの偏差を生成し、
前記正常スコアからの偏差は、前記テスト画像で表される組織サンプルにおける異常の程度を表すことを特徴とするシステム。
【請求項１９】
前記異常検知システムは、前記複数のトレーニング画像のそれぞれから複数の特徴を抽出し、
前記複数の特徴は、変分オートエンコーダの潜在空間、高密度の高速化ロバスト特徴の特徴検知プロセス、色とテクスチャの特徴のマルチスケールヒストグラム群、畳み込みニューラルネットワークによって生成された潜在ベクトル群、及び敵対的生成ネットワークの隠れ層から選ばれたいずれか一つに由来する特徴群を含む、請求項１８に記載のシステム。
【請求項２０】
前記異常検知システムは、前記テスト画像における複数のピクセルのそれぞれについて前記正常スコアからの偏差を生成し、前記複数のピクセルそれぞれの前記正常スコアからの偏差を閾値と比較して、前記テスト画像で表される組織サンプルにおける異常を含む位置を識別する、請求項１８に記載のシステム。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
（関連出願）
本願は、２０１７年１１月２７日に提出された、代理事務所案件番号がＤＥＣＩ−０２７１７１  ＵＳ  ＰＲＯ、名称が「正常モデルの分析による組織病理学検査用組織サンプルの自動スクリーニング」の米国仮出願番号６２／５９０，８６１の優先権を主張し、当該出願の全部内容は、あらゆる目的で参照により本明細書に組み込まれる。
【技術分野】
【０００２】
本発明は、概して医療診断の分野に関し、より具体的に、正常モデルの分析による組織病理学検査用組織サンプルの自動スクリーニングに関する。
【背景技術】
【０００３】
組織病理学検査とは、疾患の症状を研究するために組織を対象とする顕微鏡検査手段を指す。特に、臨床医学において、組織病理学検査とは、生検標本や手術標本を処理して組織切片をスライドガラス上に載せた後、病理医が上記標本を検査することを指す。該検査によって得られた医学診断は、組織中の任意の病理学的変化を説明する病理報告書に反映される。組織病理学検査は、癌、薬物毒性、感染症及び梗塞を含む多くの疾患の診断に使用される。  
【発明の概要】
【０００４】
本発明の一実施形態においては、組織病理学検査用組織サンプルをスクリーニングするためのシステムを提供する。該システムは、プロセッサと実行可能指令を保存する非一時的なコンピュータ可読媒体とを含む。指令は、複数のトレーニング画像でトレーニングされた異常検知システムを含む。複数のトレーニング画像は、いずれも、実質的に異常がない組織サンプルを表す。画像インターフェースはテスト画像を受信し、テスト画像を異常検知システムに提供する。異常検知システムは、テスト画像の少なくとも一部について、テスト画像で表される組織サンプルにおける異常の程度を表す、正常スコアからの偏差を生成する。ユーザーインターフェイスは、関連する出力装置で、ユーザーに偏差スコアを提供する。
【０００５】
本発明の別の実施形態においては、組織病理学検査用組織サンプルをスクリーニングするための方法を提供する。複数のトレーニング画像で異常検知システムをトレーニングする。複数のトレーニング画像は、いずれも、実質的に異常がない組織サンプルを表す。テスト対象とする組織サンプルを表すテスト画像を異常検知システムに提供する。異常検知システムにおいて、テスト画像の少なくとも一部の、正常スコアからの偏差を生成する。前記正常スコアからの偏差は、テスト画像で表される組織サンプルにおける異常の程度を表す。
【０００６】
本発明のさらに別の実施形態においては、組織病理学検査用組織サンプルをスクリーニングするためのシステムを提供する。該システムは、プロセッサと、実行可能指令を保存する非一時的なコンピュータ可読媒体とを含む。指令は、複数のトレーニング画像でトレーニングされた分離フォレストアルゴリズムを含む。複数のトレーニング画像は、いずれも、実質的に異常がない組織サンプルを表す。画像インターフェースはテスト画像を受信し、テスト画像を異常検知システムに提供する。異常検知システムは、テスト画像の少なくとも一部について、テスト画像で表される組織サンプルにおける異常の程度を表す、正常スコアからの偏差を生成する。ユーザーインターフェイスは、関連する出力装置で、ユーザーに偏差スコアを提供する。
【図面の簡単な説明】
【０００７】
図面を参照して以下の説明を読むことにより、本開示の前述内容および他の特徴は、本発明の技術分野に属する当業者には、明らかになるであろう。
【０００８】
【図１】正常モデルを通じて組織病理学検査用組織サンプルをスクリーニングするためのシステムの機能ブロック図を示す。
【０００９】
【図２】正常モデルを通じて組織病理学検査用組織サンプルをスクリーニングするためのシステムの一例を示す。
【００１０】
【図３】組織病理学検査用組織サンプルをスクリーニングするための方法の一例を示す。
【００１１】
【図４】組織異常の例を生成するための方法の一例を示す。
【００１２】
【図５】本明細書に開示されるシステムおよび方法の例を実施可能な、ハードウェアコンポーネントからなる例示的なシステムを示す概略ブロック図である。
【発明を実施するための形態】
【００１３】
正常モデルの分析を通じて組織病理学検査用組織サンプルを自動スクリーニングするためのシステム及び方法を提供する。「正常モデル」とは、エキスパートシステムをトレーニングすることによって実質的に病理やその他の異常のない画像から生成されたモデルを意味する。本発明者らは、異常のないトレーニング画像でモデルをトレーニングした後、この正常モデルからのテストサンプルの偏差を探すことにより、病理組織の一般的な自動スクリーニングプロセスを開発できると確定した。その結果、テストサンプルに対して、自動的な方式で異常を予備スクリーニングすることができ、異常が存在すると判明した場合のみに、病理医の介入を必要とする。
【００１４】
図１は、正常モデルを通じて組織病理学検査用組織サンプルをスクリーニングするためのシステム１０の機能ブロック図を示す。組織病理学検査用組織サンプルとしては、胃腸系、前立腺、皮膚、乳房、腎臓、肝臓、リンパ節、およびヒトまたは動物被検体の体内における上記以外の任意の適宜な位置からの組織が挙げられると理解される。組織は、生検によって抽出されるか、手術標本の切除または分析によって採取される。動物被検体の場合、動物の剖検中に組織切片を採取することができる。システム１０は、複数のトレーニング画像２４でトレーニングされた異常検知システム２２を含む。トレーニング画像２４は、染色された組織病理学検査用組織サンプルから取得され得ると理解される。前記染色された組織病理学検査用組織サンプルとしては、例えば、画像の標準化に用いられる１つまたは複数の染色正規化プロセスを有する可能性がある、ヘマトキシリン・エオシン（Ｈ＆Ｅ）染色又は免疫染色のスライドが挙げられる。
【００１５】
実際には、画像は、ホールスライドイメージ（ Ｗｈｏｌｅ  Ｓｌｉｄｅ  Ｉｍａｇｅ：ＷＳＩ）、顕微鏡装着カメラからの単一フレームの捕捉画像、または内視鏡検査プロセス中に撮られた画像であってもよく、明視野画像、グレースケール画像、デジタル画像（ｃｏｌｏｒｉｍｅｔｒｉｃ  ｉｍａｇｅｓ）、または蛍光画像であってもよく、任意の適宜な画像フォーマットで保存しても良い。組織異常として、ポリープ、腫瘍、炎症、感染部位、または体内の他の異常組織が挙げられる。肝臓中の異常については、浸潤、グリコーゲン、壊死、空胞化、過形成、肥大、線維症、造血、肉芽腫、色素、動脈炎、胆汁うっ滞、結節、出血、および有糸分裂像／再生が挙げられる。腎臓中の異常は、浸潤、壊死、空胞化、好塩基性尿細管、円柱腎尿細管（ｃａｓｔ  ｒｅｎａｌ  ｔｕｂｕｌｅ）、硝子滴、過形成、線維症、造血、変性／再生／有糸分裂像、鉱化、拡張、発育不全、肥大、色素、腎症、糸球体硬化、嚢胞、充血、及び出血が挙げられる。
【００１６】
前記したように、異常検知システム２２は、正常モデルを表すようにトレーニングされ、この目的のために、複数のトレーニング画像２４は、いずれも、実質的に異常がない組織サンプルを表す。したがって、トレーニング過程中に、特定の組織病理または他の異常の画像は必要でない。実際には、異常検知システム２２は、複数のエキスパートシステムのいずれか一つとして、トレーニング画像２４及び任意の送信されたテスト画像から分類特徴を抽出するための適宜なロジックを用いて実施しても良い。一実施形態では、抽出された特徴は、比較的に多くの従来の画像処理特徴（色、テクスチャ、および勾配など）と、変分オートエンコーダの潜在空間に由来する特徴との両方を含むことができる。
【００１７】
適宜なエキスパートシステムは、例えば密度に基づく技術（例えばｋ最近傍法及び局所外れ値因子法）、高次元データについてのサブ空間に基づく及び相関に基づく外れ値検知、シングルクラスサポートベクターマシン、レプリケータニューラルネットワーク、クラスタ分析に基づく外れ値検知、関連ルールおよび頻出アイテム集合（ｆｒｅｑｕｅｎｔ  ｉｔｅｍｓｅｔｓ）からの偏差、ファジィ論理（ｆｕｚｚｙ  ｌｏｇｉｃ）に基づく外れ値検知、アンサンブル技術、分離フォレスト（Ｉｓｏｌａｔｉｏｎ  ｆｏｒｅｓｔ）、１クラスランダムフォレスト（ｏｎｅ−ｃｌａｓｓ  ｒａｎｄｏｍ  ｆｏｒｅｓｔ）、楕円包絡線法（ｅｌｌｉｐｔｉｃ  ｅｎｖｅｌｏｐ  ａｐｐｒｏａｃｈ）（例えば、マハラノビス距離などの共分散加重（ｃｏｖａｒｉａｎｃｅ−ｗｅｉｇｈｔｅｄ）距離メトリックを利用するもの）、及びオートエンコーダ又は敵対的生成ネットワークからの残差画像の差を含むことができる。一実施形態では、複数のエキスパートシステムが利用されており、それぞれの出力をアービトレータに提供することで、これらの複数の出力に基づき正常スコアからの偏差を提供する。
【００１８】
画像インターフェース２６は、分析のための組織サンプルを表すテスト画像を受信し、テスト画像を異常検知システム２２に提供する。異常検知システム２２は、正常画像から生成されたモデルに対してテスト画像を評価し、テスト画像の少なくとも一部の、正常スコアからの偏差を生成する。正常スコアからの偏差は、画像の正常モデルからの偏差の程度を表すため、テスト画像で表される組織サンプルにおける異常の程度を示す。実際には、異常検知システム２２は、画像内の複数の領域を評価でき、評価された各領域についてそれらの正常スコアからの偏差を提供し、画像内の異常の位置を確定することを可能にする。ユーザーインターフェイス２８は、ディスプレイなどの関連する出力装置（未図示）で、ユーザーに正常スコアからの偏差を提供する。一実施形態では、画像中の各ピクセルについてその正常スコアからの偏差が計算されており、ユーザーインターフェイス２８は、組織サンプルを表すヒートマップを提供し、このヒートマップにおける各ピクセルは、自身のスコアが入った範囲に対応する色を有する。
【００１９】
正常スコアからの偏差は、研究または患者の状況の診断や監視のために、病理医の分析対象とする組織サンプルの分類や予備スクリーニングに使用され得る。例えば、１組の組織を全体の異常スコアにより等級付けすることによって、病理医が患者の症例を分類し優先順位付けをして、最も異常な症例を最優先に再検査することができる。或いは、正常なサンプルを排除し、陰性所見の自動レポートを提供することが可能であるため、病理医による再検査の必要性をなくす。ここで称される正常サンプルは、全体の異常スコア又は局所異常スコアが特異度および感度により設定された閾値より小さく、前記閾値は、システムの最良の性能を提供するように選択されたものである。正常スコアからの偏差は、例えば組織中の異常の定量化および異常の百分率などによる前記異常の識別と等級付け、治療反応の評価、結果の予測、及びバイオマーカーの評価にも使用できる。実際には、正常スコアからの偏差は、組織中の異常を検知または識別するための他の分類器の結果を補足するのに使用できる。例えば、異常の高い領域を別の分類器に提供して評価することができる。或いは、正常スコアからの偏差全体またはその平均値などの複数の分類結果を組み合わせて使用し、異常が存在するかどうかを示すことができる。
【００２０】
図２は一例として正常モデルを通じて組織病理学検査用組織サンプルをスクリーニングするためのシステム５０を示す。システム５０は、プロセッサ５２と非一時的なコンピュータ可読媒体６０とを含み、非一時的なコンピュータ可読媒体６０は、組織病理学検査用組織サンプルを評価するための、実行可能指令を保存する。例示される実施形態においては、非一時的なコンピュータ可読媒体６０には、１組のトレーニング画像６２を保存し、各トレーニング画像は、実質的に異常がない組織サンプルを表す。この組のトレーニング画像６２のうち任意の一つを、トレーニング画像から分類特徴を抽出する特徴抽出器７０に提供することができる。媒体６０にトレーニング画像６２を保存する代わりに、ネットワークインターフェース６４を通じてトレーニング画像６２を遠隔システムから特徴抽出器７０に直接提供してもよいと理解される。
【００２１】
特徴抽出器７０は、各画像を処理して、画像毎に複数の特徴値を提供することができる。例示される実施形態において、前記特徴値は、画像の全体的な特徴と、画像から抽出された領域的な又はピクセルレベルの特徴との両方を含んでもよい。例示される実施形態において、抽出された特徴は、複数の領域の各々について様々な画像処理メトリックのヒストグラムから生成された第１の特徴群を含んでもよく、前記メトリックとしては、各領域内の色、テクスチャ、又は勾配を表す値が挙げられる。特に、色とテクスチャの特徴のマルチスケールヒストグラムから１つの特徴群を生成することができる。高密度の高速化ロバスト特徴（ＳＵＲＦ）の特徴検知プロセスを用いて別の特徴群を生成することができる。
【００２２】
他のエキスパートシステムによって生成された潜在的特徴から上記以外の特徴を生成してもよい。例示される実施形態では、特徴は、畳み込みニューラルネットワーク７２（ＣＮＮ）、変分オートエンコーダなどのオートエンコーダ７４及び敵対的生成ネットワーク（ＧＡＮ）７６によって生成された潜在ベクトルを含んでもよい。畳み込みニューラルネットワーク７２、オートエンコーダ７４及び敵対的生成ネットワーク７６は、いずれも前記１組のトレーニング画像６２でトレーニングされると理解される。畳み込みニューラルネットワーク７２は、一般的に、入力画像から有意な構造を抽出することができる線形フィルタを学習する隠れ層内に１つまたは複数の畳み込み層を有するニューラルネットワークである。その結果、畳み込みニューラルネットワーク７２の一つまたは複数の隠れ層を分類特徴として利用することができる。
【００２３】
オートエンコーダ７４は、目標値が入力に等しくなるように、人工ニューラルネットワークに逆伝播を適用する教師なし学習アルゴリズムである。ニューラルネットワークにおいて隠れ層の量及び大きさを制限するとともに、ニューロンの活性化を処罰することにより、ニューラルネットワークが、潜在変数の形式で画像の圧縮された低次元の表現を定義する。前記潜在変数は、異常検知のための特徴として使用することができる。一実施形態では、オートエンコーダ７４は、同様に機能するが、変分ベイズ（Ｂａｙｅｓｉａｎ）モデルによって潜在変数の分布を制限する変分オートエンコーダである。
【００２４】
敵対的生成ネットワーク７６は、２つのニューラルネットワークを使用し、そのうち第１のニューラルネットワークは候補対象を生成し、第２のニューラルネットワークは候補対象を評価する。通常、生成ネットワークは、潜在空間から関心のある特定のデータ分布（トレーニングセットから取得したもの）にマップすることを学習し、識別ネットワークは、真のデータ分布からの実例と生成器によって生成された候補対象とを区別する。生成ネットワークのトレーニング目的は、真のデータ分布に由来すると見えるような新規の合成実例を生成することによって、識別ネットワークのエラー率を増加させることである。生成ネットワークでの合成画像の品質と識別ネットワークでの識別力との向上につれて、これらのネットワークの隠れ層中で形成された特徴は、元のデータセットをますます代表できるようになり、それらを正常モデルを定義するための潜在的に有用な特徴とする。
【００２５】
次に、抽出された特徴を、テスト画像を表す特徴ベクトルとして、分離フォレストアルゴリズム６６に提供する。分離フォレストアルゴリズム６６は、特徴をランダムに選択した後、選択された特徴の最大値と最小値との間のスプリット値をランダムに選択することによって、特徴空間内の所定の特徴ベクトルを分離する。特徴ベクトルがトレーニングセット中の他の特徴ベクトルから分離されたまで、または別の終了条件に達したまで、上記プロセスを続ける。これらの分離は、分離木またはランダム決定木として表され、そしてスコアを木に沿った経路長として計算して、観測結果を分離することができる。木アルゴリズムのランダム性による問題を回避するために、このプロセスが数回繰り返され、平均経路長が計算および正規化される。トレーニングセット６２で分離フォレストアルゴリズム６６をトレーニングして正常モデルを提供するため、分離フォレストアルゴリズムにおける他の特徴のベクトルは、組織サンプルに異常がないことを表すと理解される。したがって、正常画像と著しく異なるテスト画像は、基本的にかなり迅速に分離されるべきであり、同時に、異常を含むテスト画像は、より一層迅速に分離されるべきである。したがって、平均経路長は、テスト画像の正常からの偏差を表し、関連するディスプレイ５４で、平均経路長または平均経路長の関数を、ユーザーインターフェイス６８を通じて、正常スコアからの偏差としてユーザーに報告することができる。
【００２６】
上記の構造的および機能的特徴に鑑みて、本発明の様々な態様による方法は、図３、図４を参照してよりよく理解される。説明を簡単にするために、図３及び図４の方法は、連続的に実行するものとして示されて説明されるが、本発明は、図示の順序に限定されず、本発明によるいくつかの態様には、図示及び説明されるものと異なる順番で実施し得、および／または図示及び説明されるもの以外の態様と同時に実施することが可能であると理解される。さらに、場合によっては、例示された特徴すべてが、本発明の一態様による方法を実施するために不可欠であるわけではない。
【００２７】
図３は、組織病理学検査用組織サンプルをスクリーニングするための方法１００の一例を示す。１０２では、複数のトレーニング画像で異常検知システムをトレーニングする。複数のトレーニング画像は、いずれも、実質的に異常がない組織サンプルを表す。そのため、異常検知システムは、実質的に異常がない組織サンプルのみを表す正常モデルを表すように、トレーニングされる。１０４では、組織サンプルを表すテスト画像が異常検知システムに提供される。一例では、異常検知システムは、特徴ベクトルとしてテスト画像を表すことができ、前記特徴ベクトルについては、画像から抽出された色、テクスチャ、および勾配値に由来する特徴、並びに画像に適用されたエキスパートシステム（例えば畳み込みニューラルネットワーク、オートエンコーダ又は敵対的生成ネットワーク）の潜在空間に由来する特徴が挙げられる。
【００２８】
１０６では、１つまたは複数の異常検知アルゴリズムを使用して、テスト画像の少なくとも一部について正常スコアからの偏差を生成する。正常スコアからの偏差は、テスト画像で表される組織サンプルにおける異常の程度、特にテスト画像が異常検知システムによって表される正常モデルから逸脱する程度を表す。一実施形態では、異常検知システムは分離フォレストアルゴリズムを使用して正常スコアからの偏差を生成するが、代替または追加の異常検知アルゴリズムを用いて、正常スコアから最終偏差を生成してもよいと理解される。
【００２９】
一実施形態では、組織サンプルは、患者から取得され（例えば、生検で得られ）、患者の体調を診断または監視するために使用される。別の実施態様では、治療剤（例えば薬物）を動物被検体に投与して、被検体の１つ又は複数の器官に対する治療剤の効果を評価する。さらに別の実施態様では、第１組の組織サンプルが評価された後、治療剤を組織サンプルに対応する対象に投与する。第２の組織サンプルを抽出して分析し、第１のサンプルと比較することによって、既存の疾患を治療する際の治療剤の効力を確認することができる。
【００３０】
図４は、一例として、組織異常の例を生成するための方法１５０を示す。１５２では、複数のトレーニング画像から複数の特徴ベクトルが作成される。複数の特徴ベクトルは、エキスパートシステムの潜在空間から生成された少なくとも１つ特徴を含み、複数のトレーニング画像は、いずれも、実質的に異常がない組織サンプルを表す。少なくとも１つ特徴を生成するためのエキスパートシステムは、例えばオートエンコーダ、畳み込みニューラルネットワーク及び敵対的生成ネットワークを含んでもよい。一例では、変分オートエンコーダを利用した。１５４では、複数の特徴ベクトルを用いて異常検知システムをトレーニングする。これによって、異常検知システムは、実質的に異常がない組織サンプルのみを表す正常モデルを表すようにトレーニングされる。
【００３１】
１５６では、組織サンプルを表すテスト画像を異常検知システムに提供する。異常検知システムは、特徴ベクトルとしてテスト画像を表すことができ、前記特徴ベクトルについては、画像から抽出された色、テクスチャ、および勾配値に由来する特徴、並びにエキスパートシステムの潜在空間に由来する少なくとも１つの特徴が挙げられる。１５８では、異常検知システムを用いて、テスト画像の複数のサブ領域に対してそれぞれの正常スコアからの偏差を生成する。各サブ領域の正常スコアからの偏差は、該サブ領域が表す組織サンプルにおける異常の程度、特に該領域が異常検知システムに表される正常モデルから逸脱する程度を表す。サブ領域のサイズを適宜選択することにより、方法１５０は、テスト画像が異常を含むと確認するだけでなく、有意な精度で異常の位置および程度を識別することもできる。
【００３２】
１６０では、正常スコアからの偏差が閾値を超えた各サブ領域は、セグメント化され、分析のためにユーザに提供される。このようなサブ領域のそれぞれは、組織内の異常を表し、ユーザーは異常の特定性質で各セグメントを標識することができる。１６２では、標識されたサブ領域を用いて教師付き分類システムをトレーニングして組織内の特定の異常を識別することができる。このため、方法１５０は、ユーザーに利用されて標識されていないテスト画像から教師付き分類システムのトレーニングサンプルを効率的に提供する。
【００３３】
図５は、図１〜図４に開示されたシステム及び方法の例（例えば図１及び図２で示される組織スクリーニングシステム）を実施可能なハードウェアコンポーネントからなる例示的なシステム２００を示す概略ブロック図である。システム２００は、様々なシステム及びサブシステムを含んでもよい。システム２００は、パーソナルコンピュータ、ラップトップコンピュータ、ワークステーション、コンピュータシステム、機器、特定用途向け集積回路（ＡＳＩＣ）、サーバ、サーバブレードセンタ、サーバファーム等であってもよい。
【００３４】
システム２００は、システムバス２０２、処理ユニット２０４、システムメモリ２０６、記憶装置２０８と２１０、通信インターフェース２１２（例えば、ネットワークインターフェース）、通信リンク２１４、ディスプレイ２１６（例えば、ビデオ画面）及び入力装置２１８（例えば、キーボードおよび／またはマウス）を含んでもよい。システムバス２０２は、処理ユニット２０４及びシステムメモリ２０６と通信可能である。ハードディスクドライブ、サーバ、スタンドアロンデータベース、または他の不揮発性メモリなどの追加の記憶装置２０８と２１０も、システムバス２０２と通信可能である。システムバス２０２は処理ユニット２０４、記憶装置２０６〜２１０、通信インターフェース２１２、ディスプレイ２１６及び入力装置２１８を相互に接続する。いくつかの例では、システムバス２０２は、さらに他のポート（未図示）、例えば、ユニバーサルシリアルバス（ＵＳＢ）ポートを接続する。
【００３５】
処理ユニット２０４は、コンピューティングデバイスであってもよく、特定用途向け集積回路（ＡＳＩＣ）を含んでもよい。処理ユニット２０４は、１組の指令を実行して、本明細書で開示される例の動作を実施する。処理ユニットは、処理コアを含んでもよい。
【００３６】
追加の記憶装置２０６、２０８及び２１０は、データ、プログラム、指令、テキスト形式またはコンパイルされた形式のデータベースクエリ、およびコンピュータを動作させるために不可欠である可能性がある任意の他の情報を保存することができる。メモリ２０６、２０８及び２１０は、メモリカード、ディスクドライブ、コンパクトディスク（ＣＤ）、またはネットワークを通じてアクセス可能なサーバなどのコンピュータ可読媒体（集積または取り外し可能のもの）として実施されてもよい。いくつかの例では、メモリ２０６、２０８及び２１０は、テキスト、画像、ビデオおよび／またはオーディオを含んでもよく、それらの一部は、人間が理解可能なフォーマットで取得できる。上記態様に加えて、又は、上記態様の代わりに、システム２００は、通信インターフェース２１２を通じて外部のデータソースまたはクエリソースにアクセスすることができ、該通信インターフェース２１２は、システムバス２０２及び通信リンク２１４と通信可能である。
【００３７】
動作中、システム２００を用いて本発明による組織スクリーニングシステムを構成する１つまたは複数の部品を実施してもよい。組織スクリーニングシステムを実施するためのコンピュータ実行可能なロジックは、システムメモリ２０６、およびいくつかの例による記憶装置２０８、２１０のうちの１つまたは複数に存在する。処理ユニット２０４は、システムメモリ２０６および記憶装置２０８及び２１０に由来する１つ又は複数のコンピュータ実行可能な指令を実行する。本明細書で使用する「コンピュータ可読媒体」という用語は、実行のために処理ユニット２０４に指令を提供することに関与する任意の媒体を指し、コンピュータ可読媒体は、各々が処理ユニットに、動作可能なように（ｏｐｅｒａｔｉｖｅｌｙ）接続された複数のコンピュータ可読媒体を含んでもよいと理解される。
【００３８】
当業者に本発明の実施態様をよりよく理解させるために、以上の説明により具体的な細部の特徴を示した。しかしながら、上記具体的な細部の特徴を有しない実施態様でも、本発明を実施しうると理解される。例えば、不必要な細部で実施態様を理解し難いことを回避するために、物理的な部材をブロック図に示してもよい。その他の場合には、実施態様を理解し難いことを回避するために、不必要な細部なしに公知の回路、プロセス、アルゴリズム、構造、及び技術が示される。
【００３９】
前記の技術、ブロック、ステップ、および手段の実施は、様々な方式で行うことができる。たとえば、これらの技術、ブロック、ステップ、および手段は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実施できる。ハードウェアで実施する場合、一つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、上記の機能を実行するように設計された他の電子ユニット、および／またはそれらの組み合わせの中で処理ユニットを実施してもよい。一例では、図１及び図２のシステムは、一つまたは複数のクラウドサーバ上で実施され、一つまたは複数のクライアントシステムから分析のための特徴群を受信するように構成されてもよい。
【００４０】
また、本発明の実施態様は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として示されるプロセスとして説明できることに注意すべきである。フローチャートは、動作を逐次プロセスとして説明することができるが、その中、多くの動作は並行してまたは同時に実行することができる。また、動作の順序を変更してもよい。一つのプロセスは、その動作が完了すると終了されるが、図面には含まれていない他のステップを有しても良い。プロセスは、方法、関数、手順、サブルーチン、サブプログラム等に対応可能である。プロセスが関数に対応する場合、当該プロセスの終了は、この関数の呼び出す関数または主関数への戻りに対応する。
【００４１】
また、ハードウェア、ソフトウェア、スクリプト言語、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、および／またはそれらの任意の組合せによって実施例を実施してもよい。ソフトウェア、ファームウェア、ミドルウェア、スクリプト言語、および／またはマイクロコードで実施するとき、必要なタスクを実行するためのプログラムコードまたはコードセグメントを、記憶媒体などの機械可読媒体に保存してもよい。コードセグメントまたは機械実行可能指令は、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、スクリプト、クラス、又は、指令、データ構造および／またはプログラムステートメントの任意の組み合わせを表すことができる。情報、データ、引数、パラメータ、および／またはメモリ内容を渡すおよび／または受信することによって、コードセグメントを、別のコードセグメントまたはハードウェア回路と結合することができる。情報、引数、パラメータ、データなどを、メモリ共有、メッセージパッシング、チケットの受け渡し、ネットワーク送信などの任意の適切な手段により渡したり、転送したり、送信したりしてもよい。
【００４２】
ファームウェアおよび／またはソフトウェアで実施する場合、本明細書で説明した機能を実行するモジュール（例えば、手順、機能など）を用いて本方法を実施しても良い。本明細書で説明する方法を実施するために、指令を有形に具現化する任意の機械可読媒体を使用することができる。例えば、ソフトウェアコードは、メモリに保存してもよい。メモリはプロセッサ内又はプロセッサの外部で実施されてもよい。本明細書で使用する「メモリ」という用語は、任意のタイプの長期、短期、揮発性、不揮発性、または他の記憶媒体を指し、メモリの任意の特定のタイプやメモリの数、またはメモリを保存する媒体のタイプに限定されない。
【００４３】
なお、本明細書で開示する「記憶媒体」という用語は、データを保存するための１つまたは複数のメモリを表すことができ、前記メモリとして、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ＲＡＭ、コアメモリ、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、および／または情報を保存するための他の機械可読媒体が挙げられる。「機械可読媒体」という用語は、ポータブルまたは固定記憶装置、光学記憶装置、無線チャネル、および／または、指令および／またはデータを包含または担持する保存可能な他の様々な記憶媒体を含むが、これらに限定されない。
【００４４】
本発明の上記の説明から、当業者は、改善、変更、および修正を認識することができると考えられる。当技術分野の技術的範囲内のこれらの改善、変更および修正は、添付の特許請求の範囲によってカバーされることを意図している。
【図１】
2021508373.tif 000003
【図２】
2021508373.tif 000004
【図３】
2021508373.tif 000005
【図４】
2021508373.tif 000006
【図５】
2021508373.tif 000007
【手続補正書】
【提出日】令和2年7月28日(2020.7.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
組織病理学検査用組織サンプルをスクリーニングするための方法であって、
複数のトレーニング画像で異常検知システムをトレーニングし、前記複数のトレーニング画像は、いずれも、実質的に異常がない組織サンプルを表すこと、
テスト対象とする組織サンプルを表すテスト画像を前記異常検知システムに提供すること、及び
前記テスト画像の少なくとも一部についてその正常スコアからの偏差を前記異常検知システムで生成し、前記正常スコアからの偏差は、前記テスト画像で表される組織サンプルにおける異常の程度を表すことを含むことを特徴とする方法。
【請求項２】
前記テスト画像中の複数の位置のそれぞれについて前記正常スコアからの偏差を生成する、請求項１に記載の方法。
【請求項３】
前記複数の位置それぞれの正常スコアからの偏差を閾値と比較して、前記テスト画像で表される組織サンプルにおける異常を含む位置を識別することをさらに含む、請求項２に記載の方法。
【請求項４】
治療剤を前記組織サンプルに関連する被検体に投与すること、
前記被検体から第２の組織サンプルを抽出すること、
テスト対象とする前記第２の組織サンプルを表す第２のテスト画像を前記異常検知システムに提供すること、
前記テスト画像の少なくとも一部についてその正常スコアからの第２の偏差を生成すること、及び
前記正常スコアからの第２の偏差を前記正常スコアからの第１の偏差と比較して、前記治療剤の効力を確認することをさらに含む、請求項１に記載の方法。
【請求項５】
前記テスト画像の少なくとも一部について前記正常スコアからの偏差を前記異常検知システムで生成することは、前記テスト画像から複数の特徴を抽出することを含み、
前記複数の特徴は、変分オートエンコーダの潜在空間、高密度の高速化ロバスト特徴の特徴検知プロセス、色とテクスチャの特徴のマルチスケールヒストグラム群、畳み込みニューラルネットワークによって生成された潜在ベクトル群、及び敵対的生成ネットワークの隠れ層から選ばれたいずれか一つに由来する特徴群を含む、請求項１に記載の方法。
【国際調査報告】
2021508373.tif 000008
2021508373.tif 000009
2021508373.tif 000010