(57)【要約】  組織または血液などの生物学的サンプルを含むスライドを見るために病理学者によって使用されるタイプの顕微鏡には、スライドが新しい場所に移動するか、または倍率もしくは焦点の変更が生じたとき、ヒートマップ、境界線、もしくは注釈、または定量的バイオマーカデータの実質的にリアルタイムの視野の拡張の投影が提供される。拡張は、癌細胞または病原体の存在について陽性であるなど、サンプルを特徴付けるまたは分類する際に病理学者を支援する。
2021515240.tif 000002
【特許請求の範囲】
【請求項１】
カメラを用いて、接眼レンズを有する顕微鏡を用いた生物学的サンプルを含むスライドのレビューにおいてユーザを支援するための方法であって、
(a)前記顕微鏡の前記接眼レンズを通して見える前記サンプルのビューのデジタル画像をキャプチャするステップと、
(b)前記カメラによってキャプチャされた前記画像から前記サンプル内の1つまたは複数の関心領域を識別するために第1の機械学習パターン認識器を使用し、かつ個々の細胞を識別するようにトレーニングされた第2の機械学習パターン認識器を使用するステップと、
(c)前記顕微鏡の前記接眼レンズを通して見られる前記サンプルの前記ビューに拡張をオーバレイとして重ね合わせるステップであって、前記拡張が、前記サンプル内の前記識別された関心領域に基づき、前記関心領域に関連する定量的データをさらに含む、ステップと
を含み、
(d)前記サンプルが前記顕微鏡の光学系に対して移動されたとき、または前記顕微鏡の倍率または焦点が変化したとき、前記サンプルの新しいビューの新しいデジタル画像が前記カメラによってキャプチャされかつ前記機械学習パターン認識器に供給され、新しい拡張が、前記接眼レンズを通して見られる前記サンプルの前記新しいビューに実質的にリアルタイムで重ね合わされる、方法。
【請求項２】
前記1つまたは複数の関心領域がタンパク質の発現に陽性な細胞を含み、前記定量的データがそのようなタンパク質の発現に陽性であるとの観点から前記細胞のパーセントを含む、請求項1に記載の方法。
【請求項３】
前記タンパク質が、Ki-67、P53、エストロゲン受容体(ER)、またはプロゲステロン受容体(PR)を含む、請求項2に記載の方法。
【請求項４】
前記1つまたは複数の関心領域が個々の微生物細胞を含み、前記定量的データが前記ビュー内の微生物細胞の数のカウントを含む、請求項1に記載の方法。
【請求項５】
前記1つまたは複数の関心領域が有糸分裂中の個々の細胞を含み、前記定量的データが、有糸分裂中の前記ビュー内の細胞の数のカウントを含む、請求項1に記載の方法。
【請求項６】
前記関心領域が腫瘍細胞であり、前記定量的データが、前記サンプル内の定義された領域内の絶対面積または相対面積のいずれかである前記腫瘍細胞の面積測定値を含む、請求項1に記載の方法。
【請求項７】
前記顕微鏡に関連付けられたワークステーションにおいて、前記視野上の前記拡張の提示をカスタマイズするためにツールへのアクセスを提供するグラフィカルディスプレイを提供するステップをさらに含む、請求項1から6のいずれか一項に記載の方法。
【請求項８】
前記定量的データが測定値を含む、請求項1に記載の方法。
【請求項９】
前記測定値が面積測定値を含み、前記関心領域が、特定のグリーソングレードを有する前立腺組織を含む、請求項8に記載の方法。
【請求項１０】
前記定量的データが、前記ビュー内の関心領域の数のカウントを含む、請求項1に記載の方法。
【請求項１１】
生物学的サンプルを含むスライドのレビューにおいてユーザを支援するためのシステムであって、
生物学的サンプルを含むスライドを保持するためのステージと、少なくとも1つの対物レンズと、接眼レンズとを有する顕微鏡と、
前記顕微鏡の前記接眼レンズを通して見られる前記サンプルのビューのデジタル画像をキャプチャするように構成されるデジタルカメラと、
前記デジタルカメラから前記デジタル画像を受信するように構成される機械学習パターン認識器を備える計算ユニットであって、前記パターン認識器が、前記ステージ上に現在置かれているタイプの生物学的サンプル内の関心領域を識別するようにトレーニングされ、前記パターン認識器が、前記カメラによってキャプチャされたデジタル画像上の関心領域を認識し、前記計算ユニットが、前記顕微鏡の前記接眼レンズを通して見られる前記サンプルの前記ビューへの拡張を表すデータを生成し、前記拡張が、前記サンプル内の前記関心領域に基づく、計算ユニットと、
前記視野上に前記拡張を重ね合わせるための、前記接眼レンズに結合される1つまたは複数の光学構成要素と
を備え、
前記計算ユニットが、前記ビュー内の個々の細胞を識別するようにトレーニングされた第1の機械学習パターン認識器と、タンパク質の発現について陽性である前記ビュー内の個々の細胞を識別するようにトレーニングされた第2の機械学習パターン認識器とを実装し、
前記拡張が、前記タンパク質の発現について陽性である前記細胞に関連する定量的データの表示をさらに含む、
システム。
【請求項１２】
前記タンパク質が、Ki-67、P53、エストロゲン受容体、またはプロゲステロン受容体(PR)を含む、請求項10に記載のシステム。
【請求項１３】
生物学的サンプルを含むスライドのレビューにおいてユーザを支援するためのシステムであって、
生物学的サンプルを含むスライドを保持するためのステージと、少なくとも1つの対物レンズと、接眼レンズとを有する顕微鏡と、
前記顕微鏡の前記接眼レンズを通して見られる前記サンプルのビューのデジタル画像をキャプチャするように構成されるデジタルカメラと、
前記デジタルカメラから前記デジタル画像を受信するように構成される機械学習パターン認識器を備える計算ユニットであって、前記パターン認識器が、前記ステージ上に現在置かれているタイプの生物学的サンプル内の関心領域を識別するようにトレーニングされ、前記パターン認識器が、前記カメラによってキャプチャされたデジタル画像上の関心領域を認識し、前記計算ユニットが、前記顕微鏡の前記接眼レンズを通して見られる前記サンプルの前記ビューへの拡張を表すデータを生成し、前記拡張が、前記サンプル内の前記関心領域に基づく、計算ユニットと、
前記視野上に前記拡張を重ね合わせるための、前記接眼レンズに結合される1つまたは複数の光学構成要素と
を備え、
前記計算ユニットが、有糸分裂中の個々の細胞を識別するようにトレーニングされた機械学習パターン認識器を実装し、
前記拡張が、有糸分裂中の前記細胞に関連する定量的データの表示をさらに含む、
システム。
【請求項１４】
生物学的サンプルを含むスライドのレビューにおいてユーザを支援するためのシステムであって、
生物学的サンプルを含むスライドを保持するためのステージと、少なくとも1つの対物レンズと、接眼レンズとを有する顕微鏡と、
前記顕微鏡の前記接眼レンズを通して見られる前記サンプルのビューのデジタル画像をキャプチャするように構成されるデジタルカメラと、
前記デジタルカメラから前記デジタル画像を受信するように構成される機械学習パターン認識器を備える計算ユニットであって、前記パターン認識器が、前記ステージ上に現在置かれているタイプの生物学的サンプル内の関心領域を識別するようにトレーニングされ、前記パターン認識器が、前記カメラによってキャプチャされたデジタル画像上の関心領域を認識し、前記計算ユニットが、前記顕微鏡の前記接眼レンズを通して見られる前記サンプルの前記ビューへの拡張を表すデータを生成し、前記拡張が、前記サンプル内の前記関心領域に基づく、計算ユニットと、
前記視野上に前記拡張を重ね合わせるための、前記接眼レンズに結合される1つまたは複数の光学構成要素と
を備え、
前記計算ユニットが、特定のグリーソングレードに従って分類された個々の腫瘍細胞または腫瘍細胞の領域を識別するようにトレーニングされた1つまたは複数の機械学習パターン認識器を実装し、
前記拡張が、特定のグリーソングレードに従って分類された前記腫瘍細胞または腫瘍細胞の領域に関連する定量的領域データの表示をさらに含む、
システム。
【請求項１５】
前記ビューの画像上に注釈を描くためにワークステーションのユーザのためのツールを提供するディスプレイを有する前記顕微鏡に関連付けられた前記ワークステーションをさらに備え、前記注釈が、コンピュータメモリ内に前記ビューの前記画像とともに保存される、請求項11から14のいずれか一項に記載のシステム。
【請求項１６】
ディスプレイを有する前記顕微鏡に関連付けられたワークステーションをさらに備え、前記ディスプレイが、前記視野の前記拡張の提示をカスタマイズするためにツールへのアクセスを提供する、請求項11から14のいずれか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、2018年4月12日に出願した米国仮出願第62/656,557号の優先的な利益を主張するものである。
【０００２】
本開示は、病理学の分野に関し、より具体的には、例えば、癌細胞を含む、またはプラスモジウム原虫(plasmodium protozoa)または結核菌などの病理学的病原体(pathological agent)を含むものとして、血液または組織などの生物学的サンプルを分類する際に病理学者を支援するための改善された顕微鏡システムおよび方法に関する。
【背景技術】
【０００３】
組織などの生物学的サンプルを特徴付けまたは分類するために、サンプルは、顕微鏡スライド上に置かれ、病理学者が、顕微鏡で拡大してそれを見る。サンプルは、サンプル内の潜在的に関心のある特徴をより見やすくするために、ヘマトキシリンおよびエオシン(H&E)などの薬品で染色されてもよい。代替的には、サンプルは、染色され、高解像度デジタルスキャナでスキャンされてもよく、病理学者は、ワークステーションまたはコンピュータの画面上のサンプルの拡大画像を見る。
【０００４】
例えば、転移に関するリンパ節の評価は、乳癌を含む多くのタイプの固形腫瘍の病期分類の中心である。プロセスは、高度な技能を持つ病理学者を必要とし、特に、癌が陰性であるか、または小さい癌の病巣を有するリンパ節に関して、かなり時間がかかり、エラーが生じやすい。現在の標準治療は、ヘマトキシリンおよびエオシンで染色されたリンパ節生検のデジタルスライドの検査を含む。しかしながら、プロセスの感度に悪影響を与える読み取り者(reader)の疲労ならびに悪性度分類者(grader)内および悪性度分類者間の信頼性を含む、手動読み取りに固有のいくつかの制限が存在する。リンパ節組織内の腫瘍細胞の存在は、癌に対する新しいまたはより積極的な治療を正当化する可能性があり、患者の生存可能性を改善するので、リンパ節生検スライドの正確なレビューおよび評価が、重要である。
【０００５】
従来技術は、癌の診断、特徴付け、および/または病期分類を改善するための、デジタル組織画像のコンテキストへの深層学習技法およびトレーニングされたニューラルネットワークの適用の説明を含む。関連する背景技術は、以下の論文、G.Litjensら、Deep learning as a tool for increasing accuracy and efficiency of histopathological diagnosis、www.nature.com/scientificreports 6:26286(2016年5月)、D.Wangら、Deep Learning for Identifying Metastatic Breast Cancer、arXiv:1606.05718v1 (2016年6月)、A.Madabhushiら、Image analysis and machine learning in digital pathology:Challenges and opportunities、Medical Image Analysis 33、p.170〜175頁(2016年)、A.Schuambergら、H&E-stained Whole Slide Deep Learning Predicts SPOP Mutation State in Prostate Cancer, bioRxiv preprint http:/.bioRxiv.or/content/early/2016/07/17/064279、を含む。関心のある追加の従来技術は、Quinnら、Deep Convolutional Neural Networks for Microscopy-based Point of Care Diagnostics, Proceedings of International Conference on Machine Learning for Health Care 2016を含む。
【０００６】
当該技術分野は、手術を支援するために、顕微鏡の視野を拡張することのいくつかの例を説明している。米国特許出願公開第2016/0183779号および公開PCT出願WO2016/130424A1を参照されたい。Watsonら、Augmented microscopy:real-time overlay of bright-field and near-infrared fluorescence images、Journal of Biomedical Optics、vol.20(10)2015年10月も参照されたい。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許出願公開第2016/0183779号
【特許文献２】WO2016/130424A1
【特許文献３】PCT/US2019/012674
【特許文献４】PCT/US17/019051
【特許文献５】米国特許出願第14/839,452号
【特許文献６】米国特許出願第15/395,530号
【特許文献７】米国特許出願公開第2016/0342891号
【特許文献８】PCT/US17/019051
【非特許文献】
【０００８】
【非特許文献１】G.Litjensら、Deep learning as a tool for increasing accuracy and efficiency of histopathological diagnosis、www.nature.com/scientificreports 6:26286(2016年5月)
【非特許文献２】D.Wangら、Deep Learning for Identifying Metastatic Breast Cancer、arXiv:1606.05718v1 (2016年6月)
【非特許文献３】A.Madabhushiら、Image analysis and machine learning in digital pathology:Challenges and opportunities、Medical Image Analysis 33、p.170〜175頁(2016年)
【非特許文献４】A.Schuambergら、H&E-stained Whole Slide Deep Learning Predicts SPOP Mutation State in Prostate Cancer, bioRxiv preprint http:/.bioRxiv.or/content/early/2016/07/17/064279
【非特許文献５】Quinnら、Deep Convolutional Neural Networks for Microscopy-based Point of Care Diagnostics, Proceedings of International Conference on Machine Learning for Health Care 2016
【非特許文献６】Watsonら、Augmented microscopy:real-time overlay of bright-field and near-infrared fluorescence images、Journal of Biomedical Optics、vol.20(10)2015年10月
【非特許文献７】Edwardsら、Augmentation of Reality Using an Operating Microscope、J.Image Guided Surgery.Vol.1 no.3(1995年)
【非特許文献８】Edwardsら、Stereo augmented reality in the surgical microscope、Medicine Meets Virtual Reality(19997)J.D.Westwardら(eds.)IOS Press、102頁
【非特許文献９】C.Szegedyら、Going Deeper with Convolutions、arXiv:1409.4842[cs.CV](September 2014年9月)
【非特許文献１０】C.Szegedyら、Rethinking the Inception Architecture for Computer Vision、arXiv:1512.00567[cs.CV](2015年12月)
【非特許文献１１】C.Szegedyら、Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning、arXiv:1602.0761[cs.CV](2016年2月)
【非特許文献１２】http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/
【発明の概要】
【課題を解決するための手段】
【０００９】
接眼レンズを有する顕微鏡を用いた生物学的サンプルを含むスライドのレビューにおいてユーザを支援するための方法が開示される。方法は、(a)顕微鏡の接眼レンズを通して見えるサンプルのビューのデジタル画像を、カメラを用いてキャプチャするステップと、(b)カメラによってキャプチャされた画像からサンプル内の1つまたは複数の関心領域を識別するために第1の機械学習パターン認識器を使用し、個々の細胞を識別するようにトレーニングされた第2の機械学習パターン認識器を使用するステップと、(c)顕微鏡の接眼レンズを通して見られるサンプルのビューに拡張をオーバレイとして重ね合わせるステップとを含み、拡張は、サンプル内の識別された関心領域に基づき、関心領域に関連する定量的データをさらに含む。方法は、(d)サンプルが顕微鏡の光学系に対して移動されたとき、または顕微鏡の倍率または焦点が変化したとき、サンプルの新しいビューの新しいデジタル画像が、カメラによってキャプチャされ、機械学習パターン認識器に供給されるステップを含み、新しい拡張が、接眼レンズを通して見られるサンプルの新しいビューに実質的にリアルタイムで重ね合わされ、それにより拡張は、生物学的サンプルを分類または特徴付ける際にユーザを支援する。
【００１０】
一実施形態において、1つまたは複数の関心領域は、タンパク質の発現に陽性な細胞を含み、定量的データは、そのようなタンパク質の発現に陽性であるとの観点から細胞のパーセントの形をとる。タンパク質の例は、Ki-67、P53、およびプロゲステロン受容体(PR)である。別の例として、1つまたは複数の関心領域は、個々の微生物細胞の形をとることができ、定量的データは、ビュー内の微生物細胞の数のカウントを含む。別の例として、1つまたは複数の関心領域は、有糸分裂中の個々の細胞の形をとり、定量的データは、有糸分裂中のビュー内の細胞の数のカウントである。別の例として、関心領域は、腫瘍細胞であり、定量的データは、サンプル内の定義された領域内の絶対面積または相対面積のいずれかである腫瘍細胞の面積測定値である。
【００１１】
1つの可能な実施形態において、定量的データは、測定値、例えば、距離測定値を含む。別の例として、測定値は、面積測定値である。1つの特定の例において、関心領域は、特定のグリーソングレードを有する前立腺組織であり、定量的測定値は、特定のグリーソングレード、例えば、グレード3、グレード4などを有する腫瘍領域の相対面積測定値または絶対面積測定値である。
【００１２】
別の例として、定量的データは、ビュー内の関心領域の数のカウントの形をとることができる。例えば、機械学習モデルは、ビュー内の個々の微生物細胞を識別し、そのような細胞の数のカウントを表示する。
【００１３】
本開示の別の態様において、生物学的サンプルを含むスライドのレビューにおいてユーザを支援するためのシステムが開示される。システムは、生物学的サンプルを含むスライドを保持するためのステージと、少なくとも1つの対物レンズと、接眼レンズとを有する顕微鏡と、顕微鏡の接眼レンズを通して見られるサンプルのビューのデジタル画像をキャプチャするように構成されるデジタルカメラと、デジタルカメラからデジタル画像を受信するように構成される機械学習パターン認識器を備える計算ユニットとを含み、パターン認識器は、ステージ上に現在置かれているタイプの生物学的サンプル内の関心領域を識別するようにトレーニングされ、パターン認識器は、カメラによってキャプチャされたデジタル画像上の関心領域を認識し、計算ユニットは、顕微鏡の接眼レンズを通して見られるサンプルのビューへの拡張を表すデータを生成し、拡張は、サンプル内の関心領域に基づく。システムは、視野上に拡張を重ね合わせるための、接眼レンズに結合される1つまたは複数の光学構成要素をさらに含む。
【００１４】
1つの構成において、計算ユニットは、ビュー内の個々の細胞を識別するようにトレーニングされた第1の機械学習パターン認識器と、タンパク質の発現について陽性であるビュー内の個々の細胞を識別するようにトレーニングされた第2の機械学習パターン認識器とを実装する。拡張は、タンパク質の発現について陽性である細胞に関連する定量的データの表示の形をとる。タンパク質は、Ki-67、P53、またはプロゲステロン受容体(PR)を含む形をとることができる。
【００１５】
別の構成において、システムは、ビューの画像上に注釈を描くためにワークステーションのユーザのためのツールを提供するディスプレイを有する顕微鏡に関連付けられたワークステーションを含み、注釈は、コンピュータメモリ内にビューの画像とともに保存される。ワークステーションは、視野上の拡張の提示をカスタマイズするためにツールへのアクセスを提供するグラフィカルディスプレイをさらに含んでもよい。
【００１６】
別の構成において、計算ユニットは、有糸分裂中の個々の細胞を識別するようにトレーニングされた機械学習パターン認識器を実装する。拡張は、有糸分裂中の細胞に関連する定量的データの表示を含む。
【００１７】
別の構成において、計算ユニットは、特定のグリーソングレード(例えば、グレード3、グレード4など)に従って分類された個々の腫瘍細胞または腫瘍細胞の領域を識別するようにトレーニングされた1つまたは複数の機械学習パターン認識器を実装する。拡張は、特定のグリーソングレードに従って分類された腫瘍細胞または腫瘍細胞の利用域に関連する定量的領域データの表示の形をとる。
【００１８】
この文書において使用される場合、「生物学的サンプル」という用語は、血液もしくは血液成分、植物もしくは動物からの組織もしくはその断片、痰、便、尿、または他の身体物質、ならびに病原体を含む可能性のある水、土壌、または食品のサンプルを包含するように広く定義されることを意図している。
【図面の簡単な説明】
【００１９】
【図１】オプションの接続された病理学者ワークステーションと組み合わせて示されている、病理学用の拡張現実顕微鏡システムの概略図である。
【図２Ａ】所与の倍率レベル、例えば、10倍での乳癌標本を示す顕微鏡の視野の図である。
【図２Ｂ】癌性である可能性が高いサンプル内の細胞と整合した視野上に「ヒートマップ」の形の拡張が重ね合わされた、図1の顕微鏡を使用して病理学者によって見られる拡張されたビューの図である。図2Bにおけるヒートマップの重ね合わせは、病理学者の注意を、特に癌性である可能性が高い関心領域に向けるので、サンプルを特徴付ける際に病理学者を支援する。病理学者が、図2Bのヒートマップ領域にズームインするために顕微鏡の対物レンズを変更した(例えば、40倍のレンズに変更した)場合、サンプルの新しい視野が、顕微鏡の接眼レンズを通して見られ、新しい画像がキャプチャされ、病理学者のサンプルの調査をさらに支援するために、実質的にリアルタイムで(例えば、1〜2秒で)、新しいヒートマップが、視野上にオーバレイされる(図示せず)。
【図３Ａ】所与の倍率レベル、例えば、10倍での前立腺癌標本を示す顕微鏡の視野の図である。
【図３Ｂ】癌性である可能性が高いサンプル内の細胞を取り囲む視野上に輪郭の形の拡張が重ね合わされた、図1の顕微鏡を使用して病理学者によって見られる拡張されたビューの図である。拡張は、注釈、この例では、グリーソンスコア悪性度分類および腫瘍サイズのデータを提供するテキストボックスをさらに含む。輪郭および注釈の重ね合わせの図3Bは、病理学者の注意を、特に癌性である可能性が高い関心領域に向け、サンプルに関する提案されたスコアを提供するので、サンプルを特徴付ける際に病理学者を支援する。病理学者が、様々な深さにおける輪郭内の関心領域を探るために、焦点面の位置および深さを変更した(すなわち、顕微鏡の焦点を調整した)場合、サンプルの新しい視野が、顕微鏡の接眼レンズを通して見られ、カメラによってキャプチャされ、病理学者のサンプルの調査をさらに支援するために、実質的にリアルタイムで(例えば、1〜2秒以内に)、新しい拡張(図示せず)、例えば、輪郭および注釈テキストボックスが、視野上にオーバレイされる。
【図４Ａ】低倍率における血液サンプルの顕微鏡を通した視野の図である。
【図４Ｂ】図4Aの視野を示すが、サンプルを特徴付ける際に病理学者を支援するために、視野上にオーバレイされたサンプル内に存在するマラリア原虫(malaria parasites)(プラスモジウム(plasmodium))を識別する矩形の形の拡張を有する。
【図５】図1の計算ユニットのより詳細なブロック図である。
【図６】図1のシステムのワークフローを示すフローチャートである。
【図７】ヒートマップの形の拡張を解釈するためのカラーコードまたはスケールを示すチャートである。
【図８】顕微鏡スライド画像のセットにおいて事前にトレーニングされた独立型深層畳み込みニューラルネットワークのアンサンブルの形における機械学習パターン認識器の図である。アンサンブルの各メンバは、特定の倍率レベルにおいてトレーニングされる。
【図９】ポータブルコンピュータ記憶媒体のセットの図であり、ポータブルコンピュータ記憶媒体の各々には、乳房組織内の乳癌の検出、前立腺組織内の癌細胞の検出および特徴付けなどの、特定の用途のための顕微鏡スライド画像のセットにおいてトレーニングされた独立型深層畳み込みニューラルネットワークのアンサンブルを表すコード、パラメータ、および関連データがロードされている。顕微鏡システムの能力を拡張したい図1のシステムのユーザは、図9の1つまたは複数の媒体を取得し、深層畳み込みニューラルネットワークの関連するアンサンブルを、図1および図5のローカル計算ユニットにロードすることができる。代替的には、深層畳み込みニューラルネットワークの追加のアンサンブルが、計算ユニット内のネットワークインターフェースを介して、リモートデータストアからダウンロードされてもよい。
【図１０】図1の顕微鏡の接眼レンズの視野に拡張またはオーバレイを投影するためのモジュールの光学図である。
【図１１Ａ】深層学習アルゴリズムの開発およびモデルトレーニング方法の図である。
【図１１Ｂ】推論を実行する深層学習アルゴリズムのアプリケーションの図である。
【図１１Ｃ】時間の経過とともに一連の画像に対して実行される動作のシーケンスを示すソフトウェアパイプラインの図である。
【図１２Ａ】標本内の腫瘍細胞を示すために強調表示された領域または境界の形における視野内の拡張現実拡張の重ね合わせを示す一連のリンパ節視野画像の図である。
【図１２Ｂ】標本内の腫瘍細胞を示すために強調表示された領域または境界の形における視野内の拡張現実拡張の重ね合わせを示す一連の前立腺視野画像の図である。
【図１３】転移検出のためのリンパ節標本のいくつかのサンプル視野を示し、第1の列は、輪郭の形のオーバレイを有する拡張現実画像であり、第2の列は、ニューラルネットワークによって生成されたヒートマップであり、第3の列は、スライドのH&E画像全体を示し、第4の列は、スライドのIHC画像全体を示す。
【図１４Ａ】定量的測定値の形のオーバレイまたは拡張を有する顕微鏡の視野の例の図であり、境界と、境界内のすべての細胞がプロゲステロン受容体タンパク質の発現について陽性であることを意味する“100%PR”の測定値とを有する組織サンプルを示す。
【図１４Ｂ】定量的測定値の形のオーバレイまたは拡張を有する顕微鏡の視野の例の図であり、有糸分裂中の細胞の周りに描かれた円、および、高倍率視野あたりの細胞数の定量的レポート「高倍率視野あたり4つの有糸分裂」の形における拡張を示す。
【図１４Ｃ】定量的測定値の形のオーバレイまたは拡張を有する顕微鏡の視野の例の図であり、細胞のクラスタの寸法(200μm)を示す測定値または定規を示す。
【図１４Ｄ】定量的測定値の形のオーバレイまたは拡張を有する顕微鏡の視野の例の図であり、機械学習モデルが、個々の微生物、この場合はヘリコバクターピロリの存在を識別した領域を示す暗い点を有する生物学的サンプルを示す。
【図１４Ｅ】定量的測定値の形のオーバレイまたは拡張を有する顕微鏡の視野の例の図であり、機械学習モデルが、個々の微生物、この場合はマイコバクテリウムの存在を識別した領域を示す円を有する生物学的サンプルを示す。
【図１４Ｆ】定量的測定値の形のオーバレイまたは拡張を有する顕微鏡の視野の例の図であり、前立腺癌について陽性と予測される領域、および腫瘍が関与している標本の割合(70%の腫瘍関与)の形におけるオーバレイを示す。
【図１５】視野内の画像上に手動で注釈を描画するためのインターフェースと、視野内の注釈のレンダリングをカスタマイズおよび制御するためのツールへのアクセスを提供するための別個のペインとを示すワークステーション(汎用コンピューティングデバイスまたはタブレットコンピュータの形をとることができる)の図である。
【図１６】癌/腫瘍であると機械学習モデルによって判定された領域を取り囲む輪郭、および定量的な結果「23%の腫瘍関与」を提供するテキストブロックの形における、視野上に重ね合わされた注釈の例の図である。
【図１７】視野内の機械学習モデルによるマイコバクテリウム(例えば、結核)の検出を示す円の形におけるオーバレイの例の図である。
【図１８】バイオマーカ定量化、この例では、タンパク質Ki67の発現について陽性の細胞数(この例では98%)の形におけるオーバレイの表示を伴う、顕微鏡においてカメラによって取得された視野の画像の図である。
【図１９】バイオマーカ定量化、この例では、タンパク質P53の発現について陽性の細胞数(この例では49%)の形におけるオーバレイの表示を伴う、顕微鏡においてカメラによって取得された視野の画像の別の例の図である。
【発明を実施するための形態】
【００２０】
図1は、オプションの接続された病理学者ワークステーション140と組み合わせて示されている、病理学用の拡張現実顕微鏡システム100の概略図である。システム100は、接眼レンズ104(実体顕微鏡の場合、オプションで第2の接眼レンズ)を含む従来の病理学者顕微鏡102を含む。ステージ110が、生物学的サンプルを含むスライド114を支持する。照明源112が、サンプルを通して光を投射する。顕微鏡対物レンズ108が、サンプルの画像を矢印106によって示されるように光学モジュール120に向ける。異なるレベルの倍率を提供するために、追加のレンズ108Aおよび108Bが、顕微鏡内に設けられる。焦点調整ノブ160が、ユーザがレンズ108の焦点深度を変更することを可能にする。
【００２１】
顕微鏡は、接眼レンズを通して視野に拡張をオーバレイするための半透明ミラー122またはビームコンバイナ/スプリッタなどの構成要素を組み込んだ光学モジュール120を含む。光学モジュール120は、病理学者が従来の顕微鏡におけるように顕微鏡の視野を見ることを可能にし、要求に応じて、または自動的に、拡張現実(AR)表示生成ユニット128およびレンズ130によって視野に投影される視野上のオーバレイとして、拡張(ヒートマップ、境界または輪郭、注釈など)を見ることを可能にする。表示ユニット128によって生成された画像は、半透明ミラー122によって顕微鏡視野と組み合わされる。半透明ミラーの代替として、拡張を光路に投影するために透過ネガ画像を使用する液晶ディスプレイ(LCD)が、光路内に配置されてもよい。
【００２２】
光学モジュール120は、様々な異なる形態をとることができ、そのようなモジュールを説明するために、当該技術分野において様々な命名法が使用されている。例えば、そのようなモジュールは、「投影ユニット」、「画像注入モジュール」、または「光学シースルー表示技術」と呼ばれる。そのようなユニットを説明している文献は、米国特許出願公開2016/0183779号(図1、図11、図12、図13の説明を参照)および公開PCT出願WO2016/130424A1(図2、図3、図4A〜図4Cの説明を参照)、Watsonら、Augmented microscopy:real-time overlay of bright-field and near-infrared fluorescence images、Journal of Biomedical Optics、vol.20(10)2015年10月、Edwardsら、Augmentation of Reality Using an Operating Microscope、J.Image Guided Surgery.Vol.1 no.3(1995年)、Edwardsら、Stereo augmented reality in the surgical microscope、Medicine Meets Virtual Reality(19997)J.D.Westwardら(eds.)IOS Press、102頁を含む。
【００２３】
半透明ミラー122は、顕微鏡の視野を、接眼レンズ104とデジタルカメラ124の両方に向ける。カメラ用のレンズは、示されていないが、従来のものである。カメラは、例えば、毎秒10または30フレームで動作する高解像度(例えば、16メガピクセル)ビデオカメラの形態をとってもよい。デジタルカメラは、顕微鏡の接眼レンズを通して見られるサンプルの拡大画像をキャプチャする。カメラによってキャプチャされたデジタル画像は、計算ユニット126に供給される。計算ユニット126については、図5においてより詳細に説明する。代替的には、カメラは、キヤノンによって開発され、2015年9月に発表されたAPS-Hサイズ(約29.2×20.2mm)250メガピクセルCMOSセンサなどの、超高解像度デジタルカメラの形態をとってもよい。
【００２４】
簡潔に言うと、計算ユニット126は、カメラから画像を受信する機械学習パターン認識器を含む。機械学習パターン認識器は、検査中の生物学的標本と同じタイプの顕微鏡スライド画像のセットにおいてトレーニングされた深層畳み込みニューラルネットワークの形態をとってもよい。加えて、パターン認識器は、好ましくは、異なるレベルの倍率、例えば、5倍、10倍、20倍、40倍におけるスライドのセットにおいて各々がトレーニングされたパターン認識器のアンサンブルの形態をとる。パターン認識器は、ステージ上に現在置かれているタイプの生物学的サンプル内の画像内の関心領域(例えば、癌性細胞または組織、ウィルスまたは細菌などの病原体、寄生虫からの卵など)を識別するようにトレーニングされる。パターン認識器は、カメラ124によってキャプチャされた画像上の関心領域を認識する。計算ユニット126は、ユーザによって見られるサンプルのビューへの拡張を表すデータを生成し、この拡張は、AR表示ユニット128によって生成および投影され、半透明ミラー122によって接眼レンズの視野と組み合わされる。
【００２５】
カメラ124による画像の本質的に連続的なキャプチャ、パターン認識器による画像における推論の迅速な実行、ならびに視野へのオーバレイとしての拡張の生成および投影は、異なる対物レンズ108Aもしくは108Bに切り替えることによって倍率を変更することによって、または焦点ノブ160を操作することによって焦点深度を変更することによって、図1のシステム100が、視野への拡張を提供し続け、(例えば、ステージを駆動するモータ116の使用によって)オペレータがスライドをナビゲートするときに実質的にリアルタイムで標本を特徴付けるかまたは分類する際に病理学者を支援し続けてもよいことを可能にする。これは、当該技術分野における実質的な進歩であり、顕微鏡を使用する従来の病理学に対する改善である。
【００２６】
「実質的にリアルタイム」によって、倍率を変更してから、焦点深度を変更してから、またはナビゲーションして、次いでスライド上の新しい場所で停止してから10秒以内に拡張またはオーバレイが視野に投影されることを意味する。実際には、以下で説明するように、推論アクセラレータのオプションの使用により、ほとんどの場合、新しいオーバレイは、焦点の変更、倍率の変更、またはスライド位置の変更から1〜2秒または1秒の何分の1か以内に生成され、視野に投影されてもよい。
【００２７】
要約すると、次いで接眼レンズ104を有する顕微鏡102を用いた生物学的サンプルを含むスライド114のレビューにおいてユーザ(例えば、病理学者)を支援する方法が開示される。方法は、顕微鏡の接眼レンズを通してユーザによって見られるサンプルのデジタル画像を、カメラ124を用いてキャプチャするステップと、カメラ124によってキャプチャされた画像からサンプル内の関心領域を識別するために、機械学習パターン認識器(200、図5、図8)を使用するステップと、顕微鏡の接眼レンズを通してユーザによって見られるサンプルのビューにオーバレイとして拡張を重ね合わせるステップとを含む。ユーザが、顕微鏡光学系に対してサンプルを移動させるか、または顕微鏡の倍率もしくは焦点を変更すると、新しい画像が、カメラによってキャプチャされ、機械学習パターン認識器に供給され、新しい拡張が、実質的にリアルタイムで、接眼レンズを通して見られるサンプルの新しいビューにオーバレイされる。オーバレイされた拡張は、生物学的サンプルを分類する際にユーザを支援する。
【００２８】
図2Aは、所与の倍率レベル、例えば、10倍での乳癌標本152を示す顕微鏡の視野150の図である。図2Aは、従来技術の顕微鏡の場合のように、拡張のない視野を示す。図2Bは、癌性である可能性が高いサンプル内の細胞と整合した視野上に「ヒートマップ」の形の拡張154が重ね合わされた、図1の顕微鏡を使用して病理学者によって見られる拡張されたビューの図である。「ヒートマップ」は、癌性細胞を含む高い可能性を有する領域を(例えば、赤で)強調するために図7のコードに従って色付けされた癌性の可能性が高い組織を表すピクセルのセットである。図2Bにおけるヒートマップ154の重ね合わせは、病理学者の注意を、特に癌性である可能性が高い関心領域に向けるので、サンプルを特徴付ける際に病理学者を支援する。病理学者が、図2Bのヒートマップ領域154にズームインするために顕微鏡の対物レンズを変更した(例えば、図1におけるレンズ108Aを選択した)場合(例えば、40倍レンズに変更)、サンプルの新しい視野が、顕微鏡の接眼レンズを通して見られ、カメラに向けられる。カメラ124は、新しい画像をキャプチャし、病理学者のより高い倍率におけるサンプルの調査をさらに支援するために、実質的にリアルタイムで(例えば、1〜2秒で)、新しいヒートマップ154(図示せず)が、視野上に生成され、オーバレイされる。
【００２９】
1つの可能な構成において、顕微鏡102は、例えば、スイッチを用いて、またはレンズを含むタレットの動作を制御する顕微鏡電子機器へのユーザ命令によって、どの顕微鏡対物レンズが現在、サンプルを撮像する位置にあるかを識別する能力を含み、そのような識別は、パターン認識器(以下の図8を参照)のアンサンブル内の正しい機械学習パターン認識モジュールが新しい視野画像において推論を実行するタスクを課されるように、単純な電子機器を使用して計算ユニット126に渡される。顕微鏡は、この点に関して、その内容が参照により本明細書に組み込まれる、2019年1月8日に出願したPCT出願PCT/US2019/012674の自動化された客観的識別機能を含んでもよい。
【００３０】
図3Aは、本開示の能力のない従来の顕微鏡におけるように、所与の倍率レベル、例えば、10倍での前立腺癌標本を示す顕微鏡の視野150の図である。図3Bは、癌性である可能性が高いサンプル内の細胞を取り囲む視野上に輪郭156の形の拡張が重ね合わされた、図1の顕微鏡を使用して病理学者によって見られる拡張された視野150の図である。拡張は、注釈、この例では、グリーソンスコア悪性度分類およびサイズ測定値を提供するテキストボックス158をさらに含む。この特定の例において、注釈は、輪郭内の細胞の87%がグリーソングレード3スコアであり、細胞の13%がグリーソングレード4スコアであり、グリーソングレード4スコアの細胞からなる腫瘍は、0.12μmの直径を有するということである。
【００３１】
別の可能な拡張は、サンプルの細胞が癌性である信頼性スコアである。例えば、拡張は、輪郭内の細胞がグリーソングレード3である85%の信頼度、および、輪郭内の細胞がグリーソングレード4である15%の信頼度などの、確率または信頼度スコアの形をとることができる。加えて、測定値(0.12μm)は、輪郭が描かれた領域全体の直径であってもよい。
【００３２】
輪郭および注釈の重ね合わせの図3Bは、病理学者の注意を、特に癌性である可能性が高い関心領域に向け、サンプルに関する提案されたスコアを提供するので、サンプルを特徴付ける際に病理学者を支援する。病理学者が、輪郭156内の関心領域を探るために、顕微鏡の焦点深度を変更した場合、サンプルの新しい視野が、顕微鏡の接眼レンズを通して見られ、カメラ124によってキャプチャされ、病理学者のサンプルの調査をさらに支援するために、実質的にリアルタイムで(例えば、1〜2秒以内に)、新しい拡張、例えば、輪郭および注釈テキストボックスが、視野上にオーバレイされる(図示せず)。図1のシステムは、例えば、図1の取り付けられたワークステーション140上のシステムの制御を提供することによって、計算ユニット126上に単純なユーザインターフェースを設けることによって、またはAR表示ユニット128をオンおよびオフにするフットスイッチによって、病理学者が拡張投影をオンまたはオフにする機能をオプションで含む。
【００３３】
図4Aは、従来の顕微鏡において見られるように、低倍率における血液サンプルの顕微鏡を通した視野150の仮定図である。ビューは、様々な血液断片(赤血球および白血球)と血小板などの成分とを含む。図4Bは、図4Aの同じ視野を示すが、この場合、マラリアについて陽性としてサンプルを特徴付ける際に病理学者を支援するために、視野上にオーバレイされたサンプル内に存在するマラリア原虫(プラスモジウム)を識別する矩形156の形の拡張を有する。
【００３４】
以下のTable 1(表1)は、病理学用の典型的な顕微鏡の光学特性と、図1において使用されてもよいカメラ124のデジタル解像度とをリストしている。
【００３５】
【表１】
2021515240.tif 000003
【００３６】
図5は、図1の計算ユニット126の1つの可能な形態のブロック図である。本質的に、1つの可能な構成において、計算ユニットは、キャプチャされた画像において推論を実行すること、視野に関するオーバレイのためのデジタルデータの生成、拡張の実質的にリアルタイムの表示を可能にするために十分に迅速に推論動作を実行するためのオプションの推論アクセラレーション、ならびに追加の病理学タスクをサポートするために追加の機械学習モデル(パターン認識器)をロードする能力を含む、図1のシステムの必要なタスクを実行するように設計された専用コンピュータシステムである。
【００３７】
図5において、計算ユニットは、ニューラルネットワークのための処理命令およびパラメータを記憶するメモリ202、ならびにキャプチャされた画像における推論の実行のための中央処理装置204の形態の深層畳み込みニューラルネットワークパターン認識器200を含む。モジュールは、パターン認識器200からの推論結果に基づいて、オーバレイデジタルデータ(例えば、ヒートマップ、注釈、輪郭など)を生成するためのグラフィックカード206も含んでもよい。メモリ212は、現在の倍率レベルに基づいて適切な機械学習モデルを選択するための処理命令と、リモートワークステーション140(図1)と視野の画像の座標共有のための処理命令と、本明細書で説明する他のタスクのための処理命令とを含む。計算ユニットは、キャプチャされた画像における推論の実行を高速化するための推論アクセラレータ214も含んでもよい。計算ユニットは、USBポートなどの、カメラからデジタル画像を受信するための図示されていないインターフェースと、デジタル表示データをAR表示ユニット128に送信するためのインターフェース(例えば、ネットワークケーブルポートまたはHDMIポート)208と、ワークステーション140へのインターフェース(例えば、ネットワークケーブルポート)216と、異なる病理学用途のためのパターン認識およびオーバレイ生成を実行するためにシステムの能力を拡張するために追加のパターン認識器(図9参照)を含むポータブルメディアを計算ユニットが受信およびダウンロードすることを可能にするインターフェース210(例えば、SCカードリーダ)とを含む、システムの他の構成要素への様々なインターフェースをさらに含む。高速バス220またはネットワークが、計算ユニット126内のモジュールを接続する。実際には、追加のハードディスクドライブ、プロセッサ、または他の構成要素が、計算ユニット内に存在する場合があり、その詳細は、特に重要ではない。
【００３８】
別の可能な構成において、図5に示すように、計算ユニット126は、パターン認識器およびアクセラレータ、ならびにグラフィックス処理モジュールで増強された汎用コンピュータ(例えば、PC)の形態をとることができる。パーソナルコンピュータは、カメラへのインターフェース(例えば、カメラからデジタル画像データを受信するUSBポート)と、HDMIポートなどの、AR投影ユニットへのインターフェースと、図1に示すように追加のパターン認識器のダウンロードおよび/またはリモートワークステーションとの通信を可能にするネットワークインターフェースとを有する。
【００３９】
使用中、複数の異なるパターン認識器が計算ユニットにロードされていると仮定すると、自動標本タイプ検出器または手動セレクタが、標本に依存するパターン認識モデル(例えば、前立腺癌対乳癌対マラリア検出)間を切り替え、それに基づいて、適切な機械学習パターン認識器またはモデルが、選択される。(例えば、ステージを駆動するモータ116の使用による)新しい位置へのスライドの移動、または別の顕微鏡対物レンズ108(すなわち、倍率)への切り替えは、前に説明したように、拡張の更新をトリガする。オプションで、倍率のみが変更された場合、様々な倍率レベルで動作する様々なモデルのアンサンブル(図8参照)が、標本において推論を実行し、推論結果が、スライドの同じ位置において組み合わされてもよい。この動作が実行されてもよい方法のさらなる詳細が、その内容が参照により本明細書に組み込まれる、2017年2月23日に出願した、“Method and System for Assisting Pathologist Identification of Tumor Cells in Magnified Tissue Images”と題する係属中のPCT出願、PCT/US17/019051に記載されている。別のオプションは、計算ユニットが、顕微鏡から計算ユニットへの単純な電子通信によって、顕微鏡から現在の倍率を知ることができることである。顕微鏡は、どのレンズがユーザによって光路に配置されているのかを監視し、選択を計算ユニットに伝達する。
【００４０】
200において示す図5の計算ユニットにおいて使用されるタイプの深層畳み込みニューラルネットワークパターン認識器は、パターン認識およびマシンビジョンの分野において広く知られており、したがって、その詳細な説明は、簡潔にするために省略される。現在のパターン認識器の基礎となっているGoogle Inception-v3深層畳み込みニューラルネットワークアーキテクチャは、科学文献に記載されている。その内容が参照により本明細書に組み込まれる以下の文献、C.Szegedyら、Going Deeper with Convolutions、arXiv:1409.4842[cs.CV]( 2014年9月)、C.Szegedyら、Rethinking the Inception Architecture for Computer Vision、arXiv:1512.00567[cs.CV](2015年12月)を参照し、2015年8月28日に出願した、C.Szegedyらの米国特許出願第14/839,452号、“Processing Images Using Deep Neural Networks”も参照されたい。Inception-v4として知られる第4世代が、パターン認識器306のための代替アーキテクチャとみなされる。C.Szegedyら、Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning、arXiv:1602.0761[cs.CV](2016年2月)を参照されたい。2016年12月30に出願した、C.Vanhouckeの米国特許出願第15/395,530号、“Image Classification Neural Networks”も参照されたい。これらの論文および特許出願における畳み込みニューラルネットワークの説明は、参照により本明細書に組み込まれる。
【００４１】
深層ニューラルネットワークパターン認識器を説明する追加の文献は、以下の、G.Litjensら、Deep learning as a tool for increasing accuracy and efficiency of histopathological diagnosis、www.nature.com/scientificreports 6:26286(2016年5月)、D.Wangら、Deep Learning for Identifying Metastatic Breast Cancer、arXiv:1606.05718v1 (2016年6月)、A.Madabhushiら、Image analysis and machine learning in digital pathology:Challenges and opportunities、Medical Image Analysis 33、p.170〜175頁(2016年)、A.Schuambergら、H&E-stained Whole Slide Deep Learning Predicts SPOP Mutation State in Prostate Cancer, bioRxiv preprint http:/.bioRxiv.or/content/early/2016/07/17/064279を含む。
【００４２】
深層ニューラルネットワークパターン認識器200をトレーニングするためのトレーニングスライドのソースは、関心のあるサンプルのタイプのスライドのセットのスライド全体のスキャンによってゼロから生成されてもよい。例えば、トレーニング用のスライド画像は、カリフォルニア州サンディエゴの海軍医療センター(Naval Medical Center in San Diego, California)(NMCSD)から、ならびにCAMELYON16チャレンジおよびThe Cancer Genome Atlas(TCGA)からなどの一般的に利用可能なソースから取得されてもよい。代替的には、それらは、図1のカメラによってキャプチャされた様々なスライドの画像のセットから生成されてもよい。
【００４３】
スライドを染色するためのデジタル全スライドスキャナおよびシステムは、当該技術分野において知られている。そのようなデバイスおよび関連するシステムは、Aperio Technologies、Hamamatsu Photonics、Philips、Ventana Medical Systems, Inc.などから利用可能である。デジタル全スライド画像は、慣習的である第1の倍率レベル(例えば、40倍)において取得されてもよい。画像は、他の倍率におけるトレーニング画像を取得するためにアップサンプリングまたはダウンサンプリングされてもよい。代替的には、トレーニングスライドは、様々な倍率において、例えば、従来の手動で操作される顕微鏡によって提供される各倍率レベルにおいて、複数回スキャンされてもよい。
【００４４】
推論速度
いくつかの実装形態において、顕微鏡の視野全体であるデジタル画像において推論を実行することが可能である場合がある。他の状況において、視野の中心の周りに位置するピクセルのいくつかの299×299矩形パッチ、または視野のいくらかより大きい部分などの、画像の一部のみにおいて推論を実行することが望ましい場合がある。
【００４５】
299×299ピクセル入力サイズを有するInception v3ベースのモデルと16MPカメラとを使用すると、光学FoVの球面領域(直径2700ピクセル)の密なカバレッジは、約120のパッチ推論を必要とする。推論が、中央の3分の1に対してのみ実行される場合(推論粒度を高め、他の3分の2をコンテキストとして使用する)、約1200の推論呼び出しを必要とする。回転および反転、またはアンサンブリングを追加する場合、追加の推論呼び出しが、必要とされる場合がある。
【００４６】
Table 2(表2)は、従来の最新技術のグラフィックス処理ユニットと推論アクセラレータとを使用した推論呼び出し数と推論時間とをリストしている。
【００４７】
【表２】
2021515240.tif 000004
【００４８】
シームレスで実質的にほぼリアルタイムの体験についてカメラ124が30フレーム/秒(fps)で動作すると仮定すると、回転、反転、およびアンサンブリングの合理的な組合せによる密なカバレッジが、可能である。
【００４９】
推論アクセラレータ(214、図5)
人工知能(AI)アクセラレータとしても知られる推論アクセラレータは、パターン認識のための入力データセットの推論を実行するプロセスを高速化するように設計されたマイクロプロセッサまたはコプロセッサの新興のクラスである。これらのシステムは、現在、カスタムの特定用途向け集積回路チップ(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、グラフィックス処理ユニット(GPU)、および汎用コンピューティングユニットの組合せの形態をとる。図1のシステムのいくつかの用途において、図5に示すように、計算ユニット126内に推論アクセラレータを含めることが望ましい場合がある。推論アクセラレータは、当該技術分野において説明されており(Jonathon Rossら、“Neural Network Processor”と題する米国特許出願公開第2016/0342891号を参照されたい)、NVidia TMおよびTesla TM P40およびP4 GPUアクセラレータならびにIntel TM深層学習推論アクセラレータなど、現在市販されている。
【００５０】
単純な実装形態において、図1のシステムは、パターン認識を実行し、グラフィックカード出力インターフェース(例えば、HDMI(登録商標))を介してARディスプレイデバイスにオーバレイグラフィック(拡張)を出力する標準的なPC(計算ユニット126)に差し込まれたUSBカメラ出力を単に使用することができる。推論は、標準的なPC内のグラフィックス処理ユニット(GPU)によって行われてもよい。この構成において、デバイス上の推論アクセラレータは、オプションであり、必須ではない。より高速な推論に対する必要性が生じた場合、コンピュータは、プラグインモジュールとして既成の推論アクセラレータを後で拡張することができる。
【００５１】
拡張の生成
視野に投影するための拡張の生成は、以下のように実行されてもよい。
1)計算ユニット126内の機械学習パターン認識器200は、(ここでの例として癌検出を使用して)領域ごとの腫瘍確率を作成するために、視野においてモデル推論を実行する。
2a)ヒートマップ:視野内の各画像パッチに関する腫瘍確率は、カラー値(例えば、RGB)に変換され、ヒートマップを作成するために、つなぎ合わされる。このタスクは、グラフィックカード206によって実行されてもよい。
2b)ポリゴン輪郭:腫瘍確率は、特定のスコア(例えば、確率>50%)でしきい値処理され、残りの領域の境界(または、接続されていない領域がいくつか存在する場合、領域)は、ポリゴン輪郭を形成する。再び、このタスクは、グラフィックカード206によって実行されてもよい。
3)ステップ2Aまたは2Bからのデジタル画像データは、AR表示ユニット128によってディスプレイ上の画像に変換され、その画像は、次いでレンズ130および半透明ミラー120によって光路に投影される。
【００５２】
加えて、グラフィックカード206は、単独で、または機械学習パターン認識器からの出力とともに、デジタル拡張データ内に含めるためのグリーソンスコア悪性度分類、注釈などを生成し、そのような追加の拡張をAR表示モジュール128に提供することができる。
【００５３】
スライド上の位置に関する顕微鏡とコンピュータとの通信。
実際には、いくつかの状況において、図1の顕微鏡システムの病理学者による使用に加えて、標本スライドの全スライドスキャンを実行することが有用である場合がある。この状況において、全スライドスキャンは、ワークステーション140上に常駐されてもよい(または、ワークステーション140と計算ユニット126の両方によって共有されてもよい)。以下を含むいくつかの可能な用途が、視野への拡張からなる。
【００５４】
1.全スライド画像上の顕微鏡の現在の視野(FoV)の強調表示(例えば、教育目的)。FoVの位置特定は、全スライド画像への顕微鏡画像の画像位置合わせを介して、または全スライド画像座標にマッピングされたモータ座標を用いて顕微鏡ステージ110を駆動するモータ116の使用のいずれかによって行われてもよい。
【００５５】
2.スライド上の指定された領域への顕微鏡FoVの自動ナビゲーション。例えば、顕微鏡は、「プレスキャン」モードにおいて動作することができ、「プレスキャン」モードでは、モータ116は、顕微鏡スライドを一連のX-Y位置に駆動し、各位置におけるカメラを用いて低倍率画像を取得する。画像は、計算ユニット126内の機械学習パターン認識器に渡され、パターン認識器は、関心領域(例えば、癌性である可能性が高い細胞)を含むそれぞれの位置からそれらの画像を識別する。次いで、病理学者による使用中、モータ116は、スライドをそれらの位置に駆動するように動作されてもよく、オペレータは、各位置における視野と、適切な拡張(ヒートマップ、輪郭など)で拡張された視野とを調査するように促される。この実施形態において、計算ユニットは、病理学者のワークフローを支援するために、顕微鏡のユーザインターフェースと連動して動作してもよい。そのようなユーザインターフェースは、顕微鏡自体に組み込まれるか、またはワークステーション140のディスプレイ142において提示されてもよい。例えば、図1において、ワークステーション140は、顕微鏡の現在の視野150を表示するディスプレイ142を含む。マウス146またはキーボード144を使用することによって、病理学者は、顕微鏡ステージモータ116に関心領域を含むスライド上の一連の位置を通って進ませるために、ワークステーション上でコマンドを入力することができる。低倍率における潜在的な関心領域の識別は、全スライド画像において実行されてもよく、潜在的な関心領域の位置は、スライド座標へのモータ座標のマッピングを使用してスライド座標に変換される。
【００５６】
3.全スライド画像から顕微鏡画像へのラベルおよび注釈の転送
全スライドスキャナによって取得された標本スライドの全スライド画像には、画像内の様々な関心オブジェクトに関するラベルまたは注釈が付けられてもよい。全スライド画像と、電動ステージ110上のスライドとの間の位置合わせを(例えば、モータ116の位置の全スライド画像座標へのマッピングから)取得することが可能であるので、接眼レンズを通して見られる顕微鏡画像にラベルと注釈とを転送することが可能である場合がある。これは、計算ユニット内のグラフィックカード206にラベルおよび注釈を提供し、次いでモータがそのようなラベルおよび注釈が存在する座標にスライドを駆動したとき、そのようなラベルおよび注釈のデジタルデータをAR表示ユニット128に提供することによって可能である。
【００５７】
全スライド画像と顕微鏡上のスライドとの間の位置合わせを取得する方法は、アルゴリズム的解法として、またはカメラ画像に対応する全スライド画像の領域を位置特定するために画像位置合わせなどのコンピュータビジョン手法を使用することによって実装されてもよい。
【００５８】
4.例えば、病理報告において使用するための、視野を予測とともにローカルストレージに出力すること。
実際には、サンプルを特徴付けるまたは分類する際に病理学者の作業の記録を作成することが病理学者にとって望ましい場合がある。そのような記録は、生成および(例えば、計算ユニットのメモリ212内に)記録され、次いで取り付けられた病理学ワークステーション140にインターフェース216を介して送信されてもよい視野(拡張ありまたはなし)のデジタル画像の形態をとることができる。ワークステーションソフトウェアは、典型的には、サンプルにおける分類または特徴付けタスクを実行し、レポートを生成する際に病理学者が従うワークフローソフトウェアを含む。そのようなソフトウェアは、病理学者が、メモリ212内に記憶された視野の記憶されたデジタル画像および関連する注釈または拡張をレポートに挿入することを可能にするツール、例えば、アイコンまたはプロンプトを含む。
【００５９】
さらなるオプションの特徴が、システム内に含まれてもよい。
【００６０】
A.モニタ上に視野を表示するための出力ポート
計算ユニットは、取り付けられた周辺病理学者ワークステーション140に計算ユニットを接続するためのインターフェースまたはポート216を含む。このインターフェースは、カメラによってキャプチャされた視野およびグラフィックカードによって生成された任意の拡張が、ワークステーション140のモニタ142に送信されることを可能にする。
【００６１】
B.要求に応じて、接続されたモニタが、注釈などともに、現在の視野内のものと同様の画像領域を表示する。
1つの可能な構成では、ワークステーション140のモニタ142は、他のスライドに関して存在する可能性がある任意の拡張または注釈とともに、現在の視野内のものと「同様」の他のスライドからの(例えば、他の患者からの)画像を表示する。具体的には、ワークステーション140は、他の患者からの他のスライドのセットのデジタル画像データと、潜在的に数百または数千のそのようなスライドのデジタル画像データとがロードされたメモリを含んでもよい。ワークステーションは、そのような他のデジタルスライド画像のすべてにおいて顕微鏡上のスライドの視野のパターン認識を実行し、視野に最も近いものを選択するパターン認識器を含んでもよい。視野(すなわち、メモリ内に記憶された選択されたデジタルスライドの一部)が、顕微鏡100を通した現在の視野と一緒にワークステーション140のディスプレイ142上に提示されてもよい。ワークステーション上のメモリ内に記憶されたスライドの各々は、患者の診断、日付、治療、治療後の成果または生存データ、年齢、喫煙者の状態などのメタデータに関連付けられる。選択されたデジタルスライドの視野の表示は、メタデータの表示で拡張されてもよい。
【００６２】
拡張の例
1.ヒートマップ
図2Bは、例えば、癌細胞を含む可能性が高い特に関心のある領域を識別する色付けされたピクセルのオーバレイの形の「ヒートマップ」の例を示す。ヒートマップは、腫瘍細胞を含む高い可能性を有するスライドの個別の領域(すなわち、ピクセルのグループ)が特定の色、例えば、暗赤色で示されている、視野上のオーバレイを病理学者に提示することによって、スライドをレビューする際に病理学者を支援する。逆に、腫瘍細胞を含む比較的低い可能性を有する視野内の領域は、そのままにされるか、または対照的な色、例えば、青色または紫色でレンダリングされてもよい。ヒートマップ画像は、腫瘍細胞を含む高い可能性を有する細胞のグループが存在する様々な領域のリストが添付されてもよい。
【００６３】
一実施形態において、カメラ124によってキャプチャされたデジタルスライド画像内のピクセルの小さいグループ(「パッチ」)に関するスコアは、0.0から1.0の範囲である。最も高いスコアを有するヒートマップ20の領域は、暗赤色で示され、最も低いスコアを有する領域は、そのままにされる(強調されない)か、または紫色などの別の対照的な色で示される。図7のコード22は、本質的に、腫瘍確率スコアに色を割り当てるために可視スペクトル(すなわち、虹の色)を使用する。しかしながら、可視スペクトルの一部のみを使用することが可能であり、例えば、0.5よりも高い腫瘍確率尤度を有するピクセルの拡張のみを生成することが可能である。さらに、さらに別の可能な代替実施形態において、グレースケールの程度のみが、コードのために使用されてもよく、例えば、白色が、0のスコアに対応し、黒色が、1のスコアに対応し、グレーの程度が、0と1との間の値を構成する。例えば、単一の色(例えば、緑色)が、使用されてもよく、不透明度(グレースケール)が、腫瘍確率を符号化するために使用されてもよい。
【００６４】
ヒートマップおよび腫瘍確率スコアの生成および計算におけるさらなる詳細は、参照により組み込まれる、2017年2月23日に出願した、“Method and System for Assisting Pathologist Identification of Tumor Cells in Magnified Tissue Images”と題する係属中のPCT出願、PCT/US17/019051において説明されている。
【００６５】
2.関心領域の輪郭および注釈
図3Bは、上記で説明したように生成され、視野上に投影されてもよい関心領域の輪郭の例を示す。輪郭には、グリーソンスコア、サイズ測定値、例えば、腫瘍の直径、癌尤度予測、細胞カウント、または他の関連する病理学情報などのテキスト(注釈)を添付することができる。計算ユニットが現在の対物レンズ度数を知り、したがって、画像データのピクセルを物理単位に変換することができるので、サイズ測定データ、例えば、「腫瘍直径2mm」の表示は、可能である。そのような測定値は、「微小転移」対「マクロ転移」などの追加のラベルまたは注釈をトリガすることができる。注釈は、癌細胞について陽性の画像の%および癌細胞について陰性の画像の%などの統計値と、信頼性スコアまたは確率スコアとを含むこともできる。
【００６６】
3.オブジェクトを識別する矩形
図4Bは、関心オブジェクトの周りに配置された矩形または境界ボックスの使用の例を示す。この手法は、例えば、食品、血液、水、または他のタイプの生物学サンプル中の細菌(例えば、結核)、原生動物(例えば、プラスモジウム)、寄生虫からの卵、または他の病原体の識別において使用されてもよい。矩形には、用途に応じて、サイズ、信頼性スコアまたは確率スコア、種の識別などのような注釈などの追加情報を添付することができる。
【００６７】
4.定量的データ
以下のセクションを参照されたい。
【００６８】
ワークフロー
図6は、図1のシステムを使用するワークフローを示すフローチャートである。ステップ302においてユーザは、新しいスライド114を顕微鏡ステージ110に挿入する。ステップ302において、標本分類器または手動選択(例えば、取り付けられたワークステーション140の使用による、または顕微鏡もしくは計算ユニットにおけるユーザインターフェース制御による)が、スライド上の標本のタイプに従ってパターン認識モード(例えば、乳癌、前立腺癌、マラリア)を選択し、計算ユニット内の関連する機械学習パターン認識器には、動作のためのフラグが立てられる。
【００６９】
ステップ306において、視野の画像が、デジタルカメラ124によってキャプチャされ、計算ユニット126に送信される。オペレータが、(例えば、パンモードにおけるステージモータ116の動作によって)スライドを移動させると、視野の新しい画像が、カメラによってキャプチャされる。同様に、オペレータが(例えば、ズームインまたはズームアウトするために)対物レンズ108を変更すると、新しい画像が、キャプチャされる。新しい画像は、計算ユニット126に送信される。(実際には、カメラ124は、例えば、毎秒10または30フレームの連続フレームレートにおいて動作することができ、計算ユニットにおける視野の更新は、本質的に連続的であることができ、単にステージ位置または対物レンズが変更されたときだけではない。)
【００７０】
ステップ312において、視野の画像は、推論を実行するために、計算ユニット126(図5)内の関連する機械学習パターン認識器200への入力として提供される。実際問題として、ステップ312は、カメラ124のフレームレートと同期して、繰り返し実行されてもよい。
【００７１】
ステップ314において、計算ユニット126内のグラフィックカードまたはGPU206は、サンプルタイプに関連する増強または拡張に対応するデジタル画像データを生成し、このデジタル画像データは、接眼レンズ104において病理学者が見るための視野に投影するために、AR表示ユニット128に提供される。
【００７２】
計算ユニットは、(例えば、取り付けられたワークステーションを介する)制御を含んでもよく、この制御によって、ユーザは、ユーザが視野に投影して見たい注釈または拡張のタイプを指定することができ、それによりユーザが拡張現実モードにおいて顕微鏡がどのように動作することを望むのかについてユーザ制御を与える。例えば、ユーザは、ヒートマップのみの形における拡張を指定することができる。別の例として、標本が血液サンプルである場合、ユーザは、サンプル内に存在するプラスモジウムを識別する矩形の形における拡張を指定することができる。前立腺サンプルにおいて、ユーザは、グリーソンスコアが3以上の細胞を囲む境界または輪郭、ならびに図3Bにおいて以前に示して説明したような注釈を指定することができる。別の例として、ユーザは、投影と、したがって顕微鏡視野における拡張の表示とをオンおよびオフにするためのスイッチ(フットスイッチなど)を提供されてもよい。
【００７３】
機械学習パターン認識器のアンサンブル
図1のシステムは、いくつかの異なる対物レンズと倍率レベルとを提供する顕微鏡と組み合わせて使用されるように設計されていることに留意されたい。典型的には、特定のパターン認識器または機械学習モデルが、特定の倍率レベルにおいてトレーニングスライドのセットにおいてトレーニングされる。したがって、所与のサンプルの検査中にユーザが対物レンズを変更する可能性に対応するために、計算ユニットの好ましい実施形態は、異なる倍率レベルにおける画像データにおいて各々がトレーニングされたパターン認識器のアンサンブルを含む。例えば、図8において、4つの異なるパターン認識器(406A、406B、406C、および406D)のアンサンブルが示されている。パターン認識器の各々は、特定の倍率におけるデジタルスライド画像のセットにおいてトレーニングされた深層畳み込みニューラルネットワークの形態をとる。例えば、パターン認識器406Aは、40倍の倍率のスライド画像においてトレーニングされる。パターン認識器406Bは、20倍の倍率のスライド画像においてトレーニングされる。パターン認識器406Cは、10倍の倍率のスライド画像においてトレーニングされる。パターン認識器406Dは、5倍の倍率のスライド画像においてトレーニングされる。理想的には、パターン認識器がトレーニングされる倍率のレベルの各々は、図1の顕微鏡において利用可能な倍率レベルに対応してトレーニングされる。顕微鏡倍率とトレーニングスライド倍率との間に不一致がある場合、カメラ124によってキャプチャされた顕微鏡画像を、パターン認識器の倍率レベルに対応するようにアップサンプリングまたはダウンサンプリングすることが可能なので、これは、必須ではない。
【００７４】
動作中、パッチ(すなわち、ピクセルの299×299矩形パッチなどの顕微鏡FoVの一部)402A、402B、402C、または402Dが、顕微鏡において使用されている現在の対物レンズに応じて、関連するパターン認識器406A、406B、406C、406Dへの入力404A、404B、404C、または404Dとして提供される。ヒートマップ用途において、0と1との間のピクセルのパッチに関するスコアは、入力データ(パッチ)がクラス(ここでは、健康対腫瘍)のどれに属するかについての0と1との間の確率の形態における予測を生成する多項ロジスティック回帰の形態におけるニューラルネットワークパターン認識器406A、406B、406C、406Dの最後のレイヤとして生成される。多項ロジスティック回帰は、教師あり学習および最適化の分野において知られており、時には「ソフトマックス回帰」と呼ばれる。ウェブ上で見られるチュートリアルhttp://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/は、さらなる詳細を提供し、これは、参照により本明細書に組み込まれる。したがって、出力408A、408B、408C、408Dは、ピクセルのパッチに関するスコアである。
【００７５】
1つの構成において、ピクセルのパッチに関するスコアを生成するプロセスは、顕微鏡の視野を形成するパッチのすべてについて実行される。出力408A、408B、408C、408Dは、拡張、この例では、ヒートマップを表すデータを生成するために、計算ユニット内のグラフィックカード(GPU)206に提供される。ステージが静止したままであるが、ユーザが倍率を変更した状況において、図8に示すアンサンブルのメンバのうちの2つは、ヒートマップを生成するために使用することができ、1つは、第1の倍率用であり、1つは、第2の倍率用である。理論的には、アンサンブルのメンバの出力を組み合わせることが可能である。したがって、アンサンブルの複数のメンバが使用される変形例において、例えば、焦点面において変化があった場合、複数の出力408A、408B、408C、または408Dが、コンバイナ機能250に供給され、コンバイナ機能250は、出力を組み合わせ、データをグラフィックカードに送信する。さらなる詳細は、前に引用した2017年2月23日に出願したPCT出願に記載されている。
【００７６】
計算ユニットは、好ましくは、図8に示すように、顕微鏡が使用される病理学用途(例えば、乳癌組織、リンパ節組織、前立腺組織、マラリアなど)の各々について異なる倍率レベルにおける顕微鏡スライド画像のセットにおいてトレーニングされたパターン認識器のアンサンブルを含むことも理解されよう。
【００７７】
機械学習パターン認識器を有するポータブルメディア
一実施形態において、図1および図5の計算ユニット126は、異なるタイプの生物学的サンプルまたは顕微鏡の用途のための新しいトレーニングされたパターン認識器/機械学習モデルを受信して局所的に記憶するためのハードウェア構成要素を含む。この構成は、例えば、図5において、機械学習モデルを含む個々のSDカードが計算ユニットに挿入され、コンテンツがメモリ202内にダウンロードおよび記憶されることを可能にするSDカードインターフェース210として示されている。図9は、カード902、904、906、および908を含むSDカードのセット900の例を示す。各カードは、乳房組織内の癌細胞の識別情報(カード902)、前立腺組織内の癌細胞の識別情報(904)、血液サンプル中の結核マイコバクテリウムの識別情報(カード906)、マラリア検出のための血液サンプル中のプラスモジウム原虫の識別情報(カード908)などの特定の病理学用途のための機械学習パターン認識器のモデルパラメータ、フィルタ係数、実行可能コード、および他の詳細を含む。この設計において、例えば、計算ユニットは、例えば、パパニコロウ塗抹(pap smear)における癌細胞検出などの、一般的な病理学用途のための機械学習モデルを有する標準設備として提供することができ、ユーザは、他の病理学用途のための顕微鏡の能力を拡張するために、プロバイダまたはソースから、追加のカードまたはカードのセット900を取得することができる。このようにして、顕微鏡を操作する試験所は、顕微鏡における拡張現実に対する試験所のニーズを、必要に応じて、または市場が要求するように、特定の病理学用途に合うように変えることができる。試験所は、モデルを作成する必要はなく、サービスプロバイダが、トレーニングスライド画像のセットとは別にモデルを作成し、堅牢性と一般化可能性とを保証するためにモデルを検証し、次いでそのようなモデルを含むSDカードなどのポータブルストレージメディアを作成し、それらを必要に応じて顧客に提供することができる。
【００７８】
SDカードが図9において示されているが、もちろん、機械学習パターン認識モデルを記憶することができる現在利用可能なものと将来生成されるものとを含む他の物理的フォーマットのメモリデバイスを使用することもできる。計算ユニットがコンピュータネットワークに接続し、インターフェース216(図5)などのコンピュータインターフェースを介して追加の機械学習モデル(またはモデルのアンサンブル)をダウンロードすることも可能である。
【００７９】
具体的な用途
乳癌検出、前立腺癌検出、病原体識別(例えば、プラスモジウム、結核、マラリア原虫、寄生虫の卵)などを含む、病理学レビューのための顕微鏡のいくつかの特定の用途が説明されているが、病理学の分野における他の用途ももちろん可能であることが理解されよう。加えて、図1のシステムの原理は、小さい部品の品質管理検査、食品の安全性または検査、水質モニタリングなどの、顕微鏡の他の用途に拡張することができる。
【００８０】
独立型システム
ローカル計算ユニットとパターン認識モデルとを有する図1の顕微鏡システムは、ローカルの独立型システムとして理想的である。図1および図5に示す電子機器に適した電源が利用可能である限り、ポータブルとみなすことができ、遠隔地で使用することができる。その最も基本的な形態において、いかなるインターネットまたは他のネットワーク接続も必要とせず、取り付けられた周辺ワークステーション140は、絶対的に必要ではない。計算ユニットは、拡張をオンまたはオフにすること、モデルを選択すること、選択された特定の倍率に適した機械学習モデルに変更すること、および任意の他の補助的なタスクのために、それ自体に取り付けられたユーザインターフェース(図示せず)または制御を備えることができる。ユーザインターフェースの設計は、適切な選択を提供するようにユーザを導くために、単純なタッチスクリーンおよびアイコンなどの任意の適切な形態をとることができる。
【００８１】
ネットワーク構成
別の構成において、例えば、新しい機械学習モデルを取得するか、または別個のプラットフォームにおいて推論もしくは推論アクセラレーションを実行するために、計算ユニットがリモートサーバに接続されている場合、図1のシステムは、ネットワーク環境において実装することができる。例えば、リモートワークステーション140の表示に関連して上記で説明した処理タスクのうちのいくつかは、ワークステーション上でローカルに、または計算ユニットとワークステーションの両方から離れたネットワーク化されたコンピュータ上で実行することができる。
【００８２】
モータ駆動ステージ110/116
モータ駆動ステージ110(病理学顕微鏡において一般的である)の組み込みは、病理学者をさらに支援するために追加の機能が形成されることを可能にする。例えば、モータ116は、スライド全体のカメラによる低倍率画像をキャプチャするために、スライドを一連の位置に駆動することができる。低倍率画像は、次いで疑わしい領域(例えば、癌細胞を含む可能性が高い領域、または結核マイコバクテリアを含む可能性が高い領域)の予備検出を提供するために、低倍率レベルにおいてトレーニングされた計算ユニット内の機械学習パターン認識器に供給される。次いで、顕微鏡ステージは、潜在的に関連する領域を含むそれらのフィールドに一連のステップで自動的に駆動することができる。スライドの増分位置決めは、例えば、顕微鏡に対する制御を介して、または取り付けられたワークステーションのユーザインターフェースを介して、ユーザのコマンドに応じて実行することができる。
【００８３】
関心領域についてのスライド全体の短時間での40倍における徹底的な探索は、現在の技術では現在実現不可能である。しかしながら、低倍率モデルの使用は、低倍率において疑わしい領域を検出することができ、次いで要求に応じたズームインのみが、図1のシステムを使用して現在実現可能である。
【００８４】
モデルトレーニング
カメラ124から取得された画像は、いくつかの実装形態において、光学的品質または解像度の点で、機械学習パターン認識器がトレーニングされた全スライドスキャナからの画像とは異なる場合がある。デジタルカメラ124および関連する光学構成要素の品質は、これと多くの関係があり、理想的には、デジタルカメラおよび関連する光学系の品質は、トレーニングスライド画像をキャプチャするために使用される光学構成要素およびカメラの品質と同じか、ほぼ同じである。画像解像度は、同等であるべきであるが、顕微鏡カメラ124からの画像は、全スライドスキャナトレーニング画像において存在しないか、またはそれほど頻繁には存在しない幾何学的歪みなどのいくつかのアーティファクトを有する可能性が高い。新しいモデルをトレーニングするための顕微鏡固有のトレーニング画像を収集することは、理論的には可能である。しかしながら、それは、特にスケーラブルな解決策ではない。より具体的な解決策は、全スライド画像ベースのパターン認識モデルが、カメラ124によってキャプチャされた顕微鏡画像を一般化することを確認する。デフォルトモデルでの一般化が受け入れられない場合、それらの対応する顕微鏡カメラ画像「のように見える」全スライド画像スキャンから、人工トレーニングデータを生成できるであろう。そのような人工トレーニングデータは、全スライド画像スキャン画像にパラメトリック変形を導入し、変形された画像をトレーニングのために使用することによって生成することができる。そのようなパラメトリック変形の例は、ワーピング、ノイズの追加、解像度の低下、ぼかし、およびコントラスト調整を含む。
【００８５】
代替は、複数のスライドから多数のトレーニング画像を生成するために顕微鏡のカメラを使用し、次いでモデルをトレーニングするために、全スライドスキャナから取得された画像の代わりにそのような画像を使用することである。
【００８６】
機械学習パターン認識器をトレーニングするための画像を生成するために敵対的生成ネットワーク(generative adversarial network)(GAN)をトレーニングする別の代替。
【００８７】
さらなる考慮事項
図1のカメラ124の画像品質は、重要な考慮事項である。カメラのライブストリームが、しばしば画像ソースになるので、ライブストリーム内の画像の画像品質が、全スライドスキャナから取得されてトレーニングに使用される静止画像(典型的には高品質)とどのように比較され、それがモデルパフォーマンスにどのように影響するかについて、調査が実行されるべきである。
【００８８】
1つの特定の課題は、人間の目の光学解像度が、現在のデジタルカメラの光学解像度よりもはるかに高いことである。例えば、小さい転移を検出するために、機械学習モデルは、同じ転移について人間が必要とする可能性があるよりもさらにズームインする(より高い倍率の対物レンズに切り替える)ことを必要とする場合がある。これに対処する1つの方法は、潜在的な関心領域を表示しているときに、高い(またはより高い)倍率レベルに切り替えるようにユーザを促し、次いでより高い倍率において新しい拡張を生成することである。別の手法は、Cannon250メガピクセルCMOSセンサなどの超高解像度カメラを使用することである。
【００８９】
上記のように、半透明ミラー122を含む光学構成要素120は、最良の視覚体験を表現するように、光路内に配置されるべきである。1つの可能な構成において、顕微鏡は、2つの接眼レンズを有する実体顕微鏡の形態をとってもよく、一方または両方の接眼レンズの視野に拡張を投影することが可能であってもよい。
【００９０】
別の考慮事項は、目がカメラと同じ位置合わせで視野上の拡張またはオーバレイを見るようにすることである。これは、視野内およびカメラによってキャプチャされた画像内に存在する基準マーカを使用して実行することができる。
【００９１】
検査中のスライドの全スライド画像上に存在する可能性があるラベルは、例えば、上記で説明したように、画像位置合わせ技術を使用して、カメラ画像に転送して視野に投影することができることにも留意されたい。
【００９２】
ユーザによる光学系の変更(例えば、焦点合わせ、視度補正)は、カメラ画像および表示画像における画像品質に影響する。カメラ画像は、推論を実行することができるように、鮮明さと高品質とを維持する必要がある。1つの可能な構成において、計算ユニットは、画像が推論を実行するために十分に良好であるときを評価する画質検出器モジュールを含む。画像が十分な品質ではない場合、焦点を調節する、または顕微鏡に他の光学的調整を行うなど、適切な補正を行うようにユーザに促すことができる。
【００９３】
本開示の拡張現実顕微鏡は、例えば、検査が顕微鏡を介して行われる電子構成要素または他の製品の製造における検査または品質管理などの他の用途に適していることも以前に指摘した。したがって、本開示の追加の態様として、(a)カメラを用いて、顕微鏡の接眼レンズを通してユーザによって見られるオブジェクトのデジタル画像をキャプチャするステップと、(b)カメラによってキャプチャされた画像からオブジェクト内の関心領域(例えば、欠陥)を識別するために、機械学習パターン認識器を使用するステップと、(c)顕微鏡の接眼レンズを通してユーザによって見られるオブジェクトのビューに拡張をオーバレイとして重ね合わせるステップとを含む、接眼レンズを有する顕微鏡を用いてオブジェクト(例えば、製造されたオブジェクト)のレビューにおいてユーザを支援するための方法が開示されている。ユーザが、顕微鏡の光学系に対してサンプルを移動し、次いで顕微鏡の倍率または焦点を停止または変更すると、新しいデジタル画像が、カメラによってキャプチャされ、機械学習パターン認識器に供給され、新しい拡張が、実質的にリアルタイムで、接眼レンズを通して見られるオブジェクトの新しいビューに重ね合わされ、これによって、拡張は、オブジェクトを分類または特徴付ける際にユーザを支援する。添付の特許請求の範囲の特徴は、スライド上の生物学的サンプルの代わりに、オブジェクト(例えば、製造された物体、コンピュータチップ、小さい部品など)が顕微鏡によって見られ、カメラが顕微鏡視野内に見られるオブジェクトの画像をキャプチャするこの変形例に適用可能であるとみなされる。
【００９４】
態様は、生物学的サンプルを含むスライドを保持するステージと、少なくとも1つの対物レンズと、接眼レンズとを有する顕微鏡と、顕微鏡の接眼レンズを通して見られるサンプルの拡大されたデジタル画像をキャプチャするデジタルカメラと、デジタルカメラからデジタル画像を受信する機械学習パターン認識器を備える計算ユニットであって、パターン認識器が、ステージ上に現在配置されているタイプの生物学的サンプル内の関心領域を識別するようにトレーニングされ、パターン認識器が、カメラによってキャプチャされたデジタル画像上の関心領域を認識し、計算ユニットが、接眼レンズを通してユーザによって見られるサンプルの視野への拡張を表すデータを生成する、計算ユニットと、視野上に拡張を重ね合わせるための、接眼レンズに結合される1つまたは複数の光学構成要素とを組み合わせて備える、生物学的サンプルを含むスライドのレビューにおいてユーザを支援するシステムも提供することができ、ユーザが、顕微鏡の光学系に対してサンプルを移動し、次いで顕微鏡の倍率または焦点を停止または変更すると、新しいデジタル画像がカメラによってキャプチャされて機械学習パターン認識器に供給され、新しい拡張が接眼レンズを通して見られるサンプルの新しい視野に実質的にリアルタイムで重ね合わされるように、カメラ、計算ユニット、および1つまたは複数の光学構成要素は、動作する。
【００９５】
追加の実施形態
光機械設計
図1に示す拡張顕微鏡は、高解像度画像をキャプチャし、視差のないデジタル表示コンテンツを重ね合わせるように設計されたカスタムモジュールを有する市販の既製の明視野顕微鏡(Nikon Eclipse Ni-U)を含む。ここで図10を参照すると、標準的な正立顕微鏡は、標本(S)を後ろから照らし、従来の対物レンズを用いて画像光線をキャプチャする。これらの光線106は、コリメートされた状態で、接眼レンズに向かって上方に伝播する。ビームスプリッタ(BS1)を有する教師モジュール(Nikon Y-IDP)が、コリメートされた光空間内の光路に挿入された。標本が観察者101にも焦点が合わされたときに、BS1から中継された標本画像がカメラセンサにおいて焦点が合わされているように、このモジュールは、顕微鏡カメラ(124)を受け入れるように修正された。第2のカスタマイズされた教師モジュール(Nikon T-THM)が、接眼レンズと第1の教師モジュールとの間に挿入された。このモジュール内のビームスプリッタ(BS2)は、標本画像からの光(SI)を投影画像からの光(PI)と組み合わせるために、90度回転された。マイクロディスプレイ128(図1)とBS2との間のコリメート光学系が、ディスプレイサイズを接眼レンズサイズ(22mm)と一致させるように選択された。マイクロディスプレイが標本の仮想焦点面内に配置されるように、リレー光学系が調整された。このようにして、観察者は、同じ平面内のSIとPIとを観察し、それは、視差として知られる現象である、観察者が移動するときの相対運動を最小化する。カメラ124が、投影PIなしで標本のビューを見るように、対物レンズから接眼レンズへの光路において、BS1がBS2の前にある必要があることに留意されたい。接眼レンズ104を通して見ている観察者101は、SIに重ね合わされたPIを見る。
【００９６】
構成要素の設計および選択は、最終的なパフォーマンス要件によって決められた。カメラおよびディスプレイデバイスは、効果的な細胞および腺レベルの特徴表現のために選択された。カメラ124(Adimec S25A80)は、高感度と、80フレーム/秒まで動作することができるグローバルシャッタとを有する5120×5120ピクセルカラーセンサを含んでいた。カメラ画像は、ワークステーションへのPCI-Eインターフェースを有する産業用フレームグラバボード(Cyton CXP-4)によってキャプチャされた。マイクロディスプレイ(eMagin SXGA096、1292×1036 pixels)は、顕微鏡の側面に取り付けられ、視差を最小化し、標本および表示画像が同時に焦点が合うように調整された位置において、アクロマティックコンデンサ(Nikon MBL71305)を用いて画像化された。マイクロディスプレイは、ワークステーションから画像を受信するためのHDMIインターフェースを含む。このディスプレイの制限された明るさのため、BS2は、ディスプレイからの光の90%とサンプルからの10%とを透過するように選択され、これは、顕微鏡の光源を最大強度の半分近くで動作したとき、PIとSIとの間に適切なコントラストを生じた。
【００９７】
ソフトウェアおよびハードウェアシステム
システム全体を駆動するアプリケーションは、ライブ画像キャプチャ用のカメラ124(図1、図10)に接続されたBitFlowフレームグラバと、深層学習アルゴリズムを実行するためのNVidia Titan Xp GPUとを有する標準的な既製のPC上で実行される。フレーム取り込みから最終表示までのエンドツーエンドプロセスを図11Cに示す。応答性を改善するために、システムは、高度に最適化されたパイプライン化されたマルチスレッドプロセスとして実装され、低い全体的な待ち時間をもたらす。ソフトウェアは、C++およびTensorFlowにおいて書かれている。
【００９８】
一次パイプラインは、カメラからの画像フレームを連続的に取り込み、それをデベイヤし(すなわち、生のセンサ出力をカラー画像に変換し)、データを準備し、アルゴリズムを実行し、結果を処理し、最後に出力を表示するスレッドのセットからなる。フラットフィールド補正およびホワイトバランシングなどの他の処理ステップは、それらをオンチップで直接実行することができないカメラについても同様に、このスレッドにおいて実行することができる。全体的な待ち時間を減らすために、これらのステップは、一連の連続するフレームに対して並列に実行され、すなわち、フレーム“N”の表示、フレーム“N+1”のヒートマップの生成、およびフレーム“N+2”におけるアルゴリズムの実行のすべてが並列に生じる。
【００９９】
この一次パイプラインに加えて、システムは、バックグラウンド制御スレッドも実行する。このスレッドの1つの目的は、カメラ画像が、正確な深層学習アルゴリズムの結果をもたらすために十分に焦点が合っているかどうかを判定することである。システムは、焦点品質を評価するために、焦点ずれ検出アルゴリズムを使用する。このスレッドの第2の目的は、それぞれの倍率に対して調整された深層学習アルゴリズムが使用されるように、現在使用されている顕微鏡対物レンズを判定することである。加えて、カメラ124におけるホワイトバランスおよび露光時間の設定は、それぞれのレンズに最適なプロファイルに設定することができる。
【０１００】
アナログ顕微鏡においてAIアルゴリズムを有効にすることは、調和して機能する3つの新奇な技術を必要とする。第1に、高精度の検出および分類のための最先端の畳み込みニューラルネットワークが必要とされる。高精度のニューラルネットワークは、デジタルスキャンされた画像のみ、または顕微鏡からの画像のみに関する文献において可能であることが示されている。この研究の貢献は、デジタルスキャンされた画像から顕微鏡画像への深層学習アルゴリズムの成功した一般化の実証である。画像モダリティにおける違いを克服する可能性は、ARMのための深層学習アルゴリズム開発にデジタルスキャン画像を使用することを可能にする。第2に、インタラクティブなユーザ体験を提供するために、これらのアルゴリズムをリアルタイムで実行する能力が必要である。これは、ライブアルゴリズム予測のためのリアルタイムパフォーマンスを有する、緊密に統合されたソフトウェア、ハードウェア、およびAIアルゴリズムシステムによって達成される。第3に、サンプル上に高解像度のヒートマップ、輪郭、またはテキスト情報を投影するための顕微鏡内の視差のないヘッドアップディスプレイが必要である。これは、一般的に利用可能な光学構成要素の新奇な構成によって可能になる。
【０１０１】
深層学習画像分析ワークフローは、それぞれ図11Aおよび図11Bに示す2つの段階、アルゴリズム開発とアルゴリズム適用とを含む。図11Aのアルゴリズム開発について、倍率(リンパ節については4倍、10倍、20倍、40倍、前立腺については4倍、10倍、20倍)の各々における911×911ピクセルのサイズのパッチを有するデジタル化された病理学スライドと、診断を示す対応するラベル、例えば、腫瘍/良性またはグリーソングレードとにおいてニューラルネットワーク1100をトレーニングする。予測結果と対応するラベルとの間の差を減らすためにニューラルネットワークの重みを変更することによって、ニューラルネットワークは、パターンを認識し、異なる診断を区別することを学習した。ニューラルネットワークのトレーニング中、スキャナ画像からのピクセル解像度(約0.21μm/ピクセル)を顕微鏡カメラからのピクセル解像度(約0.11μm/ピクセル)に一致させるように、スライド画像全体をスケーリングもした。ピクセルスケーリングは、ARMにおいてリアルタイムで行うことができるが、必要な計算をトレーニング段階にシフトするために、ニューラルネットワークトレーニングステップでそれを行うことを選択した。
【０１０２】
図11Bのアルゴリズム適用について、ニューラルネットワーク1100には、顕微鏡カメラからキャプチャされた5120×5120ピクセルのサイズの画像1101が提供される。ネットワークからの出力は、各ピクセル位置における癌の可能性を示すヒートマップ1102である。ヒートマップは、カラーマップを使用して直接表示することができ、またはサンプル上のオーバレイ(P1、図10)として表示される輪郭を得るためにしきい値処理することもできる。ヒートマップは、下にあるサンプルを遮るので、顕微鏡ユーザは、これらの用途では輪郭がヒートマップよりも通常は好まれることを見出した。しかしながら、ヒートマップは、いくつかの用途では有用である可能性があり、システムは、どちらの視覚モードも表示することができる。リンパ節組織内の癌細胞の領域を示す、生成されて接眼レンズ内の視野上に重ね合わされた輪郭の例が、4倍、10倍、20倍、および40倍において図12Aに示されており、前立腺組織におけるものが同じ倍率レベルにおいて図12Bに示されている。
【０１０３】
図13は、転移検出のためのリンパ節標本いくつかのサンプル視野を示し、第1の列は、輪郭の形のオーバレイを有する拡張現実画像であり、第2の列は、ニューラルネットワークによって生成されたヒートマップであり、第3の列は、スライドのH&E画像全体を示し、第4の列は、スライドのIHC画像全体を示す。アルゴリズムパフォーマンスを検証するために、比較のためにデジタルスキャンされたH&E画像およびIHC画像も別に示す。顕微鏡画像とデジタルスキャン画像との間の画質および色分布の違いにも関わらず、本発明者らのアルゴリズムは、視野内の腫瘍領域を正しく識別する。
【０１０４】
図14A〜図14Fは、定量的測定値の形のオーバレイまたは拡張を有する顕微鏡の視野の例の図である。図14Aは、境界と、境界内のすべての細胞がプロゲステロン受容体タンパク質の発現について陽性であることを意味する“100%PR"の測定値とを有する組織サンプルを示す。図14Bは、有糸分裂中の細胞の周りに描かれた円、および、高倍率視野あたりの細胞数の定量的レポート「高倍率視野あたり4つの有糸分裂」の形における拡張を示す。図14Cは、細胞のクラスタの寸法(200μm)を示す測定値または定規を示す。図14Dは、機械学習モデルが、個々の微生物、この場合はヘリコバクターピロリの存在を識別した領域を示す暗い点を有する生物学的サンプルを示す。
【０１０５】
アルゴリズムの評価
以下のメトリック、受信者動作特性(ROC)曲線(偽陽性率に対する真陽性率)、ROC曲線下面積(AUC)、正解率、適合率、および再現率(TP:真陽性;FP:偽陽性;FN:偽陰性)を用いて、視野内の腫瘍検出のアルゴリズムパフォーマンスを評価し、
適合率=TP/(TP+FP)、
再現率/真陽性率=TP/(TP+FN)、
偽陽性率=FP/(FP+TN)
である。
【０１０６】
以下のパフォーマンスメトリックが観察された。
【０１０７】
【表３】
2021515240.tif 000005
【０１０８】
受信者動作特性(ROC)プロットは、この文書のはじめに引用した米国仮出願の付録において提供されている。
【０１０９】
結果
加速された計算のための既製のグラフィックカードを用いた最新の深層学習アルゴリズムを使用して、システムは、ほとんどのワークフローに関して十分に高速な約100ms(毎秒10フレーム)の合計待ち時間を達成した。光学系への深層学習予測の投影は、一般的な背景照明レベルを使用して組織サンプル上ではっきりと見える程十分に高いコントラストであり、視差がなかった。ARMを操作することは、それをテストした初めてのユーザ(研究に参加しなかった病理学者)にとってシームレスであり、学習曲線はほとんどなかった。
【０１１０】
セットアップおよび構成のためのユーザインターフェース
1つの可能な構成において、顕微鏡に関連付けられたワークステーション140(図1、例えば、ラップトップまたはタブレットコンピュータなどのコンピューティングデバイス)は、ユーザが、視野内の拡張の表示のための様々なパラメータを構成することを可能にするツールを提供するグラフィカルディスプレイを含んでもよい。例えば、図15に示すように、タブレットまたはワークステーションディスプレイ1500は、アクティブ化されると、オーバレイの様々な機能を構成するためのオプションのメニューを提供する様々なアイコンを含む制御および情報ペインを含む。アイコン1504は、視野内に重ね合わされる境界線の色または暗さを制御するためのオプションのメニューを提供する。アイコン1505は、細胞または細胞のクラスタなどの、画像内の領域のための領域計算および陰影の表示を制御するためのオプションのメニューを提供する。アイコン1506は、「ヒートマップ」、例えば、癌細胞を含む画像データの尤度を示す色付きピクセル領域の表示を構成するためのオプションのメニューを提供する。アイコン1508は、画像上に重ね合わされたグリッドを構成するためのオプションのメニューにつながり、そのようなグリッドは、グリッド内の要素によって定義された所与の領域内の細胞のカウントまたは他のカウント動作のために使用される。そのようなグリッドは、スライド全体またはその一部のための密度計算に外挿するために使用することができる。アイコン1510は、図14Cに示すように、測定ツールを構成し、ディスプレイ上にオーバレイとして測定値をラベル付けするためのオプションのメニューにつながる。
【０１１１】
ディスプレイ1500の左側におけるペイン1520は、例えば、タッチ感知ディスプレイ上の指のストロークによって、または従来のディスプレイ上のマウスアクションによって、表示された画像上にユーザが注釈を手動で作成するための描画インターフェースを提供する。表示された画像1522は、顕微鏡の現在の視野であり、ユーザには、関心領域(図示されるように)の上に輪郭を描くための能力が提供される。輪郭は視野の画像とともに保存される。ディスプレイの領域1524は、線の太さを変更するためのスクロールバー1526と、線の明るさを変更するためのスクロールバー1528とを含む、ユーザの注釈を制御するための描画ツールを提供する。
【０１１２】
視野上に重ね合わされた注釈またはAR表示の構成は、例えば、図1におけるようにAR顕微鏡に関連付けられたワークステーション140を使用して、音声コマンドによって行うことができることがさらに企図される。
【０１１３】
定量的分析および拡張
ヒト上皮成長因子受容体2(HER2)、エストロゲン受容体(ER)、およびプロゲステロン受容体(PR)免疫組織化学(IHC)バイオマーカ発現の定量的測定は、乳癌治療の選択に重要である。癌の分類、治療、および関連するコンパニオン診断におけるこれらの進歩は、病理学者にとって複雑さおよび報告要件を増し、場合によっては、効率的な評価のための人間の能力を伸ばした。
【０１１４】
この研究は、2つの臨床診断用途を詳述しているが、本開示のAR顕微鏡は、用途に依存せず、深層学習アルゴリズムがトレーニングされたあらゆる種類の画像分析タスクに使用することができる。有糸分裂率の推定、IHCの定量化、および凍結切片における陽性マージンの検出などの定量的分析を含む、多くの他の臨床および研究用途に対するこのデバイスの使用を想定している。図14A〜図14Fは、(100%の細胞がPR遺伝子発現を有する細胞のグループを示すオーバレイとともに)PR定量化を示す図14Aによるバイオマーカ/IHC定量化(HER2、ER、PR)、有糸分裂像のカウント(図14B、オーバレイは、現在有糸分裂中の細胞の指標および高倍率視野あたりのそのような細胞の数の測定値)、腫瘍サイズの測定値(図14C、オーバレイは、腫瘍または腫瘍細胞のクラスタのサイズを示す測定指標または定規)、ヘリコバクターピロリなどの感染症病原体の識別(図14D、オーバレイは、個々の細菌または細菌のクラスタの色付けされた点または円である)、マイコバクテリウムの識別(図14E、マイコバクテリウムを強調する円または領域の形のオーバレイ)、および、腫瘍関与の割合の推定による前立腺癌領域の識別(図14F、前立腺癌について陽性と予測される領域、および腫瘍関与を有する標本の割合の形のオーバレイ)含む適切な情報オーバレイの例とともに顕微鏡からキャプチャされたいくつかの画像を示す。他の用途は、免疫細胞、PDL1などの免疫療法バイオマーカ、およびIHCを使用するP53およびKi67などの細胞周期マーカの定量化を調査する翻訳実験を含む。追加の用途は、蛍光(FISH)画像の分析、生細胞培養画像の分析、および、さらには、半導体品質管理などの生命科学以外の用途を含む。
【０１１５】
定量的注釈において作られるすべて測定値は、図1のAR顕微鏡カメラによってキャプチャされた視野画像とともに構造化メタデータ(例えば、.xmlファイル)として保存することができる。
【０１１６】
視野ごとに取られるすべての測定値は、例えば、腫瘍細胞または他の特徴の全体的な密度を推定するために、複数の視野にわたって集約する(例えば、合計または平均化する)ことができる。これは、視野内の特徴を追跡し、それにより現在の視野がすでに分析されているかどうかを判定することを含むこともできる。この追跡は、いくつかの他の可能な特徴、1)以前に計算されたキャッシュ結果を表示する能力、2)視野内の領域を二重にカウントすることを回避すること、および3)例えば、単一の視野よりも大きい密度マップを取得するために、スライドにわたって測定値/メトリックを組み合わせるかまたは「つなぎ合わせる」ことを可能にする。これに関して、スライドの低倍率画像が、最初に取得され、スライドのマップを本質的に作成するために使用されてもよく、このマップ(および、マップに関連付けられたピクセルまたはステージ座標)は、現在の視野がマップ内のどこにあるかを追跡し続けるために使用することができる。特徴追跡技法はまた、現在の視野がスライド全体内のどこに配置されているかを知るために使用されてもよい。いくつかの顕微鏡は、スライド全体に対する顕微鏡の対物レンズ/視野の位置を追跡し続けるための電動ステージとハードウェア解決策とを含み、この解決策、またはあまり複雑でない顕微鏡において利用可能なより低コストの測定バージョンは、マップを作成し、視野の位置を追跡するために使用することができる。
【０１１７】
定量的分析において、いくつかの測定は、スライド全体をサンプリングまたはカウントする必要はないが、それらは、特定の数の視野のみが測定される必要がある手法を用いる。例えば、いくつかの測定は、例えば、高倍率における5または10の視野を必要とし、そのような視野にわたって集約または平均化される。
【０１１８】
図16は、癌/腫瘍細胞であると機械学習モデルによって判定された領域を取り囲む輪郭、および定量的な結果「23%の腫瘍関与」を提供するテキストブロックの形における、視野上に重ね合わされた注釈の例である。腫瘍関与の測定、すなわち、腫瘍細胞を有する輪郭内の領域の割合、および、オプションで、腫瘍グレードごとの腫瘍の領域の割合は、診断および予後における重要なメトリックである。例えば、前立腺癌において、グリーソン悪性度分類は、グリーソン3対グリーソン3対グリーソン5領域の定量化も必要とする。特定のグリーソン番号を有する腫瘍細胞を認識するようにトレーニングされた機械学習モデルを使用することによって、これらの統計を画像上のオーバレイとして提供することができる。関心領域(例えば、腫瘍)は、モデルが画像内で検出したものに基づいて測定することができる。相対数または絶対数を、視野内の拡張またはオーバレイとして表示することができる。別の例として、ヒストグラム(例えば、グリーソン2、3、4、5などの腫瘍領域の相対面積)を表示することもできる。
【０１１９】
図17は、視野内の機械学習モデルによるマイコバクテリウム(例えば、結核)の検出を示す円の形のオーバレイの例である。マラリアなどのいくつかの感染症について、分類および種分化も重要である。それらの用途について、それぞれのクラスの尤度を含め、予測された種も表示することができる。例えば、円の横に、円で囲まれた生物が種Aである可能性が最も高いことを示す「77%種A、22%種B、1%その他」などのデータがあってもよい。図17は、人間が検出することができるスケールにおいて、小さい物体、例えば、個々の生物細胞を検出するAR顕微鏡の能力の図でもある。モデルはまた、人間が通常検出することができるよりも小さいスケール、例えば、人間が同じタスクに対して80倍を使用する場合、40倍において物体を検出するようにトレーニングされてもよい。現在、80倍または100倍などの非常に高い倍率において物体を見つけるために、油浸技法が使用され、現在のAR顕微鏡は、油浸法の必要性を避ける可能性がある。当初の深層ニューラルネットワークモデルは、このスケールにおいて機能するように開発することができる。
【０１２０】
図14Bは、まれなイベント、この例では、所与のより高い倍率の視野内の有糸分裂中の個々の細胞の検出およびカウントの例である。機械学習モデルによって画像内で識別されたそのような細胞は、下方の定量値、この例では、「高倍率視野あたり4つの有糸分裂」とともに、図14Bに示すように円で注釈が付けられる。有糸分裂のカウントは、乳癌のノッティンガムグレード分類のために行われる。日常の臨床診療において、有糸分裂の数は、いくつかの視野においてカウントされ、画像全体に外挿される。図14に示すように、表示オプションは、絶対数または密度を含む。
【０１２１】
図14Cは長さ測定値の形における注釈の例である。次いで、機械学習モデルによって識別された腫瘍細胞の収集物が測定され、測定値は、注釈として、この場合、200μm、および測定値が取られた画像内の点を示す測定スティックとして報告される。長さ測定値は、いくつかの診断について報告される重要な詳細である。例えば、長さまたはサイズの測定値は、転移性乳癌の微小転移とマクロ転移との間の違いを作り、異なる治療経路につながる可能性がある。図14Cに示すように、関心のある特徴(例えば、転移)の空間範囲を測定し、表示することができる。測定値は、線形(例えば、図14Cに示すように最大寸法)とすることができ、または例えば、物体の境界に沿って湾曲させることもできる。画像をキャプチャするために使用される顕微鏡の対物レンズの知識、ならびにピクセルサイズおよびピッチなどのカメラの詳細から、距離またはスケールを導出することができる。
【０１２２】
図18は、バイオマーカ定量化、この例では、タンパク質Ki67の発現について陽性の細胞数(この例では98%)の形におけるオーバレイの表示を伴う、顕微鏡においてカメラによって取得された視野の画像の図である。そのような統計を生成するために、画像データを処理する2つの機械学習モデル、1)例えば、個々の細胞核を見つけることによって個々の細胞を検出するようにトレーニングされ、画像内のそのような細胞のすべてをカウントする機械学習モデルと、2)Ki-67を発現する細胞を検出するようにトレーニングされ、そのような細胞をカウントする機械学習モデルとが使用される。このようなIHC用途において、スライドは、典型的には、Ki-67タンパク質に結合し、陽性細胞を対照的な色で出現させる染色剤で染色され、機械学習モデルは、この色の特徴を有する細胞を識別することによってKi-67について陽性の細胞を識別するようにトレーニングされる。陽性率の統計は、視野内のKI-67について陽性として識別された細胞の数を、視野内の細胞の総数で単純に割ることによって達成される。
【０１２３】
図19は、バイオマーカ定量化、この例では、タンパク質P53の発現について陽性の細胞数(この例では49%)の形におけるオーバレイの表示を伴う、顕微鏡においてカメラによって取得された視野の画像の別の例である。そのような統計を生成するために、画像データを処理する2つの機械学習モデル、1)例えば、個々の細胞核を見つけることによって個々の細胞を検出するようにトレーニングされ、画像内のそのような細胞のすべてをカウントする機械学習モデルと、2)P53を発現する細胞を検出するようにトレーニングされ、そのような細胞をカウントする機械学習モデルとが使用される。このようなIHC用途において、スライドはまた、P53タンパク質に結合し、そのようなタンパク質を対照的な色で出現させる染色剤で染色され、機械学習モデルは、この色の特徴を有する細胞を識別することによってP53について陽性の細胞を識別するようにトレーニングされる。陽性率の統計は、P53について陽性として識別された細胞の数を、視野内の細胞の総数で単純に割ることによって達成される。
【０１２４】
現在好ましい実施形態について具体的に説明しているが、本発明の範囲に関するすべての質問は、前述に照らして解釈された添付の特許請求の範囲を参照することによって回答されるべきである。
【符号の説明】
【０１２５】
22  コード
100  拡張現実顕微鏡システム、システム、顕微鏡
101  観察者
102  病理学者顕微鏡、顕微鏡
104  接眼レンズ
106  矢印、光線
108  顕微鏡対物レンズ、レンズ、対物レンズ
108A  レンズ、対物レンズ
108B  レンズ、対物レンズ
110  ステージ、顕微鏡ステージ、電動ステージ、モータ駆動ステージ
112  照明源
114  スライド
116  モータ、ステージモータ
120  光学モジュール、光学構成要素
122  半透明ミラー
124  デジタルカメラ、カメラ、顕微鏡カメラ
126  計算ユニット
128  拡張現実(AR)表示生成ユニット、表示ユニット、AR表示ユニット、AR表示モジュール、マイクロディスプレイ
130  レンズ
140  病理学者ワークステーション、ワークステーション、周辺ワークステーション、リモートワークステーション
142  ディスプレイ、モニタ
144  キーボード
146  マウス
150  視野
160  焦点調整ノブ、焦点ノブ
200  機械学習パターン認識器、深層畳み込みニューラルネットワークパターン認識器、パターン認識器、深層ニューラルネットワークパターン認識器
202  メモリ
204  中央処理装置
206  グラフィックカード、グラフィックカードまたはGPU、グラフィックカード(GPU)
208  インターフェース
210  インターフェース、SDカードインターフェース
212  メモリ
214  推論アクセラレータ
216  インターフェース、インターフェースまたはポート
250  コンバイナ機能
402A  パッチ
402B  パッチ
402C  パッチ
402D  パッチ
404A  入力
404B  入力
404C  入力
404D  入力
406A  パターン認識器、ニューラルネットワークパターン認識器
406B  パターン認識器、ニューラルネットワークパターン認識器
406C  パターン認識器、ニューラルネットワークパターン認識器
406D  パターン認識器、ニューラルネットワークパターン認識器
408A  出力
408B  出力
408C  出力
408D  出力
900  SDカードのセット、カードまたはカードのセット
902  カード
904  カード
906  カード
908  カード
1100  ニューラルネットワーク
1101  画像
1102  ヒートマップ
1500  タブレットまたはワークステーションディスプレイ、ディスプレイ
1504  アイコン
1505  アイコン
1506  アイコン
1508  アイコン
1510  アイコン
1520  ペイン
1522  画像
1524  領域
1526  スクロールバー
1528  スクロールバー
【図１】
2021515240.tif 000006
【図２Ａ】
2021515240.tif 000007
【図２Ｂ】
2021515240.tif 000008
【図３Ａ】
2021515240.tif 000009
【図３Ｂ】
2021515240.tif 000010
【図４Ａ】
2021515240.tif 000011
【図４Ｂ】
2021515240.tif 000012
【図５】
2021515240.tif 000013
【図６】
2021515240.tif 000014
【図７】
2021515240.tif 000015
【図８】
2021515240.tif 000016
【図９】
2021515240.tif 000017
【図１０】
2021515240.tif 000018
【図１１Ａ】
2021515240.tif 000019
【図１１Ｂ】
2021515240.tif 000020
【図１１Ｃ】
2021515240.tif 000021
【図１２Ａ】
2021515240.tif 000022
【図１２Ｂ】
2021515240.tif 000023
【図１３】
2021515240.tif 000024
【図１４Ａ】
2021515240.tif 000025
【図１４Ｂ】
2021515240.tif 000026
【図１４Ｃ】
2021515240.tif 000027
【図１４Ｄ】
2021515240.tif 000028
【図１４Ｅ】
2021515240.tif 000029
【図１４Ｆ】
2021515240.tif 000030
【図１５】
2021515240.tif 000031
【図１６】
2021515240.tif 000032
【図１７】
2021515240.tif 000033
【図１８】
2021515240.tif 000034
【図１９】
2021515240.tif 000035
【手続補正書】
【提出日】令和2年11月10日(2020.11.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラを用いて、接眼レンズを有する顕微鏡を用いた生物学的サンプルを含むスライドのレビューにおいてユーザを支援するための方法であって、
(a)前記顕微鏡の前記接眼レンズを通して見える前記生物学的サンプルのビューのデジタル画像をキャプチャするステップと、
(b)前記カメラによってキャプチャされた前記デジタル画像から前記生物学的サンプル内の1つまたは複数の関心領域を識別するために第1の機械学習パターン認識器を使用し、かつ個々の細胞を識別するようにトレーニングされた第2の機械学習パターン認識器を使用するステップと、
(c)前記顕微鏡の前記接眼レンズを通して見られる前記生物学的サンプルの前記ビューに拡張をオーバレイとして重ね合わせるステップであって、前記拡張が、前記生物学的サンプル内の前記識別された関心領域に基づき、前記関心領域に関連する定量的データをさらに含む、ステップと
を含み、
(d)前記生物学的サンプルが前記顕微鏡の光学系に対して移動されたとき、または前記顕微鏡の倍率または焦点が変化したとき、前記生物学的サンプルの新しいビューの新しいデジタル画像が前記カメラによってキャプチャされかつ前記第1の機械学習パターン認識器および前記第2の機械学習パターン認識器に供給され、新しい拡張が、前記接眼レンズを通して見られる前記生物学的サンプルの前記新しいビューに実質的にリアルタイムで重ね合わされる、方法。
【請求項２】
前記1つまたは複数の関心領域がタンパク質の発現に陽性な細胞を含み、前記定量的データがそのようなタンパク質の発現に陽性であるとの観点から前記細胞のパーセントを含む、請求項1に記載の方法。
【請求項３】
前記タンパク質が、Ki-67、P53、エストロゲン受容体(ER)、またはプロゲステロン受容体(PR)を含む、請求項2に記載の方法。
【請求項４】
前記1つまたは複数の関心領域が個々の微生物細胞を含み、前記定量的データが前記ビュー内の微生物細胞の数のカウントを含む、請求項1に記載の方法。
【請求項５】
前記1つまたは複数の関心領域が有糸分裂中の個々の細胞を含み、前記定量的データが、有糸分裂中の前記ビュー内の細胞の数のカウントを含む、請求項1に記載の方法。
【請求項６】
前記関心領域が腫瘍細胞であり、前記定量的データが、前記生物学的サンプル内の定義された領域内の絶対面積または相対面積のいずれかである前記腫瘍細胞の面積測定値を含む、請求項1に記載の方法。
【請求項７】
前記顕微鏡に関連付けられたワークステーションにおいて、前記ビュー上の前記拡張の提示をカスタマイズするためにツールへのアクセスを提供するグラフィカルディスプレイを提供するステップをさらに含む、請求項1から6のいずれか一項に記載の方法。
【請求項８】
前記定量的データが測定値を含む、請求項1に記載の方法。
【請求項９】
前記測定値が面積測定値を含み、前記関心領域が、特定のグリーソングレードを有する前立腺組織を含む、請求項8に記載の方法。
【請求項１０】
前記定量的データが、前記ビュー内の関心領域の数のカウントを含む、請求項1に記載の方法。
【請求項１１】
生物学的サンプルを含むスライドのレビューにおいてユーザを支援するためのシステムであって、
生物学的サンプルを含むスライドを保持するためのステージと、少なくとも1つの対物レンズと、接眼レンズとを有する顕微鏡と、
前記顕微鏡の前記接眼レンズを通して見られる前記生物学的サンプルのビューのデジタル画像をキャプチャするように構成されるデジタルカメラと、
前記デジタルカメラから前記デジタル画像を受信するように構成される機械学習パターン認識器を備える計算ユニットであって、前記機械学習パターン認識器が、前記ステージ上に現在置かれているタイプの生物学的生物学的サンプル内の関心領域を識別するようにトレーニングされ、前記機械学習パターン認識器が、前記デジタルカメラによってキャプチャされたデジタル画像上の関心領域を認識し、前記計算ユニットが、前記顕微鏡の前記接眼レンズを通して見られる前記生物学的サンプルの前記ビューへの拡張を表すデータを生成し、前記拡張が、前記生物学的サンプル内の前記関心領域に基づく、計算ユニットと、
前記ビュー上に前記拡張を重ね合わせるための、前記接眼レンズに結合される1つまたは複数の光学構成要素と
を備え、
前記計算ユニットが、前記ビュー内の個々の細胞を識別するようにトレーニングされた第1の機械学習パターン認識器と、タンパク質の発現について陽性である前記ビュー内の個々の細胞を識別するようにトレーニングされた第2の機械学習パターン認識器とを実装し、
前記拡張が、前記タンパク質の発現について陽性である前記細胞に関連する定量的データの表示をさらに含む、システム。
【請求項１２】
前記タンパク質が、Ki-67、P53、エストロゲン受容体、またはプロゲステロン受容体(PR)を含む、請求項11に記載のシステム。
【請求項１３】
生物学的サンプルを含むスライドのレビューにおいてユーザを支援するためのシステムであって、
生物学的サンプルを含むスライドを保持するためのステージと、少なくとも1つの対物レンズと、接眼レンズとを有する顕微鏡と、
前記顕微鏡の前記接眼レンズを通して見られる前記生物学的サンプルのビューのデジタル画像をキャプチャするように構成されるデジタルカメラと、
前記デジタルカメラから前記デジタル画像を受信するように構成される機械学習パターン認識器を備える計算ユニットであって、前記機械学習パターン認識器が、前記ステージ上に現在置かれているタイプの生物学的サンプル内の関心領域を識別するようにトレーニングされ、前記機械学習パターン認識器が、前記デジタルカメラによってキャプチャされたデジタル画像上の関心領域を認識し、前記計算ユニットが、前記顕微鏡の前記接眼レンズを通して見られる前記生物学的サンプルの前記ビューへの拡張を表すデータを生成し、前記拡張が、前記生物学的サンプル内の前記関心領域に基づく、計算ユニットと、
前記ビュー上に前記拡張を重ね合わせるための、前記接眼レンズに結合される1つまたは複数の光学構成要素と
を備え、
前記計算ユニットが、有糸分裂中の個々の細胞を識別するようにトレーニングされた機械学習パターン認識器を実装し、
前記拡張が、有糸分裂中の前記細胞に関連する定量的データの表示をさらに含む、
システム。
【請求項１４】
生物学的サンプルを含むスライドのレビューにおいてユーザを支援するためのシステムであって、
生物学的サンプルを含むスライドを保持するためのステージと、少なくとも1つの対物レンズと、接眼レンズとを有する顕微鏡と、
前記顕微鏡の前記接眼レンズを通して見られる前記生物学的サンプルのビューのデジタル画像をキャプチャするように構成されるデジタルカメラと、
前記デジタルカメラから前記デジタル画像を受信するように構成される機械学習パターン認識器を備える計算ユニットであって、前記機械学習パターン認識器が、前記ステージ上に現在置かれているタイプの生物学的サンプル内の関心領域を識別するようにトレーニングされ、前記機械学習パターン認識器が、前記デジタルカメラによってキャプチャされたデジタル画像上の関心領域を認識し、前記計算ユニットが、前記顕微鏡の前記接眼レンズを通して見られる前記生物学的サンプルの前記ビューへの拡張を表すデータを生成し、前記拡張が、前記生物学的サンプル内の前記関心領域に基づく、計算ユニットと、
前記ビュー上に前記拡張を重ね合わせるための、前記接眼レンズに結合される1つまたは複数の光学構成要素と
を備え、
前記計算ユニットが、特定のグリーソングレードに従って分類された個々の腫瘍細胞または腫瘍細胞の領域を識別するようにトレーニングされた1つまたは複数の機械学習パターン認識器を実装し、
前記拡張が、特定のグリーソングレードに従って分類された前記腫瘍細胞または腫瘍細胞の領域に関連する定量的領域データの表示をさらに含む、
システム。
【請求項１５】
前記ビューの画像上に注釈を描くためにワークステーションのユーザのためのツールを提供するディスプレイを有する前記顕微鏡に関連付けられた前記ワークステーションをさらに備え、前記注釈が、コンピュータメモリ内に前記ビューの前記画像とともに保存される、請求項11から14のいずれか一項に記載のシステム。
【請求項１６】
ディスプレイを有する前記顕微鏡に関連付けられたワークステーションをさらに備え、前記ディスプレイが、前記ビューの前記拡張の提示をカスタマイズするためにツールへのアクセスを提供する、請求項11から14のいずれか一項に記載のシステム。
【国際調査報告】
2021515240.tif 000036
2021515240.tif 000037