(57)【要約】      （修正有）【課題】人工知能対応ボリューム再構成を実装するための方法および装置を提供する。【解決手段】方法は、少なくともサンプルの表面の第１の複数のマルチエネルギー画像を取得する。第１の複数のマルチエネルギー画像の各画像は、異なるビームエネルギーで取得され、第１の複数のマルチエネルギー画像の各画像は、サンプル内の異なる深さからのデータを含む。さらに、人工ニューラルネットワークにより、少なくとも、第１の複数のマルチエネルギー画像に基づいてサンプルのボリュームを再構成する。再構成の解像度は、第１の複数のマルチエネルギー画像の解像度よりも大きい。【選択図】図２
2020166848.tif 000002
【特許請求の範囲】
【請求項１】
マルチエネルギーデータに基づく人工知能再構築技術であって、
サンプルの表面の第１の複数のマルチエネルギー画像を取得することであって、前記第１の複数のマルチエネルギー画像の各画像は、異なるビームエネルギーで取得され、前記第１の複数のマルチエネルギー画像の各画像は、前記サンプル内の異なる深さからのデータを含む、取得することと、
人工ニューラルネットワークにより、少なくとも、前記第１の複数のマルチエネルギー画像に基づいて前記サンプルのボリュームを再構成することであって、前記再構成の解像度は、前記第１の複数のマルチエネルギー画像の解像度よりも大きい、再構築することと、を含む、方法。
【請求項２】
前記人工ニューラルネットワークは、３次元人工ニューラルネットワークであるか、または複数の２次元人工ニューラルネットワークから形成される、請求項１に記載の方法。
【請求項３】
前記３次元人工ニューラルネットワークは、３Ｄ  Ｕ−ｎｅｔ、ボリューム畳み込みニューラルネットワーク、３Ｄ敵対的生成ネットワーク、およびそれらの組み合わせのうちの１つから選択される、請求項２に記載の方法。
【請求項４】
前記複数の２次元人工ニューラルネットワークは、前記第１の複数のマルチエネルギー画像に基づいて前記サンプルの前記ボリュームを再構成し、前記マルチエネルギー画像のデータの異なる座標方向は、異なる２次元人工ニューラルネットワークによって再構築され、前記異なる座標方向の前記再構築は、最終的な２次元人工ニューラルネットワークによって前記サンプルの前記ボリュームに再構築される、請求項２に記載の方法。
【請求項５】
前記サンプルの層を除去して第２の表面を露出させることと、
サンプルの前記第２の表面の第２の複数のマルチエネルギー画像を取得することであって、前記第２の複数のマルチエネルギー画像の各画像は、異なるビームエネルギーで取得され、前記第２の複数のマルチエネルギー画像の各画像は、前記サンプル内の異なる深さからのデータを含む、取得することと、をさらに含む、請求項４に記載の方法。
【請求項６】
人工ニューラルネットワークにより、少なくとも、前記第１の複数のマルチエネルギー画像に基づいて前記サンプルのボリュームを再構成することは、
前記人工ニューラルネットワークによって、少なくとも、前記第１の複数のマルチエネルギー画像および前記第２の複数のマルチエネルギー画像に基づいて前記サンプルのボリュームを再構成することをさらに含む、請求項５に記載の方法。
【請求項７】
前記人工ニューラルネットワークは、前記再構成を実行する前に、ラベル付きバージョンの前記第１の複数のマルチエネルギー画像を使用して訓練される、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記人工ニューラルネットワークは、第２のサンプルの取得された第３の複数のマルチエネルギー画像を使用して訓練され、前記訓練中、前記人工ニューラルネットワークによって生成された再構成は、前記第２のサンプルの同じボリュームの高解像度スライスおよびビューデータと比較される、請求項１〜６のいずれか一項に記載の方法。
【請求項９】
前記人工ニューラルネットワークは、第４の複数のマルチエネルギー画像を使用してさらに訓練され、前記第４の複数のマルチエネルギー画像は、複数のサンプルの画像を含む、請求項８に記載の方法。
【請求項１０】
荷電粒子顕微鏡が、前記第１の複数のマルチエネルギー画像を取得することと、前記人工ニューラルネットワークを使用して、少なくとも、前記サンプルの前記ボリュームを再構成することと、の両方を行う、請求項１〜６のいずれか一項に記載の方法。
【請求項１１】
サンプルのボリューム再構成を取得するための荷電粒子顕微鏡システムであって、
複数の異なるビームエネルギーで電子ビームを提供するための電子ビームと、
サンプルのスライスを除去するための切断ツールと、
前記電子ビームおよび前記切断ツールを制御するように少なくとも結合されたコントローラと、を含み、前記コントローラは、前記コントローラまたは前記コントローラに結合されたコンピューティングシステムによって実行されると、前記システムに、
サンプルの表面の第１の複数のマルチエネルギー画像を取得することであって、前記第１の複数のマルチエネルギー画像の各画像は、異なるビームエネルギーで取得され、前記第１の複数のマルチエネルギー画像の各画像は、前記サンプル内の異なる深さからのデータを含む、取得することと、
前記システムに結合されるか、またはそれに含まれる人工ニューラルネットワークにより、少なくとも、前記第１の複数のマルチエネルギー画像に基づいて前記サンプルのボリュームを再構成することであって、前記再構成の解像度は、前記第１の複数のマルチエネルギー画像の解像度よりも大きい、再構築することと、を行わせるコードを記憶する非一時的コンピュータ可読媒体を含むか、またはそれに結合されている、システム。
【請求項１２】
前記人工ニューラルネットワークは、３次元人工ニューラルネットワークである、請求項１１に記載のシステム。
【請求項１３】
前記３次元人工ニューラルネットワークは、３Ｄ  Ｕ−ｎｅｔ、ボリューム畳み込みニューラルネットワーク、３Ｄ敵対的生成ネットワーク、およびそれらの組み合わせのうちの１つから選択される、請求項１２に記載のシステム。
【請求項１４】
前記コンピュータ可読メモリは、実行されると、前記システムに、
前記切断ツールで前記サンプルの層を除去して第２の表面を露出させることを行わせるコードをさらに含む、請求項１１または１２に記載のシステム。
【請求項１５】
前記コンピュータ可読メモリは、実行されると、前記システムに、
サンプルの前記第２の表面の第２の複数のマルチエネルギー画像を取得することであって、前記第２の複数のマルチエネルギー画像の各画像は、異なるビームエネルギーで取得され、前記第２の複数のマルチエネルギー画像の各画像は、前記サンプル内の異なる深さからのデータを含む、取得することと、を行わせるコードをさらに含む、請求項１４に記載のシステム。
【請求項１６】
前記システムに結合されるか、またはそれ含まれる人工ニューラルネットワークにより、少なくとも、前記第１の複数のマルチエネルギー画像に基づいて前記サンプルのボリュームを再構築することを前記システムに行わせる前記コードは、実行されると、前記システムに、
前記人工ニューラルネットワークによって、少なくとも、前記第１の複数のマルチエネルギー画像および前記第２の複数のマルチエネルギー画像に基づいて前記サンプルのボリュームを再構築することを行わせるコードをさらに含む、請求項１５に記載のシステム。
【請求項１７】
前記人工ニューラルネットワークは、前記再構成を実行する前に、ラベル付きバージョンの前記第１の複数のマルチエネルギー画像を使用して訓練される、請求項１１または１２に記載のシステム。
【請求項１８】
前記人工ニューラルネットワークは、第２のサンプルの取得された第３の複数のマルチエネルギー画像を使用して訓練され、前記訓練中、前記人工ニューラルネットワークによって生成された再構成は、前記第２のサンプルと同じボリュームの高解像度ボリュームデータと比較される、請求項１１または１２に記載のシステム。
【請求項１９】
前記人工ニューラルネットワークは、第４の複数のマルチエネルギー画像を使用してさらに訓練され、前記第４の複数のマルチエネルギー画像は、複数のサンプルの画像を含む、請求項１８に記載のシステム。
【請求項２０】
前記荷電粒子顕微鏡は、前記第１の複数のマルチエネルギー画像を取得することと、前記人工ニューラルネットワークを使用して、少なくとも、前記サンプルの前記ボリュームを再構成することと、の両方を行う、請求項１１または１２に記載のシステム。
【請求項２１】
低解像度のマルチエネルギー画像データに基づいてサンプルのボリューム再構成を形成するための方法であって、
複数のマルチエネルギー画像データセットを受信することであって、前記複数のマルチエネルギー画像データセットの各マルチエネルギーデータセットは、サンプルの異なる表面について取得され、各マルチエネルギーデータセットは、複数の画像を含み、前記複数の画像の各画像は、異なるビームエネルギーで取得され、取得された前記複数の画像の各画像は、前記サンプルの前記異なる表面のそれぞれの表面に関して前記サンプル内の異なる深さからのデータを含む、受信することと、
人工ニューラルネットワークによって、前記複数のマルチエネルギー画像データセットに基づいて前記サンプルのボリュームを再構成することであって、前記再構成の解像度は、前記複数のマルチエネルギー画像データセットの各画像の解像度よりも大きい、再構築することと、を含む、方法。
【請求項２２】
前記人工ニューラルネットワークは、３次元人工ニューラルネットワークである、請求項２１に記載の方法。
【請求項２３】
前記３次元人工ニューラルネットワークは、３Ｄ  Ｕ−ｎｅｔ、ボリューム畳み込みニューラルネットワーク、３Ｄ敵対的生成ネットワーク、およびそれらの組み合わせのうちの１つから選択される、請求項２２に記載の方法。
【請求項２４】
前記複数のマルチエネルギー画像データセットのうちの連続するマルチエネルギーデータセットを取得することの間に、前記サンプルのスライスを除去して前記異なる表面の次の表面を露出させることをさらに含む、請求項２１〜２３のいずれか一項に記載の方法。
【請求項２５】
前記サンプルのスライスを除去して前記異なる表面の次の表面を露出させることは、
ミクロトームによって、前記サンプルの前記スライスを除去して前記異なる表面の次の表面を露出させることを含む、請求項２４に記載の方法。
【請求項２６】
前記サンプルは、生物学的サンプルである、請求項２１〜２３のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、人工知能（ＡＩ）対応ボリューム再構成に関し、具体的には、荷電粒子顕微鏡で使用するための人工ニューラルネットワーク対応ボリューム再構成に関する。
【背景技術】
【０００２】
個別に取得された画像に基づいたボリューム再構成は、幅広い業界で実装されている。例えば、ライフサイエンス業界では、電子ビーム画像に基づいたボリューム再構成を使用して、組織サンプルを研究し、生体システムの働きについての洞察を得ている。このプロセスは広く使用されているが、ツールおよび現在の技術は非常に時間がかかり、かつ／あるいは計算集約的である。ボリューム再構成技術は、サンプルが多数のスライスにスライスされたアレイ再構成の形式をとることがあり、多数のスライスは、次いで、例えば、ＳＥＭで画像化される。次いで、ＳＥＭ画像が再構成の基礎になり得る。しかしながら、このプロセスは、時間がかかり、計算集約的である。別の例は、所望のボリュームが画像化されるまで、サンプル表面のイメージングすること、サンプルのスライスを除去すること、イメージングすること、除去すること等を含む。このプロセスも時間がかかり、使用されるスライス除去プロセスによりサンプルの損傷を引き起こすことがある。これらのプロセスに伴う問題により、より高速なプロセスが所望されている。
【発明の概要】
【０００３】
人工知能対応ボリューム再構成を実装するための例示的な方法は、少なくとも、サンプルの表面の第１の複数のマルチエネルギー画像を取得することであって、第１の複数のマルチエネルギー画像の各画像は、異なるビームエネルギーで取得され、第１の複数のマルチエネルギー画像の各画像は、サンプル内の異なる深さからのデータを含む、取得することと、人工ニューラルネットワークにより、第１の複数のマルチエネルギー画像に基づいて少なくともサンプルのボリュームを再構成することであって、再構成の解像度は、第１の複数のマルチエネルギー画像の解像度よりも大きい、再構成することと、を含み得る。
【０００４】
別の実施形態では、人工知能対応ボリューム再構成を実装するためのシステムは、サンプルのボリューム再構成を取得するための荷電粒子顕微鏡システムであり得る。荷電粒子顕微鏡システムは、少なくとも、複数の異なるビームエネルギーで電子ビームを提供するための電子ビームと、サンプルのスライスを除去するための切断ツールと、電子ビームおよび切断ツールを制御するように少なくとも結合されたコントローラと、を含み得る。コントローラは、コントローラまたはコントローラに結合されたコンピューティングシステムによって実行されると、システムに、サンプルの表面の第１の複数のマルチエネルギー画像を取得することであって、第１の複数のマルチエネルギー画像の各画像は、異なるビームエネルギーで取得され、第１の複数のマルチエネルギー画像の各画像は、サンプル内の異なる深さからのデータを含む、取得することと、システムに結合されるか、またはそれに含まれた人工ニューラルネットワークにより、第１の複数のマルチエネルギー画像に基づいて少なくともサンプルのボリュームを再構成することであって、再構成の解像度は、第１の複数のマルチエネルギー画像の解像度よりも大きい、再構成することと、を行わせるコードを記憶する非一時的コンピュータ可読媒体を含むか、またはこれに結合され得る。
【０００５】
更なる別の例では、人工知能対応ボリューム再構成を実装するための方法が開示されており、少なくとも、複数のマルチエネルギー画像データセットを受信することを含み、複数のマルチエネルギー画像データセットの各マルチエネルギーデータセットは、サンプルの異なる表面について取得され、各マルチエネルギーデータセットは、複数の画像を含み、複数の画像の各画像は、異なるビームエネルギーで取得され、取得された複数の画像の各画像は、サンプルの異なる表面のそれぞれの表面に関してサンプル内の異なる深さからのデータを含む、受信することと、人工ニューラルネットワークによって、複数のマルチエネルギー画像データセットに基づいてサンプルのボリュームを再構成することであって、再構成の解像度は、複数のマルチエネルギー画像データセットの各画像の解像度よりも大きい、再構築することと、を含む。
【図面の簡単な説明】
【０００６】
【図１】本開示の一実施形態による、荷電粒子顕微鏡システムの例である。
【図２】本開示の一実施形態による、低解像度マルチエネルギー画像データに基づいたサンプルのボリュームの高解像度再構成を取得するための例示的な方法である。
【図３】本開示の一実施形態による、人工ニューラルネットワークを訓練するための例示的な方法である。
【図４Ａ】本開示の一実施形態による、ボリューム再構成のための３Ｄ  ＡＮＮを訓練する例示的な図示である。
【図４Ｂ】ＭＥ画像データとＦＩＢベースのスライスおよびビューデータの物理的／サイズの差異を示す。
【図５】本発明の実施形態が実装され得るコンピュータシステム５００を示すブロック図である。
【０００７】
同様の参照番号は、図面のいくつかの図全体にわたって、対応する部分を指す。
【発明を実施するための形態】
【０００８】
本発明の実施形態は、人工知能（ＡＩ）強化ボリューム再構成に関する。いくつかの例では、ＡＩの態様は、より高い解像度での再構成をもたらす、スパース／低解像度データに基づいたサンプルのボリュームを再構成するのに役立つ。例えば、マルチエネルギー画像は、サンプルのある数の表面（材料除去により連続的に露出した表面）について取得され得、マルチエネルギー画像は、ボリュームを再構築する人工ニューラルネットワークに提供され、再構成されたボリュームは、同じサンプルボリュームの集束イオンビームベースのスライスおよびビューデータセットの解像度を有する。しかしながら、本明細書で説明される方法は、一般に、広範囲の異なるＡＩ強化再構築技術に適用可能であると理解されたい。
【０００９】
本出願および特許請求の範囲において使用される、「ａ」、「ａｎ」、および「ｔｈｅ」という単数形は、文脈上他に明確に指示されない限り、複数形も含む。加えて、「含む」という用語は、「備える」を意味する。さらに、「結合された」という用語は、結合されたアイテム間の中間要素の存在を排除するものではない。加えて、以下の説明および特許請求の範囲では、「含む」および「備える」という用語は、オープンエンド方式で使用され、「．．．を含み、これに限定されない」ことを意味すると解釈されるべきである。加えて、マルチエネルギー画像、またはマルチエネルギー画像のセット、またはマルチエネルギー画像データ（のセット）という用語は、サンプルの同じ表面について取得された２つ、３つ、またはそれ以上の画像からのデータを含み、マルチエネルギー画像（のセット）の各画像は、異なる荷電粒子ビームランディングエネルギーで取得される。マルチエネルギー画像のセット内の画像間でのランディングエネルギーの変化／差異には、画像間でのいくらかのデータ重複も含む、サンプル内の異なる深さからのデータを含む。さらに、荷電粒子ビームのランディングエネルギーが高いほど、荷電粒子がサンプルにより深く浸透し、サンプル内のより深い所からのデータ取得をもたらす。異なる深さで取得されたこのデータは、それらの深さでのサンプル材料のいくらかの指標を与える。
【００１０】
本明細書で説明するシステム、装置、および方法は、いかなる方法でも制限的なものとして解釈されるべきではない。むしろ、本開示は、単独で、ならびに相互の様々な組み合わせおよび部分的な組み合わせにおいて、様々な開示された実施形態の全ての新規性および非自明性を有する特徴および態様を対象とする。開示されたシステム、方法、および装置は、任意の特定の態様または特徴もしくはそれらの組み合わせに限定されず、開示されたシステム、方法、および装置は、任意の１つもしくは複数の特定の利点が存在する、または問題が解決されることも必要としない。いずれの動作理論も説明を容易にするためであるが、開示されたシステム、方法、および装置は、そのような動作理論に限定されない。
【００１１】
開示された方法のいくつかの動作は、便宜的な提示のため、特定の順番で記載されているが、以下に記載される具体的な用語によって特定の順序が要求されない限り、この説明方法が並び替えを包含することを理解されるものとする。例えば、順に記載される動作は、いくつかの場合では、並び替えまたは同時に実行されてもよい。さらに、単純化のために、添付の図面は、開示されたシステム、方法、および装置が、他のシステム、方法、および装置とともに使用され得る様々な方法を示さないことがある。加えて、説明は、開示された方法を説明するために、「製造する（ｐｒｏｄｕｃｅ）」および「提供する（ｐｒｏｖｉｄｅ）」のような用語を使用することがある。これらの用語は、実行される実際の動作の高レベルの抽象化である。これらの用語に対応する実際の動作は、特定の実施に応じて、様々であり、当業者には容易に認識できる。
【００１２】
一般に、サンプルの個別のスライスからボリューム再構成を形成することは、各スライスの厚さがデータが正確に提供できるよりも厚い場合に、不鮮明さと不正確さを含む可能性がある。例えば、ボクセル（ボリューム再構成の３Ｄピクセルキャラクタリゼーション）がｘおよびｙ次元で１０ｎｍ×１０ｎｍであるが、ｚ方向で３０〜５０ｎｍである場合、ボクセルの異方性サイズは信頼性に欠ける結果を提供する傾向がある。この例では、ボクセルのｘおよびｙ座標方向は、荷電粒子ビームシステムのピクセルスキャンサイズに基づく一方で、ｚ次元は、サンプルのスライスを除去するために使用される技術に基づいて決定される。加えて、ボクセルの異方性は、少なくとも部分的に、各スライスを除去するために従来的に使用されている機械的スライサの物理的制限によるものであり、物理的スライサ、例えばミクロトームは１０ｎｍ厚のスライスを確実に切断することができない。より典型的には、機械的スライサは、２０〜５０ｎｍのスライス厚のみ提供することができる。ライフサイエンス業界などのこのようなボリューム再構成技術の産業利用は、より優れた解像度と分析能力を提供する等方性ボクセルを取得することが好ましい。
【００１３】
画像化された薄層を除去する集束イオンビーム（ＦＩＢ）ミリングの使用、マルチエネルギーイメージング技術で使用する畳み込みアルゴリズムの使用等、この問題への解決策は存在するものの、そのような解決策は固有の問題を有する。例えば、スライスおよびビューとも称されるＦＩＢベースのミリングとイメージングは、非常に時間のかかるプロセスである可能性があり、特に柔らかい生体サンプルを考慮すると、イオンビームによるサンプル損傷の可能性をさらに含む。畳み込みソリューションは、サンプルの損傷を含まないことがあるものの、正確な関連画像を持たないボリュームの領域、つまり畳み込み計算によって補間された領域の解像度について制限するのみならず、時間がかかる計算時間をもたらす。本明細書で説明する畳み込みソリューションの例については、本件譲受人に譲渡された「Ｃｈａｒｇｅｄ−Ｐａｒｔｉｃｌｅ  Ｍｉｃｒｏｓｃｏｐｅ  Ｐｒｏｖｉｄｉｎｇ  Ｄｅｐｔｈ−Ｒｅｓｏｌｖｅｄ  Ｉｍａｇｅｒｙ」と題された米国特許第８，５８６，９２１Ｂ２号を参照のこと。マルチエネルギー（ＭＥ）イメージング技術に関する注意：マルチエネルギー技術は、異なるエネルギー（例えば、８００Ｖから５ｋＶ（ただし典型的にはより狭い範囲））で表面の画像を撮影することを伴い、異なるエネルギーはサンプル内の異なる深さからのデータを提供する。次いで、典型的には３０〜５０ｎｍのサンプルのスライスが除去され、異なるエネルギーでの画像が再度取得される。これは、所望のボリュームに対して行われ、様々なエネルギーでの様々な表面の画像が畳み込みされ、ボリューム全体のデータを提供する。分かるように、ボリューム全体の情報は直接取得されないが、隣接するスライスから撮影した画像間の重複により、様々な画像から補間されることができる。分かるように、サンプルの分析を高速化するために、より高速で計算量の少ないアプローチが望まれている。
【００１４】
この問題に対する１つの解決策は、人工ニューラルネットワーク（ＡＮＮ）などの人工知能（ＡＩ）を使用して、ＭＥデータから等方性ボクセルを有するボリューム再構成を生成することである。ＭＥデータはいくつかの点で多少スパースであることがあるが、ＦＩＢベースのスライスおよびビューデータよりも取得が速く、サンプルの損傷が生じにくい。さらに、ＡＮＮが同じボリュームのＭＥデータとＦＩＢベースのデータを使用して、訓練され得る。例えば、ＭＥデータを使用してＡＮＮを訓練することができ、ＦＩＢベースのデータとＭＥデータに基づく再構成との比較に基づいて訓練モデルを調整してもよい。しかしながら、訓練されると、ＡＮＮは、ＦＩＢベースの技術またはＭＥ畳み込み技術のいずれよりも速く、ＦＩＢスライスおよびビュー技術を通じて取得される解像度に等しい解像度で、新しいセットのＭＥボリュームデータのボリューム再構築を提供し得る。
【００１５】
図１は、本開示の実施形態による荷電粒子顕微鏡システム１００の例である。荷電粒子顕微鏡（ＣＰＭ）システム１００、または単にシステム１００は、少なくとも、ＣＰＭ環境１０２、ネットワーク１０４、１つ以上のサーバ１０６、および人工ニューラルネットワーク１１４を含む。ＣＰＭシステム１００は、様々なサイズおよび構造のサンプルを調査および分析するために使用され得る。一例として、ＣＰＭシステム１００が、少なくとも部分的に、産業または研究場所で実装され、生物学的サンプルの様々な側面を分析するために使用されてもよい。当然のことながら、鉱物、金属合金、半導体等の他のタイプのサンプルも分析され得る。いくつかの実施形態では、ＣＰＭシステム１００は、様々な場所に分散され得る。例えば、ＣＰＭ環境１０２が研究場所に配置され、ネットワーク１０４がローカル、地域、または全国に分散され、サーバ１０６がサーバーファームに配置され、ネットワーク１０４を介してＣＰＭ環境１００に結合されてもよい。ＣＰＭシステム１００の構成に関係なく、システム１００は、少なくとも、１つ以上の人工ニューラルネットワーク（ＡＮＮ）１１４を実装して実行するために使用され得る。
【００１６】
ＣＰＭ環境１０２は、任意のタイプの荷電粒子顕微鏡を含むが、本明細書に開示されるニューラルネットワークの適用は、荷電粒子顕微鏡に限定されず、荷電粒子顕微鏡は例示目的のみに使用される。例示的なＣＰＭには、ほんの数例を挙げると、走査型電子顕微鏡（ＳＥＭ）、透過型電子顕微鏡（ＴＥＭ）、走査型透過電子顕微鏡（ＳＴＥＭ）、集束イオンビーム（ＦＩＢ）、および電子ビームとイオンビームの両方の機能を含むデュアルビーム（ＤＢ）システムが含まれる。ＣＰＭ環境１０２は、サンプルの電子またはイオン画像を取得するために使用されてもよく、電子またはイオン画像のいくつかは、サンプルの異なる表面の様々なエネルギーで取得される複数の画像を含んでもよく、異なる表面がサンプルの層の除去を通じて露出される。ＣＰＭ環境１０２は、単一のツールに含めることができる、あるいは別個のツールに配置され得る様々な態様を含み得る。例えば、ＣＰＭ環境１０２は、イメージングプラットフォーム１０８、例えば、ＳＥＭ、ＴＥＭ、またはＳＴＥＭ、サンプル調製プラットフォーム１１０、および１つ以上のコントローラ１１２を含んでもよい。当然のことながら、各プラットフォーム１０８および１１０も同様に、２つ以上の顕微鏡／サンプル調製ツールを含み得る。
【００１７】
イメージングプラットフォーム１０８は、サンプルの画像を取得するために使用され、サンプルのいくつかは、サンプル調製プラットフォーム１１０によって調製されていることがあるが、必須ではない。画像は、サンプルに荷電粒子のそれぞれのビームを照射する電子および／またはイオン源を使用して取得される。いくつかの例では、荷電粒子ビームイメージングは、例えば、サンプルを横切って移動した、スキャンビームによって取得されるが、他の例では荷電粒子ビームはスキャンされない。次いで、例えば、後方散乱、二次、または透過電子が検出され、それに基づいてグレースケール画像が形成される。本開示に関して、再構成プロセスで使用されるために取得される画像は、後方散乱電子を使用して取得される。画像は、サンプルの材料に応じたグレースケールのコントラストを含み、グレースケールにおける変化は、材料の種類または結晶の配向における変化を示す。加えて、イメージングプラットフォーム１０８は、１つ以上の制御信号に基づいて様々な荷電粒子ビームエネルギーで画像を取得し得る。イメージングプラットフォーム１０８は、内部制御（図示せず）、コントローラ１１２、またはそれらの組み合わせによって制御され得る。
【００１８】
サンプル調製プラットフォーム１１０は、イメージングプラットフォーム１０８によって画像化されるサンプルのいくつかを形成する。当然のことながら、画像化されたサンプルは、他のツール（図示せず）によって形成されてもよい。サンプル調製１１０は、例えば、イオンミリング、イオン誘導エッチング、それらの組み合わせ等により、サンプルの層の除去を調製および支援するＦＩＢカラムを使用するＤＢシステムであり得る。サンプル調製プラットフォーム１１０は、サンプル調製プロセスを監視することを可能にする電子ビームイメージングコンポーネントも含み得るが、電子ビームイメージングコンポーネントは必要ではない。イメージングプラットフォーム１０８と同様に、サンプル調製プラットフォーム１１０の電子ビームイメージングコンポーネントは、異なる電子ビームエネルギーで画像を取得することが可能であり得る。いくつかの実施形態において、サンプル調製プラットフォーム１１０は、イメージングプラットフォーム１０８のためにサンプルを調製するために使用されるレーザ、物理的切断ツール（例えば、ナイフエッジまたはミクロトーム）等の他の物理的調製態様も含み得る。サンプル調製プラットフォーム１１０は、内部制御（図示せず）、コントローラ１１２、またはそれらの組み合わせによって制御され得る。
【００１９】
ネットワーク１０４は、ＣＰＭ環境１０２とサーバ１０６との間で信号を送信するための任意のタイプのネットワークであり得る。例えば、ネットワーク１０４は、ローカルエリアネットワーク、ラージエリアネットワーク、またはインターネット、電話バックボーン、それらの組み合わせ等の分散ネットワークであってもよい。
【００２０】
サーバ１０６は、様々なアルゴリズム、ニューラルネットワーク、および分析スイートについてのコードを実行することができる、仮想および／または物理の１つ以上のコンピューティングプラットフォームを含み得る。図示していないが、ＣＰＭ環境１０２のユーザが、データの検索、ソフトウェアコードの更新、データについての分析タスクの実行等のためにサーバ１０６にアクセスしてもよく、アクセスはユーザのローカルコンピューティング環境（図示せず）からネットワーク１０４を通じたものである。いくつかの実施形態では、ユーザは、サーバ１０６に記憶された画像データにアクセスし、（サーバ１０６またはＣＰＭ環境１０２で実行され得る）ＡＮＮ１１４を使用してボリューム再構成を実装する。
【００２１】
動作中、サンプルの連続した一連の表面の各表面についてある数のＭＥ画像が取得され得る。各表面に対するＭＥ画像の各々は、異なる電子ビームエネルギーで取得され得、各表面は、同じ電子ビームエネルギーで画像化され得る。例えば、表面の２つ以上の画像は、それぞれの電子ビームエネルギー、例えば、８００Ｖ、１．５ｋＶ、２ｋＶ等で取得され得る。一般に、電子ビームエネルギーの範囲は８００Ｖ〜５ｋＶであり得るが、使用されるエネルギーは、サンプルの頑健性に依存し得る。例えば、生体サンプルが、サンプル劣化を制限するために望ましくはより低いエネルギーで画像化され得るが、より硬いサンプル、例えば、鉱物または合金がより高いエネルギーで画像化され得る。表面の複数のＭＥ画像を取得すると、その表面に関するサンプルのボリュームについての情報が取得される。一般に、増加したビームエネルギーで画像を取得するたびに、電子などの荷電粒子がサンプルのより深くに入り込むことをもたらし、更なる別々のＭＥ画像の深さ信号の混合をもたらす。より高いエネルギーはより幅広い深さをカバーするため、深さ情報を取得するために連続するエネルギーを畳み込むべきである。
【００２２】
再構成のためにＭＥデータの複数のセットを取得するＭＥイメージングシーケンスは、サンプル材料の除去を通じて露出された一連の表面を連続的にイメージングすることを伴い得る。例えば、第１の画像のセットが取得され、セットの各画像（セット内の２つ、３つ、またはそれ以上の画像）は、より高いビームエネルギーがサンプル内のより深いところからの情報を提供する異なる荷電粒子ビームエネルギーで取得される。例えば、第１の画像を１ｋＶで取得し、第２の画像を１．８ｋＶで取得し、第３の画像を２．４ｋＶで取得して、ＭＥ画像／画像データのセットを形成してもよい。ＭＥ画像のセットが取得されると、サンプルのスライスが除去されて次の表面が露出し、ＭＥ画像取得プロセスが繰り返される。この例では、スライスは、ナイフエッジまたはミクロトームを使用して除去され、３０〜５０ｎｍの材料の除去をもたらし得る。荷電粒子イメージングには、上記のように、ｘおよびｙピクセルサイズで表面の領域にわたって荷電粒子ビームをラスタリングし、ボクセルのｘおよびｙサイズを決定することが含まれることに留意されたい。ｘ、ｙスキャンサイズは、例えば、１０ｎｍ×１０ｎｍのピクセルをもたらし得る。また、ビームエネルギーに応じて、高エネルギーＭＥ画像はスライス厚さを超える情報を取得することがあるため、ＭＥ画像の連続するセット間でデータが重複するようにしていることも留意されたい。さらに、ＭＥ画像の各セット内の画像間でもデータが重複している。このＭＥイメージングおよびスライス除去プロセスは、サンプルの所望のボリュームが画像化されるまで繰り返される。
【００２３】
単一のスライスから４、１０、２０等の複数のスライスまでの所望の数のＭＥ画像の取得後（スライスの数は、本開示の非限定的な態様である）、ＡＮＮ１１４には、サンプルの画像化ボリュームの再構成を生成するためにすべてのＭＥ画像が提供される。しかしながら、再構成は、ＭＥ画像データよりも高い解像度を有する。加えて、再構成のボクセルサイズは、等方性であり、ベースデータ、すなわちＭＥ画像データがボクセルサイズにおいてそのような等方性を有さない場合でも、例えば、３次元すべてにおいて同じサイズを有する。いくつかの実施形態では、ＣＰＭ環境１０２に含まれるＡＮＮ１１４は、ＭＥ画像が提供されると再構成を実行する。他の実施形態では、ＭＥ画像がサーバ１０６に記憶され、その後、他の何らかの時点でアクセスされてサーバ１１４に含まれるＡＮＮ１１４を使用して再構成を実行する。当然のことながら、ＭＥ画像は、ネットワーク１０４へのアクセスを有するユーザに提供されてもよく、ネットワーク１０４が、次いでＡＮＮ１１４のインスタンスを実装して再構成を実行する。本明細書ではすべての実施形態が企図されており、再構築は必ずしもＣＰＭ環境１０２で実行されるわけではないことに留意されたい。
【００２４】
ＡＮＮ１１４に提供される画像が、イメージングプラットフォーム１０８によって取得されるものとして説明されるが、他の実施形態においては、画像が、異なるイメージングプラットフォームによって提供され、ネットワーク１０４を介してＡＮＮ１１４に提供されてもよい。
【００２５】
１つ以上の実施形態において、深層学習システムとも称され得るＡＮＮ１１４は、ボリュームデータを扱うことができる３次元人工ニューラルネットワークであり得る。当然のことながら、ボリュームデータを扱うことができる２次元ＡＮＮも実施されてよく、本明細書で企図されている。ＡＮＮ１１４は、人工ニューロンと呼ばれる接続されたユニットまたはノードのコレクションを含む。各接続は、ある人工ニューロンから別のニューロンに信号を送信する。人工ニューロンは、層に集約されてもよい。異なる層は、入力に対して異なる種類の変換を実行してもよい。
【００２６】
１つのタイプのＡＮＮ１１４は、畳み込みニューラルネットワーク（ＣＮＮ）である。ＣＮＮは、従来、３つのカラーチャネルにおけるピクセル強度を含む３つの２次元配列で構成されるカラー画像など、複数の配列の形式で到来するデータを処理するように設計されている。ＣＮＮの例示的なアーキテクチャは、一連の段階として構成される。最初の数段階は、畳み込み層とプーリング層の２つのタイプの層で構成され得る。畳み込み層は、入力に畳み込み演算を適用し、結果を次の層に渡す。畳み込みは、視覚刺激に対する個々のニューロンの応答をエミュレートする。プーリング層は、ある層のニューロンクラスターの出力を次の層の単一のニューロンに結合する。例えば、最大プーリングでは、前の層のニューロンのクラスターのそれぞれからの最大値を使用する。
【００２７】
１つ以上の実施形態では、ＡＮＮ１１４は、ＭＥ画像などの複数の２Ｄ画像に基づいてボリュームを再構成するように構成された３Ｄ  ＣＮＮである。３Ｄ  ＡＮＮの他の例には、ほんの数例を挙げると、マルチスケールＣＮＮ、３Ｄ  Ｕ−ｎｅｔ、完全畳み込みネットワーク（ＦＣＮ：ｆｕｌｌｙ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｔｗｏｒｋ）、超解像３Ｄ敵対的生成ネットワーク（ＳＲＧＡＮ：Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ  ３Ｄ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ）、ワンバイナリ超大規模およびスパースカーネル（ＯＢＥＬＩＳＫ：Ｏｎｅ  Ｂｉｎａｒｙ  Ｅｘｔｒｅｍｅｌｙ  Ｌａｒｇｅ  ａｎｄ  Ｉｎｆｌｅｃｔｉｎｇ  Ｓｐａｒｓｅ  Ｋｅｒｎｅｌ）ベースネットワーク、ポイントセット予測ネットワーク（ＰＳＰＮ：Ｐｏｉｎｔ  Ｓｅｔ  Ｐｒｅｄｉｃｔｉｏｎ  Ｎｅｔｗｏｒｋ）、ＶｏｘＮｅｔ、およびＰｏｉｎｔＧｒｉｄが含まれる。当然のことながら、可能な３Ｄ  ＡＮＮのリストは、網羅的なものではなく、将来開発される３Ｄ  ＡＮＮも本明細書で企図されている。いくつかの実施形態では、列挙されたまたは将来の３Ｄニューラルネットワークの組み合わせが実装され得る。３Ｄコンテキスト情報を使用するためには、３Ｄ畳み込み動作が使用されるべきである。このステップは、通常の畳み込みネットワークを３Ｄ畳み込みネットワークに変更する。これらの３Ｄ畳み込みの結果は、ボリュームである。一般に、畳み込み層および最大プーリング層とともに２ｄ入力／出力は２Ｄから３Ｄバリアントに変更される。しかしながら、これらの異なる層は３Ｄとして説明されているが、内部ネットワーク層はｎ  ｘ、ｙ、ｚ、およびフィーチャマップディメンションを含有してもよく、合計で４次元になる。出力では、全ての情報が入力と同じサイズを有する３Ｄボリュームにプルーニングされる。
【００２８】
他の実施形態では、ＡＮＮ１１４は、組み合わせて３Ｄボリューム再構成を提供するように訓練され得るＣＮＮ、ＦＣＮ等の１つ以上の２Ｄ人工ニューラルネットワークを含み得る。例えば、１つの人工ニューラルネットワークが、ＭＥ画像データの１つの次元、例えば、ｘ次元を使用するように訓練され、第２の人工ニューラルネットワークがＭＥ画像の異なる次元、例えば、ｙ次元を使用するように訓練され、第３がＭＥ画像データの残りの次元、例えば、ｚ次元としてもよい。それらの３つのニューラルネットワークの各々は、３Ｄボリューム再構成を提供するために組み合わせられる関連する出力を提供する。いくつかの実施形態では、２Ｄ  ＣＮＮが次元出力を組み合わせるために使用され得る。一般に、ＭＥ画像データは様々な数の次元（２次元、３次元など）に分解されてもよく、各次元は、それぞれの再構築出力を提供する別々のＡＮＮに提供され、次いで、ボリューム再構成に組み合わせる後続のＡＮＮに提供される。
【００２９】
更なる別の実施形態では、２つのＡＮＮ１１４がＭＥ画像データのｘおよびｙ成分を再構成するために使用されてもよく、ＭＥ画像データは、次いで、ボリューム再構成に組み合わせる第３のＡＮＮに提供される。例えば、２Ｄ  ＡＮＮがｘ方向のある数のピクセルに沿ったＭＥ画像データを受信し、その方向に沿って再構成を提供してもよく、第２の２Ｄ  ＡＮＮがｙ方向のある数のピクセルに沿ったＭＥ画像データを受信し、その方向に沿って再構築を提供してもよい。次いで、２つの再構成が、ボリューム再構成を提供する別の２Ｄ  ＡＮＮによって組み合わせられ得る。
【００３０】
使用前に、ＡＮＮ１１４は、画像内の構造の所望の特徴を特定するために訓練される必要があり得る。別の言い方をすれば、ＡＮＮ１１４は、比較的スパースなＭＥ画像データセットからボリュームを再構成する方法を学習する必要がある。訓練は、典型的には、画像の品質またはウェイトを強調する注釈付きの１つ以上のサンプルのある数の注釈付きＭＥ画像をＡＮＮ１１４に提供することを含み得る。訓練画像に基づいて、ＡＮＮ１１４は、それに基づいてどのようにボリュームを再構築するかを学習する。さらに、ボリューム再構成のためにＡＮＮ１１４の訓練は、ＭＥ画像データに基づいて生成されたボリューム再構成と同じボリュームのＦＩＢスライスおよびビューデータとの比較を通じてさらに洗練され得る。例えば、ＭＥ画像のセットがラベル付けされ、ＡＮＮ１１４を訓練するために使用されてもよい。訓練を検証するために、次いでＡＮＮ１１４は同じラベル付けされていないデータを使用して再構成を生成し得る。次いで、この再構成は、サンプルの同じボリュームのＦＩＢスライスおよびビューデータと比較され得る。次いで、比較または差異を使用して、ＡＮＮ１１４のノードに割り当てられた重みを調整するなどしてＡＮＮ１１４を更新し得る。
【００３１】
図２は、本開示の実施形態による、低解像度マルチエネルギー画像データに基づいたサンプルのボリュームの高解像度再構成を取得するための例示的な方法２００である。方法２００は、システム１００などの荷電粒子顕微鏡システムによって、あるいはサンプルのボリュームのマルチエネルギー画像データを受信するように結合されたスタンドアロンのＡＮＮによって実装され得る。いずれかの実施形態において、サンプルのボリュームのマルチエネルギー画像データが、そのボリュームの再構成の基礎となってもよく、再構成は受信ＡＮＮによって形成される。
【００３２】
方法２００は、サンプルの表面のマルチエネルギー画像のセットを取得することを含むプロセスブロック２０１で開始し得る。表面のマルチエネルギー画像のセットは、表面の取得された２つ、３つ、またはそれよりも多い画像を含んでもよく、各画像は異なる電子ビームエネルギーで取得される。例えば、画像のセットのうちの第１のマルチエネルギー画像が１ｋＶで取得されてもよく、第２の画像が１ｋＶよりも大きいまたは小さいエネルギーで取得されてもよい。第３の画像が取得される場合、それぞれのビームエネルギーは、第１と第２の画像に使用されたものとは異なる。
【００３３】
プロセスブロック２０１の後にプロセスブロック２０３が続いてもよく、サンプルの所望のボリュームが画像化されたかどうかを決定することを含む。決定がはいである場合、プロセスブロック２０７が続き、そうでなければ、プロセスブロック２０５が続く。
【００３４】
プロセスブロック２０５は、サンプルのスライスを除去して新しい表面を露出させることを含む。スライスは、ほんの数例を挙げると、ミクロトーム、ナイフエッジ、イオンビーム（集束ビームまたは幅広ビーム）など、荷電粒子顕微鏡で利用可能な任意のツールによって削除され得る。サンプルが生体サンプルである場合、ミクロトームまたはナイフエッジは、サンプルの損傷を避けるため、スライスの除去に望ましいツールであり得る。一般に、除去されたスライスの厚さは３０〜５０ナノメートルであり得る。この厚さは、取得された以前のマルチエネルギー画像のセットのイメージング深さと比較され得る。異なるエネルギーで画像のセットを取得することにより、画像は、除去されたスライスの厚さよりも深くてもよいサンプルへの異なる深さからの情報を含む。そのため、連続したマルチエネルギー画像データセットは重複データを含むことがある。例えば、図５を参照のこと。
【００３５】
いくつかの実施形態において、プロセスブロック２０１および２０５は、サンプルの所望のボリュームが画像化されるまで連続的に繰り返され得る。しかしながら、いくつかの実施形態では、これは、ＭＥ画像の単一のセットのみを含んでもよい。
【００３６】
サンプルの所望のボリュームが画像化されたことが決定されると、プロセスブロック２０７が実行される。プロセスブロック２０７は、少なくとも、サンプルの取得されたマルチエネルギー画像の１つ以上のセットに基づいて人工ニューラルネットワークを使用してサンプルのボリュームを再構成することを含む。１つ以上のセットは、サンプルからいくつのデータおよびスライスのセットが除去されるかに依存する。いくつかの実施形態では、人工ニューラルネットワークは、２、３の例を挙げると、３Ｄ  Ｕ−ｎｅｔ、３Ｄ  ＣＮＮ等の３Ｄ  ＡＮＮであり得る。他の実施形態では、人工ニューラルネットワークは複数の２Ｄ  ＡＮＮを含み、ＭＥ画像はある数の別個の座標次元、例えばｘ、ｙおよびｚに分割され、各座標方向は関連する再構成を提供するために異なる２Ｄ  ＡＮＮに提供される。個別の座標再構成が実行されると、別の２Ｄ  ＡＮＮが座標再構成を受信し、それに基づいてボリュームデータを再構成する。再構成されたボリュームは、ＡＩベースの再構成により、マルチエネルギー画像の解像度よりも高い解像度を有し得る。いくつかの実施形態では、再構成は、画像がＦＩＢベースのスライスおよびビュープロセスを通じて取得された場合と等しい解像度を有すことがあり、約１０ｎｍ×１０ｎｍ×１０ｎｍのボクセルをもたらす。比較のために、マルチエネルギーデータを使用する非ＡＩベースの再構成は、スライスの厚さ、例えば３０〜５０ｎｍに基づくｚ座標を有するボクセルサイズを有することがある。上記で参照された畳み込み技術は、本開示で提示されているものと同様の解像度を取得することがあるが、異なる数学的アルゴリズムを使用していることに留意されたい。
【００３７】
図３は、本開示の実施形態による、人工ニューラルネットワークを訓練するための例示的な方法３００である。方法３００は、任意のコンピューティングシステムによって実行されてもよく、必ずしも荷電粒子顕微鏡システムによって実行される必要はない。しかしながら、方法３００によってＡＮＮを訓練するために使用されるデータは、システム１００などの荷電粒子顕微鏡システムによって取得されるべきである。方法３００は、サンプルの同じボリュームの取得された２つの異なるデータセットを使用して、ＡＮＮを訓練する。サンプルの同じボリュームの異なるデータを使用することによって、ＡＮＮの出力を既知のデータセットと比較し、データ間の差異が訓練モデルおよび／またはＡＮＮのノードを調整するために使用されることができる。
【００３８】
方法３００は、ラベル付けされたマルチエネルギー画像データに基づいて人工ニューラルネットワークを訓練することを含むプロセスブロック３０１で開始し得る。ラベル付けは、熟練した技術者によって、あるいはいくつかの実施形態では、そのようなラベル付けを提供するように訓練された別のニューラルネットワークによって実行され得る。ラベル付けには、各画像または画像の一部に割り当てられた分類、注釈、重み、および／または品質値が含まれ得る。プロセスブロック３０１で使用されるＭＥ画像訓練データは、同じサンプル、例えば方法２００のプロセスブロック２０１からのデータ、または多数の異なるサンプルおよび関連するＭＥ訓練画像データであり得る。
【００３９】
プロセスブロック３０１の後にプロセスブロック３０３が続いてもよく、プロセスブロック３０３は、訓練された人工ニューラルネットワークを使用してマルチエネルギーデータを再構成して、再構成ボリュームを形成することを含む。ここで使用されるマルチエネルギーデータは、ラベルが存在しないネットワークを訓練するためにのみ使用されたデータと同じであってもよい。出力は、サンプルの同じボリュームの再構成からなる。
【００４０】
プロセスブロック３０３の後にプロセスブロック３０５が続いてもよく、プロセスブロック３０５は、再構成ボリュームをサンプルの同じボリュームの高解像度ボリュームデータと比較することを含む。例えば、ＦＩＢベースのスライスおよびビュー画像データが、プロセスブロック３０５で使用されてもよい。この比較により、マルチエネルギーベースの再構成とＦＩＢベースのスライスおよびビューデータとの差異がもたらされ、この差異がＡＮＮに提供されてＡＮＮ係数を更新する（プロセスブロック３０７）。
【００４１】
図４Ａは、本開示の実施形態による、ボリューム再構成のために３Ｄ  ＡＮＮを訓練する例示的な図示４００である。図示４００は、上記で開示した方法３００に類似する。図示は、本明細書で開示されている３Ｄ  ＡＮＮを訓練するために使用されるワークフローと関連する画像を示す。例えば、ＭＥ画像データのセットが３Ｄ  ＡＮＮに提供され、それに基づいてボリューム再構成を形成する。この例における３Ｄ  ＡＮＮは、ＭＥ画像データの同じセットのラベル付き画像で既に訓練されている。図４Ａにおいて「予測」と示されている再構成は、同じサンプルの同じボリュームのラベル付きＦＩＢデータと比較される。この比較は、図４Ａにおいて「損失」と示されている。
【００４２】
図４Ｂは、ＭＥ画像データとＦＩＢベースのスライスおよびビューデータの物理的／サイズの差異を示す。図４Ｂの左側には、ＦＩＢベースのスライスおよびビューデータが厚さ７．８ｎｍと示されており、これは、７．８ｎｍごとのデータを提供し、イメージング特性（滞留時間、ビームエネルギー等）に基づく従来の高解像度データである。これに対して、ＭＥ画像データが右側に示されており、大体厚さ４０〜５０ｎｍで、ビームエネルギーに基づいた何らかのデータの連続体を含む。ＭＥデータの全体の深さは、イメージングに使用されるビームエネルギーに基づいており、示されているスケールがほとんどのアプリケーションにおける最大のターゲット範囲となり得るが、他の範囲が実装されてもよい。分かるように、ＦＩＢベースのデータはサンプルの非常に小さな増分に対して高解像度データを提供する一方で、ＭＥ画像データはサンプルのより大きなボリュームに対してよりスパースなデータを提供する。
【００４３】
図４Ａに戻って、ＦＩＢベースのデータと予測（例えば再構成）との比較により、予測の生成において３Ｄ  ＡＮＮがどれだけうまくいったかについての洞察が提供される。また、ＦＩＢベースのデータは同じサンプルの同じボリュームのものであるため、損失情報が３Ｄ  ＡＮＮを更新するために直接的に使用され得る。３Ｄ  ＡＮＮの更新は、例えばパラメータ適応逆投影によって実装され得る。当然のことながら、３Ｄ  ＡＮＮを訓練または再訓練するための任意の方法が使用されてもよい。
【００４４】
一実施形態によれば、本明細書に記載される技術は、１つ以上の専用のコンピューティングデバイスによって実装される。専用のコンピューティングデバイスは、技術を実行するために、ハードワイヤードであるか、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはネットワーク処理ユニット（ＮＰＵ）などのデジタル電子デバイスを含む場合があり、技術を実行するために、永続的にプログラムされているか、ファームウェア、メモリ、他のストレージ、または組み合わせのプログラム命令に従って技術を実行するようにプログラムされている１つ以上の汎用ハードウェアプロセッサまたはグラフィック処理ユニット（ＧＰＵ）を含む場合がある。このような専用のコンピューティングデバイスは、カスタムハードワイヤードロジック、ＡＳＩＣ、ＦＰＧＡ、またはＮＰＵとカスタムプログラミングを組み合わせて、技術を実現することもできる。専用のコンピューティングデバイスは、デスクトップコンピューターシステム、ポータブルコンピューターシステム、携帯用デバイス、ネットワークデバイス、または技術を実装するためのハードワイヤードおよび／またはプログラムロジックを組み込む他のデバイスとすることができる。
【００４５】
例えば、図５は、本発明の実施形態が実装され得るコンピュータシステム５００を示すブロック図である。コンピューティングシステム５００は、コントローラ１１２、イメージングプラットフォーム１０８、サンプル調製プラットフォーム１１０、サーバ１０６等のＣＰＭ環境１０２に含まれるコンピューティングハードウェアの例であり得る。加えて、コンピュータシステム５００が、ＡＮＮ１１４および／またはＣＮＮ２１４Ａ〜ＣＮＮ２１４Ｄなど、本明細書で開示される１つ以上のニューラルネットワークを実装するために使用されてもよい。コンピュータシステム５００は、少なくとも、情報を通信するためのバス５４０または他の通信機構と、情報を処理するためにバス５４０と結合されたハードウェアプロセッサ５４２とを含む。ハードウェアプロセッサ５４２は、例えば、汎用マイクロプロセッサであり得る。コンピューティングシステム５００が、方法３０１、４０１等、本明細書で開示される方法および技術を実装するために使用されてもよく、画像を取得し、１つ以上のクラスに画像を分けるためにも使用され得る。
【００４６】
コンピュータシステム５００は、プロセッサ５４２によって実行される情報または命令を記憶するためにバス５４０に結合されたランダムアクセスメモリ（ＲＡＭ）、他の動的記憶デバイス等のメインメモリ５４４も含む。メインメモリ５４４は、プロセッサ５４２によって実行される命令の実行中、一時的変数または他の中間情報を記憶するためにも使用され得る。そのような命令は、プロセッサ５４２にアクセス可能な非一時的記憶媒体に記憶されると、コンピュータシステム５００を、命令で指定された動作を実行するようにカスタマイズされた専用マシンにする。
【００４７】
コンピュータシステム５００は、静的情報およびプロセッサ５４２に対する命令を記憶するために、バス５４０に接続された読み取り専用メモリ（ＲＯＭ）５４６または他の静的記憶デバイスをさらに含み得る。磁気ディスクまたは光学ディスクなどの記憶デバイス５４８が提供され、情報および命令を記憶するためにバス５４０に結合されている。
【００４８】
コンピュータシステム５００は、コンピュータユーザに情報を表示するために、陰極線管（ＣＲＴ）などのディスプレイ５５０にバス５４０を介して結合され得る。英数字および他のキーを含む入力デバイス５５２が、プロセッサ５４２に情報およびコマンド選択を通信するためにバス５４０に結合されている。別のタイプのユーザ入力デバイスは、方向情報およびコマンド選択をプロセッサ５４２に通信し、ディスプレイ５５０上のカーソル移動を制御するためのマウス、トラックボールまたはカーソル方向キー等のカーソル制御５５４である。この入力デバイスは一般的に、デバイスが平面内の位置を指定することを可能にする、二つの軸、すなわち、第１の軸（例えば「ｘ」）および第２の軸（例えば「ｙ」）における二方向の自由度を有する。
【００４９】
コンピュータシステム５００は、カスタマイズされたハードワイヤードロジック、１つ以上のＡＳＩＣまたはＦＰＧＡ、ファームウェアおよび／またはコンピュータシステムと組み合わせてコンピュータシステム５００を専用マシンにするプログラムロジックを使用して、本明細書に記載の技術を実装してもよい。一実施形態によれば、本明細書の技術は、メインメモリ５４４に含まれる１つ以上の命令の１つ以上のシーケンスを実行するプロセッサ５４２に応答して、コンピュータシステム５００によって実行される。そのような命令は、記憶デバイス５４８などの別の記憶媒体からメインメモリ５４４に読み込まれてもよい。メインメモリ５４４に含まれる命令のシーケンスの実行により、プロセッサ５４２は、本明細書に記載される工程段階を実行する。代替的な実施形態では、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路を使用してもよい。
【００５０】
本明細書で使用される「記憶媒体（ｓｔｏｒａｇｅ  ｍｅｄｉａ）」という用語は、機械を特定の方法で動作させるデータおよび／または命令を記憶する任意の非一時的媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含み得る。不揮発性媒体は、例えば、記憶デバイス５４８のような、光または磁気ディスクを含む。揮発性媒体は、メインメモリ５４４のような動的メモリを含む。記憶媒体の一般的な形式は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または他の磁気データ記憶媒体、ＣＤ−ＲＯＭ、他の光学データ記憶媒体、物理穴のパターンを持つ媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、ＮＶＲＡＭ、他のメモリチップ若しくはカートリッジ、連想メモリ（ＣＡＭ）、および三値連想メモリ（ＴＣＡＭ）を含む。
【００５１】
記憶媒体は、伝送媒体とは異なるが、伝送媒体と組み合わせて使用してもよい。伝送媒体は、記憶媒体間の情報の転送に関与する。例えば、伝送媒体には、バス５４０を含むワイヤを含む、同軸ケーブル、銅線、および光ファイバが含まれる。伝送媒体は、電波および赤外線データ通信中に生成されるものなど、音響波または光波の形を取ることもできる。
【００５２】
様々な形態の媒体が、１つ以上の命令の１つ以上のシーケンスを実行のためにプロセッサ５４２に搬送するのに関与してもよい。例えば、命令は、最初は遠隔コンピュータの磁気ディスクまたはソリッドステートドライブ上で搬送されてもよい。遠隔コンピュータは、命令をその動的メモリにロードして、モデムを使用して電話回線を介して命令を送信することができる。コンピュータシステム５００に対してローカルなモデムが、電話回線上のデータを受信して、赤外線送信機を使用してデータを赤外線信号に変換することができる。赤外線検出器が、赤外線信号内で搬送されているデータを受信することができ、適切な回路が、データをバス５４０上に置くことができる。バス５４０は、データをメインメモリ５４４に搬送し、プロセッサ５４２は、そこから命令を取り出し実行する。メインメモリ５４４によって受信される命令は任意選択的に、プロセッサ５４２による実行の前または後のいずれかに、記憶デバイス５４８に記憶されてもよい。
【００５３】
コンピュータシステム５００は、バス５４０に結合された通信インターフェース５５６も含む。通信インターフェース５５６は、ローカルネットワーク５６０に接続されたネットワークリンク５５８に結合する双方向データ通信を提供する。例えば、通信インターフェース５５６は、統合サービスデジタルネットワーク（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、または対応するタイプの電話回線へのデータ通信接続を提供するモデムであり得る。別の例として、通信インターフェース５５６は、互換性のあるＬＡＮへのデータ通信接続を提供するローカルエリアネットワーク（ＬＡＮ）カードであってもよい。無線リンクの実装であってもよい。そのような実装では、通信インターフェース５５６は、様々なタイプの情報を表すデジタルデータストリームを運ぶ電気信号、電磁信号、または光信号を送受信する。
【００５４】
ネットワークリンク５５８は通常、１つ以上のネットワークを介して他のデータデバイスへのデータ通信を提供する。例えば、ネットワークリンク５５８は、ローカルネットワーク５６０を介して、ホストコンピュータ５６２またはインターネットサービスプロバイダ（ＩＳＰ）５６４によって運用されるデータ機器への接続を提供することができる。また、ＩＳＰ５６４は、現在一般的に「インターネット」５６６と称される世界的なパケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワーク５６０およびインターネット５６６は両方とも、デジタルデータストリームを搬送する電気信号、電磁信号、または光信号を使用する。コンピュータシステム５００との間でデジタルデータを搬送する、様々なネットワークを通る信号ならびにネットワークリンク５５８上の信号および通信インターフェース５５６を通る信号は、伝送媒体の例示的な形態である。
【００５５】
コンピュータシステム５００は、ネットワーク（複数可）、ネットワークリンク５５８、および通信インターフェース５５６を介して、メッセージを送信し、プログラムコードを含むデータを受信することができる。インターネットの例では、サーバ５６８は、インターネット５６６、ＩＳＰ５６４、ローカルネットワーク５６０、および通信インターフェース５５６を介して、アプリケーションプログラムのために要求されたコードを送信し得る。
【００５６】
受信されたコードは、受信されたときにプロセッサ５４２によって実行されてもよく、かつ／または後で実行するために記憶デバイス５４８もしくは他の不揮発性記憶デバイスに記憶されてもよい。
【００５７】
いくつかの例では、値、手順、または装置は、「最低（ｌｏｗｅｓｔ）」、「最良（ｂｅｓｔ）」、「最小（ｍｉｎｉｍｕｍ）」などと称される。そのような記載は、多くの使用された機能的選択肢からの選択が可能であることを示すことを意図しており、そのような選択は、他の選択よりも優れている（ｂｅｔｔｅｒ）、小さい（ｓｍａｌｌｅｒ）、または他の点で望ましい（ｏｔｈｅｒｗｉｓｅ  ｐｒｅｆｅｒａｂｌｅ）必要はないことが理解されよう。加えて、選択された値は、数値的または他の近似的手段によって得られてもよく、単に理論的に正しい／値に対する近似値であってもよい。
【図１】
2020166848.tif 000003
【図２】
2020166848.tif 000004
【図３】
2020166848.tif 000005
【図４Ａ】
2020166848.tif 000006
【図４Ｂ】
2020166848.tif 000007
【図５】
2020166848.tif 000008
【外国語明細書】
2020166848000001.pdf