(57)【要約】  入力画像からシミュレーション画像を生成するための方法およびシステムが提供される。１つのシステムは、１つ以上のコンピュータサブシステム、および１つ以上のコンピュータサブシステムによって実行される１つ以上の構成要素を含む。１つ以上の構成要素は、標本のための画像の特徴部を決定するように構成された２つ以上のエンコーダ層を含むニューラルネットワークを含む。ニューラルネットワークはまた、決定された特徴部から１つ以上のシミュレーション画像を生成するように構成された２つ以上のデコーダ層を含む。ニューラルネットワークは、全結合層を含まず、それにより２つ以上のエンコーダ層へ入力される画像のサイズに対する制約を除去する。
2019522897.tif 000002
【特許請求の範囲】
【請求項１】
入力画像からシミュレーション画像を生成するように構成されたシステムであって、
１つ以上のコンピュータサブシステムと、
前記１つ以上のコンピュータサブシステムによって実行される１つ以上の構成要素と
を備え、前記１つ以上の構成要素は、
ニューラルネットワークを備え、前記ニューラルネットワークは、
標本のための画像の特徴部を決定するように構成された２つ以上のエンコーダ層と、
決定された前記特徴部から１つ以上のシミュレーション画像を生成するように構成された２つ以上のデコーダ層であって、前記ニューラルネットワークが、全結合層を備えず、それにより前記２つ以上のエンコーダ層に入力される画像のサイズに対する制約を除去する、２つ以上のデコーダ層と、を備えるシステム。
【請求項２】
請求項１に記載のシステムであって、前記ニューラルネットワークは、完全畳み込みモデルとして構成されているシステム。
【請求項３】
請求項１に記載のシステムであって、前記ニューラルネットワークは、深層生成的モデルとして構成されているシステム。
【請求項４】
請求項１に記載のシステムであって、前記ニューラルネットワークは、畳み込みニューラルネットワークとして構成されているシステム。
【請求項５】
請求項１に記載のシステムであって、前記ニューラルネットワークは、生成的敵対的ネットとして構成されているシステム。
【請求項６】
請求項１に記載のシステムであって、前記ニューラルネットワークは、条件付き生成的敵対的ネットとして構成されているシステム。
【請求項７】
請求項１に記載のシステムであって、前記ニューラルネットワークは、生成的敵対的ネットワークおよび変分オートエンコーダとして構成されているシステム。
【請求項８】
請求項１に記載のシステムであって、前記ニューラルネットワークの一部分は、畳み込みニューラルネットワークとして構成されているシステム。
【請求項９】
請求項１に記載のシステムであって、前記１つ以上のコンピュータサブシステム、前記１つ以上の構成要素、および前記ニューラルネットワークは、前記２つ以上のエンコーダ層に入力される前記画像をクロッピングしないシステム。
【請求項１０】
請求項１に記載のシステムであって、前記１つ以上のコンピュータサブシステム、前記１つ以上の構成要素、および前記ニューラルネットワークは、２つ以上のクロッピングされた画像から前記１つ以上のシミュレーション画像を再構築しないシステム。
【請求項１１】
請求項１に記載のシステムであって、前記１つ以上のコンピュータサブシステムは、前から存在するニューラルネットワーク内の全結合層を畳み込み層のグループで置き換え、それにより前記ニューラルネットワークを作成することによって、前記ニューラルネットワークを設定するように構成されているシステム。
【請求項１２】
請求項１に記載のシステムであって、前記１つ以上のコンピュータサブシステムは、境界効果を変更するためにｆｏｖｙ減衰重み付け損失関数を使用して前記ニューラルネットワークをトレーニングするように構成されているシステム。
【請求項１３】
請求項１に記載のシステムであって、前記１つ以上のコンピュータサブシステムは、各々が同じ任意サイズを有するトレーニング画像のバッチを使用して前記ニューラルネットワークをトレーニングするように構成されているシステム。
【請求項１４】
請求項１に記載のシステムであって、前記１つ以上のコンピュータサブシステムは、トレーニング画像のバッチを使用して前記ニューラルネットワークをトレーニングするように構成され、前記バッチ内の前記トレーニング画像のうちの２つ以上は、異なる任意サイズを有するシステム。
【請求項１５】
請求項１に記載のシステムであって、前記２つ以上のエンコーダ層に入力される前記画像は、前記標本のために生成された全体フレーム画像であるシステム。
【請求項１６】
請求項１に記載のシステムであって、前記２つ以上のエンコーダ層に入力される前記画像は、前記標本のための全体ダイ画像であるシステム。
【請求項１７】
請求項１に記載のシステムであって、前記２つ以上のエンコーダ層に入力される前記画像は、電子ビームベースの撮像システムによって生成されるシステム。
【請求項１８】
請求項１に記載のシステムであって、前記２つ以上のエンコーダ層に入力される前記画像は、光学ベースの撮像システムによって生成されるシステム。
【請求項１９】
請求項１に記載のシステムであって、前記２つ以上のエンコーダ層に入力される前記画像は、検査システムによって生成されるシステム。
【請求項２０】
請求項１に記載のシステムであって、前記２つ以上のエンコーダ層に入力される前記画像は、計測システムによって生成されるシステム。
【請求項２１】
請求項１に記載のシステムであって、前記標本がウェハであるシステム。
【請求項２２】
請求項１に記載のシステムであって、前記標本がレチクルであるシステム。
【請求項２３】
請求項１に記載のシステムであって、前記１つ以上のコンピュータサブシステムは、前記１つ以上のシミュレーション画像に基づいて前記標本上の欠陥を検出するように構成されているシステム。
【請求項２４】
請求項１に記載のシステムであって、前記１つ以上のコンピュータサブシステムは、前記２つ以上のエンコーダ層に入力される前記画像または前記１つ以上のシミュレーション画像内で検出された欠陥を分類するように構成されており、前記分類は、前記１つ以上のシミュレーション画像に基づいて実施されるシステム。
【請求項２５】
請求項１に記載のシステムであって、前記１つ以上のコンピュータサブシステムは、前記標本の１つ以上の特徴部、または前記１つ以上のシミュレーション画像に基づいて前記標本上で検出された欠陥を測定するように構成されているシステム。
【請求項２６】
請求項１に記載のシステムであって、前記１つ以上のコンピュータサブシステムは、前記１つ以上のシミュレーション画像を前記２つ以上のエンコーダ層に入力される前記画像と実質的に同じにレンダリングする前記特徴部の値を決定することによって、前記標本上の１つ以上の構造の表現を学習するように構成されているシステム。
【請求項２７】
入力画像からシミュレーション画像を生成するように構成されたシステムであって、
標本の画像を生成するように構成された撮像サブシステムと、
前記画像を取得するように構成された１つ以上のコンピュータサブシステムと、
前記１つ以上のコンピュータサブシステムによって実行される１つ以上の構成要素と
を備え、前記１つ以上の構成要素は、
ニューラルネットワークを備え、前記ニューラルネットワークは、
前記画像の特徴部を決定するように構成された２つ以上のエンコーダ層と、
決定された前記特徴部から１つ以上のシミュレーション画像を生成するように構成された２つ以上のデコーダ層であって、前記ニューラルネットワークが、全結合層を備えず、それにより前記２つ以上のエンコーダ層に入力される画像のサイズに対する制約を除去する、２つ以上のデコーダ層と、を備えるシステム。
【請求項２８】
入力画像からシミュレーション画像を生成するためのコンピュータ実装の方法を実施するための１つ以上のコンピュータシステムに対して実行可能なプログラム命令を格納する非一時的なコンピュータ可読媒体であって、前記コンピュータ実装の方法は、
標本のための画像を取得することと、
前記画像をニューラルネットワークの２つ以上のエンコーダ層に入力することによって前記標本のための前記画像の特徴部を決定することと、
決定された前記特徴部から１つ以上のシミュレーション画像を生成することであって、前記１つ以上のシミュレーション画像を生成することは、前記ニューラルネットワークの２つ以上のデコーダ層によって実施され、前記取得すること、前記決定すること、および前記生成することは、前記１つ以上のコンピュータシステムによって実施され、１つ以上の構成要素は、前記１つ以上のコンピュータシステムによって実行され、前記１つ以上の構成要素は、前記ニューラルネットワークを備える、生成することと、を含む非一時的なコンピュータ可読媒体。
【請求項２９】
入力画像からシミュレーション画像を生成するためのコンピュータ実装の方法であって、
標本のための画像を取得することと、
前記画像をニューラルネットワークの２つ以上のエンコーダ層に入力することによって前記標本のための前記画像の特徴部を決定することと、
決定された前記特徴部から１つ以上のシミュレーション画像を生成することであって、前記１つ以上のシミュレーション画像を生成することは、前記ニューラルネットワークの２つ以上のデコーダ層によって実施され、前記取得すること、前記決定すること、および前記生成することは、前記１つ以上のコンピュータシステムによって実施され、１つ以上の構成要素は、前記１つ以上のコンピュータシステムによって実行され、前記１つ以上の構成要素は、前記ニューラルネットワークを備える、生成することと、を含むコンピュータ実装の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、半導体用途のために入力画像からシミュレーション画像を生成するための方法およびシステムに関する。
【背景技術】
【０００２】
以下の説明および例は、このセクションにおけるそれらの包含により先行技術であることが認められるものではない。
【０００３】
論理デバイスおよびメモリデバイスなどの半導体デバイスの製作は、典型的には、多くの半導体製作プロセスを使用して半導体ウェハなどの基板を加工して、半導体デバイスの様々な特徴部および複数のレベルを形成することを含む。例えば、リソグラフィは、レチクルから半導体ウェハ上に配置されたレジストにパターンを転写することに関与する半導体製作プロセスである。半導体製作プロセスのさらなる例としては、化学機械研磨（ＣＭＰ）、エッチング、成膜、およびイオン注入が挙げられるが、これらに限定されない。複数の半導体デバイスが、単一の半導体ウェハ上に配置されて製作されて、その後、個別の半導体デバイスに分けられる場合がある。
【０００４】
標本上の欠陥を検出して、製造プロセスにおけるより高い歩留り、したがってより高い利益を推進するために、半導体製造プロセス中の様々な工程において検査プロセスが使用される。検査は、常に、半導体デバイスの製造の重要な部分であった。しかしながら、半導体デバイスの寸法が減少すると、より小さな欠陥がデバイスを故障させ得るため、許容できる半導体デバイスの製造の成功には検査がさらにいっそう重要になる。
【０００５】
欠陥レビューは、典型的には、検査プロセスによって欠陥として検出された欠陥を再検出すること、および高倍率光学システムまたは走査電子顕微鏡（ＳＥＭ）のいずれかを使用して欠陥に関する追加情報を高解像度で生成することに関与する。したがって、欠陥レビューは、検査によって欠陥が検出された標本上の離散した場所で実施される。欠陥レビューによって生成された欠陥の高解像度データは、外形、粗さ、より正確なサイズ情報などの欠陥の属性を決定するのにより好適である。
【０００６】
プロセスを監視および制御するために、半導体製造プロセス中の様々な工程において計測プロセスも使用される。計測プロセスは、欠陥が標本上で検出される検査プロセスとは違って、現在使用される検査ツールを使用して決定することができない標本の１つ以上の特徴を測定するために計測プロセスが使用されるという点において、検査プロセスとは異なる。例えば、計測プロセスは、プロセス中に標本上に形成された特徴部の寸法（例えば、線幅、厚さなど）などの標本の１つ以上の特徴を測定するために使用され、その結果、プロセスのパフォーマンスをその１つ以上の特徴から決定することができる。加えて、標本の１つ以上の特徴を許容できない（例えば、その特徴の所定の範囲外である）場合、標本の１つ以上の特徴の測定値は、プロセスによって製造される追加の標本が許容できる特徴を有するように、プロセスの１つ以上のパラメータを変更するために使用され得る。
【０００７】
計測プロセスはまた、検査によって検出される欠陥が欠陥レビューにおいて再度調査される欠陥レビュープロセスとは違って、欠陥が検出されなかった場所で計測プロセスが実施され得るという点において、欠陥レビュープロセスとは異なる。言い換えると、欠陥レビューとは違って、計測プロセスが標本上で実施される場所は、標本上で実施される検査プロセスの結果とは無関係であり得る。具体的には、計測プロセスが実施される場所は、検査結果とは無関係に選択され得る。
【０００８】
設計ルールが縮小すると、レチクルおよびウェハなどの標本上に形成される設計は、最適実行プロセスを使用して形成されたときにさえ、実際の設計とはかなり異なって見えることがある。例えば、設計を物理的な標本上に形成することに関与する物理的プロセスの固有の限界に起因して、物理的な標本上に形成された設計における特徴部は、典型的には、異なる形状（例えば、角丸および他の近接効果に起因して）など、設計とはいくらか異なる特徴を有し、設計の考えられる最良のバージョンが標本上に形成されているときにさえ、いくらか異なる寸法（例えば、近接効果に起因して）を有することがある。
【０００９】
時に、標本上、ならびに、検査ツール、欠陥レビューツール、計測ツール、および同様のものなどのツールによって生成される、設計情報が形成されている標本の画像内に、どのように設計が現れるかを知ることは不可能である。しかしながら、多くの場合、いくつかの理由により、標本上、およびそのようなツールによって生成された画像内にどのように設計が現れるかを知ることが望ましい。１つの理由は、設計が許容できる様式で標本上に形成されることを確実にするためである。別の理由は、設計のための基準を提供するためであり、これは、どのように設計が標本上に形成されることが意図されるかを例証するものであり、それは標本について実施される１つ以上の機能に使用され得る。例えば、一般に、基準は、標本上に形成された設計と基準との間のいかなる差も検出して欠陥または潜在的欠陥として識別することができるように、欠陥検出に必要とされる。
【００１０】
したがって、標本のための１つの画像を標本のための別の画像からシミュレートすることができる様々な方法およびシステムを開発するためにたくさんの取り組みがなされてきた。しかしながら、現在利用可能な方法にはいくつかの欠点がある。例えば、現在使用されるいくつかの方法には、その方法が変換することができる入力画像のサイズに上限がある。現在使用される他の方法は、かなり大きい入力画像を変換することができるが、そうする際にいくつかの欠点を伴う。
【００１１】
１つのそのような例において、比較的大きい入力画像を変換するための現在使用される１つの方法は、（比較的大きい）任意サイズの画像（例えば、１０２４ピクセル×１０２４ピクセル）を、必要とされるサイズ（例えば、６４ピクセル×６４ピクセル）を有する多くの画像パッチへとクロッピングし、次いでそれらすべてのパッチを、ニューラルネットワークを介して供給することを含む。画像サイズ（すなわち、１０２４ピクセル×１０２４ピクセル）の結果は、パッチサイズの結果（すなわち、９２３，５２１枚の画像パッチであり、各々が６４ピクセル×６４ピクセルのサイズを有する）から構築され得る。
【００１２】
したがって、そのような現在使用される方法にはいくつかの欠点がある。例えば、現在使用される方法は、最高速のグラフィック処理ユニット（ＧＰＵ）上でさえも、ランタイムにおける膨大な量の計算を必要とする（例えば、１０２４ピクセル×１０２４ピクセル画像を処理するには、数十分から数時間を必要とする）。加えて、現在使用される方法は、追加のクロッピングおよび再構築ステップを含み、それがソフトウェア実装フローを複雑にする。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】国際公開第２００６／０１９９１９号
【発明の概要】
【発明が解決しようとする課題】
【００１４】
したがって、上記の欠点のうちの１つ以上を有しない入力画像からシミュレーション画像を生成するためのシステムおよび方法を開発することが有利である。
【課題を解決するための手段】
【００１５】
様々な実施形態の以下の説明は、添付の特許請求の範囲の主題をいかようにも制限するものとして解釈されるべきではない。
【００１６】
１つの実施形態は、入力画像からシミュレーション画像を生成するように構成されたシステムに関する。本システムは、１つ以上のコンピュータサブシステム、および１つ以上のコンピュータサブシステムによって実行される１つ以上の構成要素を含む。１つ以上の構成要素は、標本のための画像の特徴部を決定するように構成された２つ以上のエンコーダ層を含むニューラルネットワークを含む。ニューラルネットワークはまた、決定された特徴部から１つ以上のシミュレーション画像を生成するように構成された２つ以上のデコーダ層を含む。ニューラルネットワークは、全結合層を含まず、それにより２つ以上のエンコーダ層へ入力される画像のサイズに対する制約を除去する。本システムは、本明細書に説明されるようにさらに構成されてもよい。
【００１７】
追加の実施形態は、入力画像からシミュレーション画像を生成するように構成された別のシステムに関する。このシステムは上記のように構成されている。このシステムはまた、２つ以上のエンコーダ層に入力される標本の画像を生成するように構成された撮像サブシステムを含む。コンピュータサブシステムは、この実施形態では、撮像サブシステムから画像を取得するように構成されている。本システムのこの実施形態は、本明細書に説明されるようにさらに構成されてもよい。
【００１８】
別の実施形態は、入力画像からシミュレーション画像を生成するためのコンピュータ実装の方法に関する。本方法は、標本のための画像を取得することを含む。本方法はまた、画像をニューラルネットワークの２つ以上のエンコーダ層に入力することによって標本のための画像の特徴部を決定することを含む。加えて、本方法は、決定された特徴部から１つ以上のシミュレーション画像を生成することを含む。１つ以上のシミュレーション画像を生成することは、ニューラルネットワークの２つ以上のデコーダ層によって実施される。これら取得すること、決定すること、および生成することは、１つ以上のコンピュータシステムによって実施される。１つ以上の構成要素は、１つ以上のコンピュータシステムによって実行され、１つ以上の構成要素は、ニューラルネットワークを含む。
【００１９】
上記の方法のステップの各々は、本明細書内にさらに説明されるようにさらに実施されてもよい。加えて、上記の方法の実施形態は、本明細書に説明される任意の他の方法の任意の他のステップを含んでもよい。さらには、上記の方法は、本明細書に説明されるシステムのいずれかによって実施されてもよい。
【００２０】
別の実施形態は、入力画像からシミュレーション画像を生成するためのコンピュータ実装の方法を実施するための１つ以上のコンピュータシステムに対して実行可能なプログラム命令を格納する非一時的なコンピュータ可読媒体に関する。コンピュータ実装の方法は、上記の方法のステップを含む。コンピュータ可読媒体は、本明細書に説明されるようにさらに構成されてもよい。コンピュータ実装の方法のステップは、本明細書内にさらに説明されるように実施されてもよい。加えて、プログラム命令が実行可能であるコンピュータ実装の方法は、本明細書に説明される任意の他の方法の任意の他のステップを含んでもよい。
【００２１】
本発明のさらなる利点は、好ましい実施形態の以下の詳細な説明の恩恵により、および添付の図面への参照により、当業者には明らかになるものとする。
【図面の簡単な説明】
【００２２】
【図１】本明細書に説明されるように構成されたシステムの実施形態の側面図を例証する概略図である。
【図１ａ】本明細書に説明されるように構成されたシステムの実施形態の側面図を例証する概略図である。
【図２】入力画像からシミュレーション画像を生成するための現在使用される方法の１つの例、ならびに現在使用される方法のクロッピングおよび再構築ステップなしに入力画像からシミュレーション画像を生成する１つの実施形態を例証する概略図である。
【図３ａ】固定の入力画像サイズを有する現在使用されるニューラルネットワークの１つの例を例証する概略図である。
【図３ｂ】任意の入力画像サイズが可能であるニューラルネットワークの１つの実施形態を例証する概略図である。
【図４】１つ以上のコンピュータシステムに本明細書に説明されるコンピュータ実装の方法を実施させるためのプログラム命令を格納する非一時的なコンピュータ可読媒体の１つの実施形態を例証する概略図である。
【発明を実施するための形態】
【００２３】
本発明は、様々な修正および代替形態の影響を受けやすいものであるが、本発明の特定の実施形態が、図面において例として示され、本明細書内で詳細に説明される。図面は縮尺通りでない場合がある。しかしながら、図面およびそれに関する詳細な説明は、本発明を開示された特定の形態に制限することを意図するものではなく、むしろ、本発明は、添付の特許請求の範囲によって規定されるような本発明の趣旨および範囲内に入るすべての修正物、等価物、および代替物を網羅するものとするということを理解されたい。
【００２４】
「設計」、「設計データ」、および「設計情報」という用語は、本明細書内で同じ意味で使用される場合、概して、ＩＣの物理的な設計（レイアウト）、ならびに複雑なシミュレーションまたは単純な幾何およびブール演算により物理的な設計から得たデータを指す。加えて、レチクル検査システムによって取得されたレチクルの画像および／またはその派生物を、設計のための「プロキシ」として使用することができる。そのようなレチクル画像またはその派生物は、設計を使用する本明細書に説明されるいかなる実施形態においても、設計レイアウトの代替としての機能を果たすことができる。設計は、権利者が共通の２００９年８月４日にザファル（Ｚａｆａｒ）らに対して発行された米国特許第７，５７０，７９６号および２０１０年３月９日にクルカルニ（Ｋｕｌｋａｒｎｉ）らに対して発行された同第７，６７６，０７７号に説明される任意の他の設計データまたは設計データプロキシを含み得、これらの両方が、本明細書に完全に明記されるかのように引用により援用する。加えて、設計データは、標準セルライブラリデータ、統合レイアウトデータ、１つ以上の層の設計データ、設計データの派生物、およびフルまたは部分チップ設計データであり得る。
【００２５】
加えて、本明細書に説明される「設計」、「設計データ」、および「設計情報」は、設計プロセスにおいて半導体デバイス設計者によって生成され、したがって、レチクルおよびウェハなどの任意の物理的な標本に対する設計のプリントのかなり前に、本明細書に説明される実施形態における使用のために利用可能である、情報およびデータを指す。
【００２６】
ここで図面に移るが、図は縮尺通りに描かれていないということに留意されたい。具体的には、図の要素の一部の縮尺は、要素の特徴を強調するために大いに誇張されている。図は同じ縮尺で描かれていないということにも留意されたい。同様に構成され得る２つ以上の図に示されている要素は、同じ参照番号を使用して示されている。本明細書内に別途記載のない限り、説明および図示される要素のいずれかは、任意の好適な市販の要素を含み得る。
【００２７】
１つの実施形態は、入力画像からシミュレーション画像を生成するように構成されたシステムに関する。一般に、本明細書に説明される実施形態は、半導体検査および計測用途のための完全畳み込み深層生成的モデルとして構成され得る。本明細書に説明される実施形態は、有利には、（１）任意サイズの画像に対して計算可能な深層生成的モデルを可能にするため、ならびに（２）おそらくは光学、電子ビーム、ウェハ、マスク、検査、および計測ツールについて、ランタイム予測のための計算時間を１００倍から１０００倍と大いに減少させるための計算効率の高い方法論を提供する。
【００２８】
入力画像からシミュレーション画像を生成するように構成されたシステムの１つの実施形態は、図１に示される。本システムは、１つ以上のコンピュータサブシステム（例えばコンピュータサブシステム３６およびコンピュータサブシステム１０２）、および１つ以上のコンピュータサブシステムによって実行される１つ以上の構成要素１００を含む。いくつかの実施形態において、本システムは、撮像システム（またはサブシステム）１０を含む。図１の実施形態において、撮像システムは、標本の物理的なバージョンの上に光を走査するかまたはそれに光を向けると同時に、標本から光を検出し、それにより標本のための画像を生成するように構成されている。撮像システムはまた、これら走査すること（または向けること）および検出することを複数モードで実施するように構成され得る。
【００２９】
１つの実施形態において、標本はウェハである。ウェハは、当該技術分野で知られている任意のウェハを含み得る。別の実施形態において、標本はレチクルである。レチクルは、当該技術分野で知られている任意のレチクルを含み得る。
【００３０】
１つの実施形態において、撮像システムは、光学ベースの撮像システムである。この様式では、いくつかの実施形態において、本明細書にさらに説明される２つ以上のエンコーダ層に入力される画像は、光学ベースの撮像システムによって生成される。１つのそのような例において、図１に示されるシステムの実施形態では、光学ベースの撮像システム１０は、標本１４に光を向けるように構成された照明サブシステムを含む。照明サブシステムは、少なくとも１つの光源を含む。例えば、図１に示されるように、照明サブシステムは光源１６を含む。１つの実施形態において、照明サブシステムは、１つ以上の斜角および／または１つ以上の法線角を含み得る１つ以上の入射角で光を標本に向けるように構成されている。例えば、図１に示されるように、光源１６からの光は、斜めの入射角で、光学素子１８および次いでレンズ２０を通って標本１４に向けられる。斜めの入射角は、任意の好適な斜めの入射角を含み得、それは、例えば標本の特徴によって変化し得る。
【００３１】
撮像システムは、異なる時に異なる入射角で標本に光を向けるように構成され得る。例えば、撮像システムは、図１に示されるものとは異なる入射角で光を標本に向けることができるように、照明サブシステムの１つ以上の要素の１つ以上の特徴を変更するように構成され得る。１つのそのような例において、撮像システムは、異なる斜めの入射角または法線の（もしくは法線に近い）入射角で光を標本に向けることができるように、光源１６、光学素子１８、およびレンズ２０を動かすように構成され得る。
【００３２】
いくつかの場合において、撮像システムは、同時に２つ以上の入射角で光を標本に向けるように構成され得る。例えば、照明サブシステムは、２つ以上の照明チャネルを含み得、照明チャネルのうちの１つは、図１に示されるように光源１６、光学素子１８、およびレンズ２０を含み得、照明チャネルのうちの別のもの（図示せず）は、異なってもしくは同じに構成され得る同様の要素を含み得るか、または少なくとも光源およびおそらくは本明細書にさらに説明されるものなどの１つ以上の他の構成要素を含み得る。そのような光が他の光と同時に標本に向けられる場合、異なる入射角で標本に向けられる光の１つ以上の特徴（例えば、波長、偏光など）が、異なり得るため、異なる入射角で標本の照明から生じる光を検出器において互いと区別することができる。
【００３３】
別の場合において、照明サブシステムは、１つのみの光源（例えば図１に示される光源１６）を含み得、光源からの光は、照明サブシステムの１つ以上の光学素子（図示せず）によって（例えば、波長、偏光などに基づいて）異なる光経路内へ分離され得る。異なる光経路の各々における光が、次いで標本に向けられる。複数の照明チャネルが、同時にまたは異なる時（例えば、異なる照明チャネルを使用して標本を連続して照明するとき）に標本に光を向けるように構成され得る。別の場合において、同じ照明チャネルが、異なる時に異なる特徴を有する標本に光を向けるように構成され得る。例えば、いくつかの場合において、光学素子１８は、スペクトルフィルタとして構成され得、スペクトルフィルタの特性は、光の異なる波長を異なる時に標本に向けることができるように、様々な異なるやり方で（例えば、スペクトルフィルタを取り換えることによって）変えることができる。照明サブシステムは、異なるまたは同じ特徴を有する光を異なるまたは同じ入射角で連続してまたは同時に標本に向けるための当該技術分野において知られている任意の他の構成を有してもよい。
【００３４】
１つの実施形態において、光源１６は、広帯域プラズマ（ＢＢＰ）光源を含み得る。この様式では、光源によって生成され標本に向けられる光は、広帯域光を含み得る。しかしながら、光源は、レーザなどの任意の他の好適な光源を含んでもよい。レーザは、当該技術分野において知られている任意の好適なレーザを含み得、当該技術分野において知られている任意の好適な波長で光を生成するように構成され得る。加えて、レーザは、単色またはほぼ単色である光を生成するように構成され得る。この様式では、レーザは狭帯域レーザであってもよい。光源はまた、複数の離散した波長または波帯で光を生成する多色光源を含み得る。
【００３５】
光学素子１８からの光は、レンズ２０によって標本１４に焦点合わせされ得る。レンズ２０は、図１では単一の屈折光学素子として示されるが、実際には、レンズ２０は、共同して光学素子からの光を標本に焦点合わせするいくつかの屈折および／または反射光学素子を含み得ることが理解されるものとする。図１に示され本明細書に説明される照明サブシステムは、任意の他の好適な光学素子（図示せず）を含んでもよい。そのような光学素子の例としては、当該技術分野で知られている任意のそのような好適な光学素子を含み得る、偏光構成要素、スペクトルフィルタ、空間フィルタ、反射光学素子、アポタイザ、ビームスプリッタ、アパーチャ、および同様のものが挙げられるが、これらに限定されない。加えて、撮像システムは、撮像に使用される予定の照明の種類に基づいて照明サブシステムの要素のうちの１つ以上を変更するように構成され得る。
【００３６】
撮像システムはまた、標本の上に光を走査させるように構成された走査サブシステムを含み得る。例えば、撮像システムは、標本１４が検査中に載置されるステージ２２を含み得る。走査サブシステムは、光を標本の上に走査することができるように標本を動かすように構成され得る（ステージ２２を含む）任意の好適な機械的および／またはロボットアセンブリを含み得る。加えて、または代替的に、撮像システムは、撮像システムの１つ以上の光学素子が標本の上で光の何らかの走査を実施するように構成され得る。光は、蛇行したような経路またはらせん経路などの任意の好適な方式で標本の上に走査され得る。
【００３７】
撮像システムは、１つ以上の検出チャネルをさらに含む。１つ以上の検出チャネルのうちの少なくとも１つは、システムによって標本の照明により標本から光を検出するように、および検出された光に応答して出力を生成するように構成された検出器を含む。例えば、図１に示される撮像システムは、２つの検出チャネルを含み、一方は、集光器２４、要素２６、および検出器２８によって形成され、もう一方は、集光器３０、要素３２、および検出器３４によって形成される。図１に示されるように、２つの検出チャネルは、異なる集光角度で光を収集および検出するように構成されている。いくつかの場合において、両方の検出チャネルが、散乱光を検出するように構成されており、これらの検出チャネルは、標本から異なる角度で散乱される光を検出するように構成されている。しかしながら、検出チャネルの１つ以上が、標本からの別の種類の光（例えば反射光）を検出するように構成されていてもよい。
【００３８】
図１にさらに示されるように、両方の検出チャネルが、紙面内に位置付けられて示され、照明サブシステムも紙面内に位置付けられて示される。したがって、この実施形態では、両方の検出チャネルが、入射面内に位置付けられる（例えば、入射面内の中心に置かれる）。しかしながら、検出チャネルのうちの１つ以上は、入射面外に位置付けられ得る。例えば、集光器３０、要素３２、および検出器３４によって形成される検出チャネルは、入射面から外に散乱される光を収集および検出するように構成され得る。したがって、そのような検出チャネルは、「サイド」チャネルと一般に呼ばれ得、そのようなサイドチャネルは、入射面に略垂直である平面の中心に置かれ得る。
【００３９】
図１は、２つの検出チャネルを含む撮像システムの実施形態を示すが、撮像システムは、異なる数の検出チャネル（例えば、１つのみの検出チャネルまたは２つ以上の検出チャネル）を含んでもよい。１つのそのような場合において、集光器３０、要素３２、および検出器３４によって形成される検出チャネルは、上記のような１つのサイドチャネルを形成してもよく、撮像システムは、入射面の反対側に位置付けられる別のサイドチャネルとして形成される追加の検出チャネル（図示せず）を含んでもよい。したがって、撮像システムは、入射面の中心に置かれ、標本表面に対して法線であるかまたは法線に近い散乱角度で光を収集および検出するように構成された、集光器２４、要素２６、および検出器２８を含む検出チャネルを含み得る。この検出チャネルは、したがって、「トップ」チャネルと一般に呼ばれ得、撮像システムはまた、上記のように構成された２つ以上のサイドチャネルを含み得る。そのようなものとして、撮像システムは、少なくとも３つのチャネル（すなわち、１つのトップチャネルおよび２つのサイドチャネル）を含み得、少なくとも３つのチャネルの各々が、独自の集光器を有し、その各々が、他の集光器の各々とは異なる散乱角度で光を収集するように構成されている。
【００４０】
上にさらに説明されるように、撮像システムに含まれる検出チャネルの各々は、散乱光を検出するように構成され得る。したがって、図１に示される撮像システムは、標本の暗視野（ＤＦ）撮像のために構成され得る。しかしながら、撮像システムはまた、または代替的に、標本の明視野（ＢＦ）撮像のために構成されている検出チャネルを含み得る。言い換えると、撮像システムは、標本から鏡面的に反射された光を検出するように構成されている少なくとも１つの検出チャネルを含み得る。したがって、本明細書に説明される撮像システムは、ＤＦのみ、ＢＦのみ、またはＤＦおよびＢＦの両方のために構成され得る。集光器の各々は、図１では単一の屈折光学素子として示されるが、集光器の各々は、１つ以上の屈折光学素子および／または１つ以上の反射光学素子を含み得ることが理解されるものとする。
【００４１】
１つ以上の検出チャネルは、当該技術分野で知られている任意の好適な検出器を含み得る。例えば、検出器は、光電子増倍管（ＰＭＴ）、電荷結合デバイス（ＣＣＤ）、時間遅延積分（ＴＤＩ）カメラ、および当該技術分野で知られている任意の他の好適な検出器を含み得る。検出器はまた、非撮像検出器または撮像検出器を含み得る。この様式では、検出器が非撮像検出器である場合、検出器の各々は、強度などの散乱光の特定の特徴を検出するように構成され得るが、そのような特徴を撮像平面内の位置の関数として検出するように構成されない場合がある。そのようなものとして、撮像システムの検出チャネルの各々に含まれる検出器の各々によって生成される出力は、信号またはデータであり得るが、画像信号または画像データではない場合がある。そのような場合において、コンピュータサブシステム３６などのコンピュータサブシステムは、検出器の非撮像出力から標本の画像を生成するように構成され得る。しかしながら、他の場合において、検出器は、画像信号または画像データを生成するように構成されている撮像検出器として構成され得る。したがって、撮像システムは、いくつかのやり方で本明細書に説明される画像を生成するように構成され得る。
【００４２】
図１は、本明細書に説明されるシステム実施形態に含まれ得る、または本明細書に説明されるシステム実施形態によって使用される画像を生成し得る、撮像システムまたはサブシステムの構成を全体的に例証するために本明細書に提供されるということに留意されたい。当然ながら、本明細書に説明される撮像システム構成は、市販の撮像システムを設計するときに通常実施されるように、撮像システムのパフォーマンスを最適化するために変更されてもよい。加えて、本明細書に説明されるシステムは、カリフォルニア州ミルピタスのＫＬＡ−Ｔｅｎｃｏｒから市販されているツールの２９ｘｘ／３９ｘｘおよびＰｕｍａ  ９ｘｘｘシリーズなど、既存のシステムを使用して（例えば、既存のシステムに本明細書に説明される機能性を追加することによって）実装され得る。いくつかのそのようなシステムでは、本明細書に説明される実施形態は、システムの選択的な機能性として提供され得る（例えば、システムの他の機能性に加えて）。代替的に、本明細書に説明される撮像システムは、完全に新しい撮像システムを提供するために「ゼロから」設計されてもよい。
【００４３】
撮像システムのコンピュータサブシステム３６は、コンピュータサブシステムが標本の走査中に検出器によって出力された出力を受信することができるように、任意の好適な様式で（例えば、「有線」および／または「無線」伝送媒体を含み得る１つ以上の伝送媒体を介して）撮像システムの検出器に結合され得る。コンピュータサブシステム３６は、検出器の出力を使用して、本明細書にさらに説明されるいくつかの機能を実施するように構成され得る。
【００４４】
図１に示されるコンピュータサブシステム（ならびに本明細書に説明される他のコンピュータサブシステム）は、本明細書では、コンピュータシステムとも呼ばれ得る。本明細書に説明されるコンピュータサブシステムまたはシステムの各々は、パーソナルコンピュータシステム、画像コンピュータ、メインフレームコンピュータシステム、ワークステーション、ネットワークアプライアンス、インターネットアプライアンス、または他のデバイスを含め、様々な形態をとり得る。一般に、「コンピュータシステム」という用語は、メモリ媒体からの命令を実行する１つ以上のプロセッサを有する任意のデバイスを包含すると広く定義され得る。コンピュータサブシステムまたはシステムはまた、パラレルプロセッサなどの、当該技術分野で知られている任意の好適なプロセッサを含み得る。加えて、コンピュータサブシステムまたはシステムは、スタンドアローンまたはネットワーク化したツールのいずれかとして、高速処理およびソフトウェアを備えたコンピュータプラットフォームを含み得る。
【００４５】
本システムが２つ以上のコンピュータサブシステムを含む場合、異なるコンピュータサブシステムが、画像、データ、情報、命令などを、本明細書にさらに説明されるようにコンピュータサブシステム間で送信することができるように互いに結合され得る。例えば、コンピュータサブシステム３６は、当該技術分野で知られている任意の好適な有線および／または無線伝送媒体を含み得る任意の好適な伝送媒体によって、図１の破線によって示されるようにコンピュータサブシステム１０２に結合され得る。そのようなコンピュータサブシステムのうちの２つ以上はまた、共有コンピュータ可読記憶媒体（図示せず）によって有効に結合され得る。
【００４６】
撮像システムは、光学または光ベースの撮像システムであると上に説明されるが、撮像システムは、電子ビームベースの撮像システムであってもよい。この様式では、いくつかの実施形態において、本明細書に説明される２つ以上のエンコーダ層に入力される画像は、電子ビームベースの撮像システムによって生成される。図１ａに示される１つのそのような実施形態において、撮像システムは、コンピュータサブシステム１２４に結合されてもよい電子カラム１２２を含む。図１ａにも示されるように、電子カラムは、１つ以上の要素１３０によって標本１２８に焦点合わせされる電子を生成するように構成された電子ビーム源１２６を含む。電子ビーム源は、例えば、カソード源またはエミッタチップを含み得、１つ以上の要素１３０は、例えば、ガンレンズ、アノード、ビーム制限アパーチャ、ゲート弁、ビーム電流選択アパーチャ、対物レンズ、および走査サブシステムを含み得、それらのすべてが当該技術分野で知られている任意のそのような好適な要素を含み得る。
【００４７】
標本から戻ってきた電子（例えば二次電子）は、１つ以上の要素１３２によって検出器１３４に焦点合わせされ得る。１つ以上の要素１３２は、例えば、走査サブシステムを含み得、それは要素１３０に含まれる同じ走査サブシステムであり得る。
【００４８】
電子カラムは、当該技術分野で知られている任意の他の好適な要素を含み得る。加えて、電子カラムは、２０１４年に４月４日にジャン（Ｊｉａｎｇ）らに対して発行された米国特許第８，６６４，５９４号、２０１４年４月８日にコジマ（Ｋｏｊｉｍａ）らに対して発行された同第８，６９２，２０４号、２０１４年４月１５日にガベンズ（Ｇｕｂｂｅｎｓ）らに対して発行された同第８，６９８，０９３号、および２０１４年５月６日にマクドナルド（ＭａｃＤｏｎａｌｄ）らに対して発行された同第８，７１６，６６２号に説明されるようにさらに構成されてもよく、これらは、本明細書に完全に明記されるかのように引用により援用する。
【００４９】
図１ａでは、電子カラムは、電子が斜めの入射角で標本に向けられ、別の斜角で標本から散乱されるように構成されて示されるが、電子ビームは、任意の好適な角度で、標本に向けられそこから散乱され得るということが理解されるものとする。加えて、電子ビームベースの撮像システムは、本明細書にさらに説明されるように標本の画像を生成するために複数のモードを使用するように構成され得る（例えば、異なる照明角度、集光角度などで）。電子ビームベースの撮像システムの複数のモードは、撮像システムの任意の画像生成パラメータが異なり得る。
【００５０】
コンピュータサブシステム１２４は、上記のように検出器１３４に結合され得る。検出器は、標本の表面から戻ってきた電子を検出し、それにより標本の電子ビーム画像を形成し得る。電子ビーム画像は、任意の好適な電子ビーム画像を含み得る。コンピュータサブシステム１２４は、検出器１３４によって生成された出力を使用して、標本について本明細書にさらに説明される１つ以上の機能を実施するように構成され得る。コンピュータサブシステム１２４は、本明細書に説明される任意の追加のステップを実施するように構成され得る。図１ａに示される撮像システムを含むシステムは、本明細書に説明されるようにさらに構成されてもよい。
【００５１】
図１ａは、本明細書に説明される実施形態に含まれ得る電子ビームベースの撮像システムの構成を全体的に例証するために、本明細書に提供されるということに留意されたい。上記の光学ベースの撮像システムのように、本明細書に説明される電子ビームベースの撮像システム構成は、市販の撮像システムを設計するときに通常実施されるように、撮像システムのパフォーマンスを最適化するために変更されてもよい。加えて、本明細書に説明されるシステムは、ＫＬＡ−Ｔｅｎｃｏｒから市販されているツールのｅＳｘｘｘおよびｅＤＲ−ｘｘｘｘシリーズなど、既存のシステムを使用して（例えば、既存のシステムに本明細書に説明される機能性を追加することによって）実装され得る。いくつかのそのようなシステムでは、本明細書に説明される実施形態は、システムの選択的な機能性として提供され得る（例えば、システムの他の機能性に加えて）。代替的に、本明細書に説明されるシステムは、完全に新しいシステムを提供するために「ゼロから」設計されてもよい。
【００５２】
撮像システムは、光学ベースまたは電子ビームベースの撮像システムであると上に説明されるが、撮像システムは、イオンビームベースの撮像システムであってもよい。そのような撮像システムは、電子ビーム源が当該技術分野で知られている任意の好適なイオンビーム源で置き換えられ得るということを除き、電子ビームベースのサブシステムに関して図１ａに示されるように構成され得る。加えて、撮像システムは、市販の集束イオンビーム（ＦＩＢ）システム、ヘリウムイオン顕微鏡検査（ＨＩＭ）システム、および二次イオン質量分析（ＳＩＭＳ）システムに含まれるものなど、任意の他の好適なイオンビームベースの撮像システムであってもよい。
【００５３】
上に記載されるように、撮像システムは、標本の物理的なバージョンの上に、エネルギー（例えば、光または電子）を走査し、それにより標本の物理的なバージョンの実画像を生成するように構成されている。この様式では、撮像システムは、「仮想」システムではなく「実」システムとして構成され得る。例えば、記憶媒体（図示せず）および図１に示されるコンピュータサブシステム１０２は、「仮想」システムとして構成され得る。具体的には、記憶媒体およびコンピュータサブシステムは、撮像サブシステム１０の部分ではなく、標本の物理的なバージョンを取り扱うためのいかなる能力も有しない。言い換えると、仮想システムとして構成されたシステムでは、その１つ以上の「検出器」の出力は、実システムの１つ以上の検出器によって以前に生成され、仮想システムに格納されている出力であり得、「走査」中、仮想システムは、標本が走査されているかのように格納された出力を再生し得る。この様式では、仮想システムを用いて標本を走査することは、物理的な標本が実システムを用いて走査されているのと同じであるように見え得るが、現実には、この「走査」は、標本が走査され得るのと同じ様式で標本の出力を単に再生することに関与する。「仮想」検査システムとして構成されたシステムおよび方法は、同一出願人による２０１２年２月２８日にバスカー（Ｂｈａｓｋａｒ）らに対して発行された米国特許第８，１２６，２５５号、および２０１５年１２月２９日にダフィー（Ｄｕｆｆｙ）らに発行された同第９，２２２，８９５号に説明されており、それらの両方が、本明細書に完全に明記されるかのように引用により援用する。本明細書に説明される実施形態は、これらの特許において説明されるようにさらに構成され得る。例えば、本明細書に説明される１つ以上のコンピュータサブシステムは、これらの特許において説明されるようにさらに構成され得る。加えて、１つ以上の仮想システムを中央計算記憶（ＣＣＳ）システムとして構成することは、ダフィー（Ｄｕｆｆｙ）に対する上に参照した特許において説明されるように実施され得る。本明細書に説明される持続記憶機序は、ＣＣＳアーキテクチャなどの分散計算および記憶を有することができるが、本明細書に説明される実施形態はそのアーキテクチャに限定されない。
【００５４】
さらに上に記載されるように、撮像システムは、複数のモードで標本の画像を生成するように構成され得る。一般に、「モード」は、標本の画像を生成することに使用される撮像システムのパラメータの値、または標本の画像を生成するために使用される出力によって規定され得る。したがって、異なるモードは、撮像システムの撮像パラメータのうちの少なくとも１つに対する値が異なり得る。例えば、光学ベースの撮像システムの１つの実施形態において、複数のモードのうちの少なくとも１つは、複数のモードのうちの少なくとも１つの他のモードに使用される照明の光の少なくとも１つの波長とは異なる照明の光の少なくとも１つの波長を使用する。モードは、異なるモードでは本明細書にさらに説明されるように照明波長が異なり得る（例えば、異なる光源、異なるスペクトルフィルタなどを使用することによって）。別の実施形態において、複数のモードのうちの少なくとも１つは、複数のモードのうちの少なくとも１つの他のモードに使用される撮像システムの照明チャネルとは異なる撮像システムの照明チャネルを使用する。例えば、上に記載されるように、撮像システムは、２つ以上の照明チャネルを含んでもよい。そのようなものとして、異なるモードでは異なる照明チャネルが使用され得る。
【００５５】
１つの実施形態において、撮像システムは、検査システムである。例えば、本明細書に説明される光学および電子ビーム撮像システムは、検査システムとして構成され得る。この様式では、いくつかの実施形態において、２つ以上のエンコーダ層に入力される画像は、検査システムによって生成される。別の実施形態において、撮像システムは、欠陥レビューシステムである。例えば、本明細書に説明される光学および電子ビーム撮像システムは、欠陥レビューシステムとして構成され得る。さらなる実施形態において、撮像システムは、計測システムである。例えば、本明細書に説明される光学および電子ビーム撮像システムは、計測システムとして構成され得る。この様式では、いくつかの実施形態において、２つ以上のエンコーダ層に入力される画像は、計測システムによって生成される。具体的には、本明細書に説明され、図１および図１ａに示される撮像システムの実施形態は、それらが使用されることになる用途に応じて異なる撮像能力を提供するために１つ以上のパラメータが変更され得る。１つのそのような例において、図１に示される撮像システムは、それが検査ではなく欠陥レビューまたは計測に使用される場合には、より高い解像度を有するように構成され得る。言い換えると、図１および図１ａに示される撮像システムの実施形態は、異なる用途に多かれ少なかれ好適である異なる撮像能力を有する撮像システムを形成するために、当業者には明白であろういくつかの様式で調整することができる撮像システムのいくつかの一般的なおよび様々な構成を説明している。
【００５６】
１つ以上のコンピュータサブシステムは、本明細書に説明される撮像サブシステムによって生成された標本のための画像を取得するように構成され得る。画像を取得することは、本明細書に説明される撮像システムのうちの１つを使用して（例えば、標本に光または電子ビームを向け、標本から光または電子ビームを検出することによって）実施され得る。この様式では、画像を取得することは、物理的な標本自体および何らかの種類の撮像ハードウェアを使用して実施され得る。しかしながら、画像を取得することは、撮像ハードウェアを使用して標本を撮像することを必ずしも含まない。例えば、別のシステムおよび／または方法が、画像を生成し得、生成された画像を本明細書に説明されるような仮想検査システムなどの１つ以上の記憶媒体または本明細書に説明される別の記憶媒体に格納し得る。したがって、画像を取得することは、画像が格納されている記憶媒体から画像を取得することを含み得る。
【００５７】
コンピュータサブシステム、例えば、コンピュータサブシステム３６および／またはコンピュータサブシステム１０２によって実行される構成要素、例えば、図１に示される構成要素１００は、ニューラルネットワーク１０４を含む。ニューラルネットワークは、標本のための画像の特徴部を決定するように構成された２つ以上のエンコーダ層を含む。「エンコーダ」という用語は、一般に、入力データの情報内容をよりコンパクトな表現に「エンコードする」ニューラルネットワークまたはニューラルネットワークの部分を指す。エンコードプロセスは、効果的に不可逆または可逆であり得る。加えて、エンコードプロセスは、人間による解釈が可能な場合とそうでない場合がある。エンコードされた表現は、スカラ値のベクトルまたは分布であり得る。
【００５８】
ニューラルネットワークはまた、決定された特徴部から１つ以上のシミュレーション画像を生成するように構成された２つ以上のデコーダ層を含む。「デコーダ」という用語は、エンコードされたコンパクトな表現を、おそらくは元の入力および／またはその入力の結合表現に「デコードする」ニューラルネットワークまたはニューラルネットワークの部分を指す。本明細書に説明される実施形態は、概して、エンコーダ−デコーダタイプのニューラルネットワーク、特に、本明細書にさらに説明され得る深層生成的モデルに適用可能である。
【００５９】
１つの実施形態において、ニューラルネットワークは、深層学習モデルである。一般的に言えば、「深層学習」（深層構造学習、階層学習、または深層機械学習としても知られている）は、データにおける高次抽象化をモデリングすることを試みるアルゴリズムのセットに基づく機械学習の支流である。単純なケースでは、１つは入力信号を受信し１つは出力信号を送信する２つのニューロンのセットが存在し得る。入力層が入力を受信すると、入力層は、次の層に入力の修正されたバージョンを引き渡す。深層ネットワークでは、入力と出力との間に多くの層が存在し（また、層はニューロンでできていないが、層をそのように考えることを手助けすることができる）、複数の線形および非線形変換からなる複数の処理層をアルゴリズムが使用することを可能にする。
【００６０】
深層学習は、データの学習表現に基づく機械学習法の広範なグループの部分である。観察（例えば、画像）は、ピクセルあたりの強度値のベクトルなどの多くのやり方、またはエッジのセット、特定の形状の領域などのより抽象的なやり方で表すことができる。いくつかの表現は、学習タスク（例えば、顔認識または表情認識）を単純化することにおいて他の表現よりも優れている。深層学習の有望な点の１つは、人手による特徴量（ｈａｎｄｃｒａｆｔｅｄ  ｆｅａｔｕｒｅ）を教師なしまたは半教師ありの特徴部学習および階層特徴部抽出のための効率的なアルゴリズムで置き換えることである。
【００６１】
この分野における研究は、より優れた表現を作り、これらの表現を大規模のラベル化されていないデータから学習するモデルを作成することを試みている。表現の一部は、神経科学の進歩に触発されたものであり、様々な刺激と関連する脳内のニューロン反応との関係を規定することを試みる神経信号など、神経系における情報処理および通信パターンの解釈に大まかに基づいている。
【００６２】
深層ニューラルネットワーク、畳み込み深層ニューラルネットワーク、深層信念ネットワーク（ｄｅｅｐ  ｂｅｌｉｅｆ  ｎｅｔｗｏｒｋ）、および再帰型ニューラルネットワークなどの様々な深層学習アーキテクチャが、コンピュータビジョン、自動音声認識、自然言語処理、オーディオ認識、およびバイオインフォマティクスのような分野に適用されており、これらの分野において、深層学習アーキテクチャは、様々なタスクに対して最高水準の結果をもたらすことが示されている。
【００６３】
別の実施形態において、ニューラルネットワークは、機械学習のモデルである。機械学習は、概して、明示的にプログラミングされることなく学習する能力を持ったコンピュータを提供する一種の人工知能（ＡＩ）と定義することができる。機械学習は、新たなデータに露出されたときに独習して成長および変化することができるコンピュータプログラムの発展に焦点を合わせる。言い換えると、機械学習は、「明示的にプログラミングされることなく学習する能力をコンピュータに与える」コンピュータサイエンスの亜領域と定義することができる。機械学習は、データから学習することができ、かつデータに対して予測を行うことができるアルゴリズムの研究および構築を探究し、そのようなアルゴリズムは、サンプル入力からモデルを構築することを通して、データ駆動の予測または決定を行うことによる厳密に静的なプログラム命令に従うことを克服する。
【００６４】
本明細書に説明される機械学習は、「Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  Ｓｔａｔｉｓｔｉｃａｌ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ」、スギヤマ（Ｓｕｇｉｙａｍａ）、モーガン・カウフマン（Ｍｏｒｇａｎ  Ｋａｕｆｍａｎｎ）、２０１６、５３４  ｐａｇｅｓ、「Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ，  Ｇｅｎｅｒａｔｉｖｅ，  ａｎｄ  Ｉｍｉｔａｔｉｖｅ  Ｌｅａｒｎｉｎｇ」、ジェバラ（Ｊｅｂａｒａ）、ＭＩＴ  Ｔｈｅｓｉｓ、２００２、２１２  ｐａｇｅｓ、および「Ｐｒｉｎｃｉｐｌｅｓ  ｏｆ  Ｄａｔａ  Ｍｉｎｉｎｇ  （Ａｄａｐｔｉｖｅ  Ｃｏｍｐｕｔａｔｉｏｎ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）」、ハンド（Ｈａｎｄ）ら、ＭＩＴ  Ｐｒｅｓｓ、２００１、５７８  ｐａｇｅｓに説明されるようにさらに実施され得、これらは本明細書に完全に明記されるかのように引用により援用する。本明細書に説明される実施形態は、これらの参照文献において説明されるようにさらに構成され得る。
【００６５】
いくつかの実施形態において、ニューラルネットワークは、生成的モデルである。「生成的」モデルは、概して、事実上確率的であるモデルと定義することができる。言い換えると、「生成的」モデルは、フォワードシミュレーションまたはルールベースの手法を実施するものではなく、そのようなものとして、（シミュレーション画像が生成されている）実画像を生成することに関与するプロセスの物理のモデルが必要でない。代わりに、本明細書にさらに説明されるように、生成的モデルは、データの好適なトレーニングセットに基づいて学習され得る（そのパラメータが学習され得るという点で）。
【００６６】
１つの実施形態において、ニューラルネットワークは、深層生成的モデルとして構成されている。例えば、モデルがいくつかのアルゴリズムまたは変換を実施する複数の層を含み得るという点において、モデルは、深層学習アーキテクチャを有するように構成され得る。モデルの片側または両側の層の数は、本明細書に説明される図面に示されるものとは異なる場合がある。例えば、生成的モデルのエンコーダ側の層の数は、ユースケース依存である。加えて、デコーダ側の層の数は、ユースケース依存であり、エンコーダ側の層の数に依存し得る。一般に、生成的モデルの片側または両側の層の数は、重要ではなく、ユースケース依存である。実用的な目的のため、両サイドの層の好適な範囲は、２層から数十層である。
【００６７】
さらなる実施形態において、ニューラルネットワークは、深層ニューラルネットワークであり得、これは、それをトレーニングするために供給されているデータに従って世界をモデル化する重みのセットを有する。ニューラルネットワークは、概して、生物学的な脳が軸索によって繋がっている生物学的な神経の比較的大きなクラスタを用いて問題を解決するやり方を大まかにモデル化する比較的大きなニューラルユニット群に基づく計算手法と定義することができる。各ニューラルユニットは、多くの他のニューラルユニットと接続され、リンクは、接続されたニューラルユニットの活性化状態に対するそれらの効果において強制または抑制となり得る。これらのシステムは、自己学習であり、明示的にプログラムされるのではなくトレーニングされ、ソリューションまたは特徴部検出が従来のコンピュータプログラムでは表現することが難しいエリアにおいて勝っている。
【００６８】
ニューラルネットワークは、典型的には、複数の層からなり、信号パスは前から後ろへ縦走する。ニューラルネットワークの目的は、人間の脳が行うのと同じやり方で問題を解決することであるが、いくつかのニューラルネットワークは、もっと抽象的である。現代のニューラルネットワークプロジェクトは、典型的には、数千から数百万のニューラルユニットおよび何百万もの接続と連携する。ニューラルネットワークは、当該技術分野で知られている任意の好適なアーキテクチャおよび／または構成を有し得る。
【００６９】
別の実施形態において、ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）である。例えば、本明細書に説明される実施形態は、ＣＮＮなどの深層学習概念を利用して、通常解決困難な表現変換問題（例えばレンダリング）を解決することができる。モデルは、当該技術分野で知られている任意のＣＮＮ構成またはアーキテクチャを有し得る。別の実施形態において、ニューラルネットワークは、完全畳み込みモデルとして構成されている。追加の実施形態において、ニューラルネットワークは、深層生成的モデル、ＣＮＮ、生成的敵対的ネット（ＧＡＮ）、条件付き生成的敵対的ネット（ｃＧＡＮ）、ＧＡＮおよび変分オートエンコーダ（ＶＡＥ）、ならびに一部分としてＣＮＮを含むネットワーク（すなわちニューラルネットワークの一部分がＣＮＮとして構成されている）として構成され得、これらすべては、ニューラルネットワークが任意サイズの入力を有することができるように本明細書に説明されるように構成され得る。
【００７０】
本明細書に説明される実施形態に含まれるＧＡＮは、「Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｓ」、グッドフェロウ（Ｇｏｏｄｆｅｌｌｏｗ）ら、ａｒＸｉｖ：１４０６．２６６１、Ｊｕｎｅ  １０，２０１４、９  ｐａｇｅｓに説明されるように構成され得、これを本明細書に完全に明記されるかのように引用により援用する。グッドフェロウ（Ｇｏｏｄｆｅｌｌｏｗ）らは、敵対的プロセスを介して生成的モデルを予測するための新たなフレームワークについて説明し、ここでは、データ分布を捕捉する生成的モデルＧ、およびサンプルがＧではなくトレーニングデータから来た確率を予測する識別モデルＤの２つのモデルが同時にトレーニングされる。Ｇのトレーニング手順は、Ｄが誤る確率を最大限にすることである。このフレームワークは、ミニマックス２プレイヤーゲームに対応する。任意関数ＧおよびＤの空間においては、トレーニングデータ分布を回復するＧおよび至る所で２分の１に等しいＤにより、唯一の解が存在する。ＧおよびＤがマルチプレイヤーパーセプトロンによって規定される場合、システム全体を、バックプロパゲーションを用いてトレーニングすることができる。サンプルのトレーニングまたは生成のいずれかの最中にいかなるマルコフ連鎖または展開された近似的推論ネットワークも必要とされない。実験により、生成されたサンプルの定性的および定量的評価を通してこのフレームワークの可能性が実証されている。本明細書に説明される実施形態のニューラルネットワークは、グッドフェロウ（Ｇｏｏｄｆｅｌｌｏｗ）らによって説明されるようにさらに構成され得る。
【００７１】
本明細書に説明される実施形態に含まれるＣＧＡＮは、「Ｃｏｎｄｉｔｉｏｎａｌ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｓ」、ミルザ（Ｍｉｒｚａ）ら、ａｒＸｉｖ：１４１１．１７８４、Ｎｏｖｅｍｂｅｒ  ６，２０１４、７  ｐａｇｅｓに説明されるように構成され得、これを本明細書に完全に明記されるかのように引用により援用する。生成的敵対的ネットは、ジェネレータおよび識別子の両方に対していくつかの追加情報ｙという条件付けが行われる場合、条件付きモデルに拡張することができる。ｙは、他の様相からのクラスラベルまたはデータなどのあらゆる種類の補助情報であってもよい。条件付けは、ｙを追加の入力層として識別子およびジェネレータの両方に供給することによって実施され得る。ジェネレータ内では、前の入力ノイズｐｚ（ｚ）、およびｙが、結合隠し表現に組み合わされ、敵対的トレーニングフレームワークは、この隠し表現が組み立てられる方法におけるかなりの柔軟性を可能にする。識別子内では、ｘおよびｙは、識別関数への入力として提示される（いくつかの場合において多層パーセプトロン（ＭＬＰ）によって具現化される）。そのため２プレイヤーミニマックスゲームの目的関数は、以下のようになる。
【数１】
2019522897.tif 000003
【００７２】
本明細書に説明される実施形態に含まれるニューラルネットワークは、ミルザ（Ｍｉｒｚａ）らによる上に援用された参照文献に説明されるようにさらに構成され得る。
【００７３】
変分オートエンコーダは、深層学習および変分推論の長所を利用し、生成的モデリングに大幅な進歩をもたらす構成要素である。加えて、または代替的に、ＧＡＮまたは深層生成的敵対的ネットワーク（ＤＧＡＮ）と組み合わせた変分オートエンコーダ（ＶＡＥ）は、「Ａｄｖｅｒｓａｒｉａｌ  Ａｕｔｏｅｎｃｏｄｅｒｓ」、マッカーニー（Ｍａｋｈｚａｎｉ）ら、ａｒＸｉｖ：１５１１．０５６４４ｖ２、Ｍａｙ  ２５，２０１６、１６  ｐａｇｅｓに説明されるように構成され得、これを本明細書に完全に明記されるかのように引用により援用する。本明細書に説明される実施形態は、この参照文献において説明されるようにさらに構成されてもよい。
【００７４】
ニューラルネットワークは、全結合層を含まず、それにより２つ以上のエンコーダ層へ入力される画像のサイズに対する制約を除去する。例えば、現在使用される方法およびシステムにおいて行われ得るように全結合層を使用するのではなく、本明細書に説明されるニューラルネットワークは、全結合層を除去し、それを本明細書にさらに説明されるような１つ以上の畳み込み層で置き換え得る。全結合層を畳み込みで置き換えることによって、ニューラルネットワークは、入力画像サイズとは無関係になり、それはニューラルネットワークが、現在使用されるニューラルネットワークのように入力画像サイズに対する上限を有しないことを意味する。
【００７５】
全結合層を畳み込み層で置き換えることは、以下の条件下で行われ得る。全結合層が２次元（Ｎ，Ｄ）入力データを取ることを前提とし、ここでＮはバッチサイズ、およびＤは入力チャネルの数である。多くの場合、再形成層は、４次元入力（Ｎ，Ｃ，Ｈ，Ｗ）を、Ｄ＝Ｃ＊Ｈ＊Ｗを満足する２次元入力（Ｎ，Ｄ）に変換するために全結合層の前に実施され、ここでＣはチャネルの数であり、Ｈは高さであり、Ｗは幅である。全結合層がＯ個の出力チャネルを有する、すなわち全結合層からの出力データ次元が（Ｎ，Ｏ）であると仮定すると、再形成層および全結合層は、（Ｃ，Ｏ，Ｈ，Ｗ）のカーネルサイズでのＶＡＬＩＤパディングを有する畳み込み層で置き換えられ得、結果として生じるネットワークは、任意サイズの入力に対して正確な計算を行うことができる。
【００７６】
１つの実施形態において、１つ以上のコンピュータサブシステム、１つ以上の構成要素、およびニューラルネットワークは、２つ以上のエンコーダ層に入力される画像をクロッピングしない。別の実施形態において、１つ以上のコンピュータサブシステム、１つ以上の構成要素、およびニューラルネットワークは、２つ以上のクロッピングされた画像から１つ以上のシミュレーション画像を再構築しない。したがって、本明細書に説明される実施形態は、現在使用される方法とはいくつかの様々なやり方において異なる。
【００７７】
図２に示されるように、例えば、現在使用される方法２００は、１０２４ピクセル×１０２４ピクセルのサイズを有する入力画像２０２を利用し得る。本方法は、入力画像２０２からパッチ画像のセット２０６を生成するクロッピング２０４を含み得、ここではパッチ画像の各々は、入力画像より大幅に小さくかつ本方法によって処理することができる最大サイズであるサイズを有する。例えば、クロッピング２０４は、各々が６４ピクセル×６４ピクセルのサイズを有する９２３，５２１枚のパッチ画像のセット２０６を生成し得る。それらのパッチ画像は、エンコーダ２０８およびエンコーダへの入力に相当する結果のセットを形成し得るデコーダ２１０を含むニューラルネットワークに入力され得る。例えば、上に説明されるパッチ画像のセットがエンコーダ２０８に入力される場合、デコーダ２１０は、各々が６４ピクセル×６４ピクセルのサイズを有する９２３，５２１枚のパッチ画像を含むパッチ画像のセット２１２を形成する。本方法は次いで、入力画像と同じサイズ（すなわち１０２４ピクセル×１０２４ピクセル）を有する最終画像結果２１６を生成するためにパッチ画像のセットを使用する再構築ステップ２１４を含み得る。
【００７８】
対照的に、本明細書に説明される実施形態は、入力画像に対していかなるクロッピングも実施せず、および／または入力画像より大きい画像に対して実施されるいかなるクロッピングによっても入力画像を生成しない。言い換えると、一旦入力画像が本明細書に説明される方法およびシステムに入力されると、その入力画像はクロッピングされない。加えて、本明細書に説明される実施形態において使用される入力画像は、より大きい画像からクロッピングされるのではない。本明細書に説明される実施形態はまた、本明細書に説明される実施形態の要素のいずれかによって生成された任意のより小さい画像から最終画像のいかなる再構築も実施しない。例えば、図２に示されるように、１つの実施形態２１８は、エンコーダ２２２およびデコーダ２２４を含むニューラルネットワークへの入力として入力画像２２０を利用し得る。エンコーダ２２２は、本明細書に説明される実施形態のいずれかに従って構成され得る２つ以上のエンコーダ層を含み得る。加えて、デコーダ２２４は、本明細書に説明される実施形態のいずれかに従って構成され得る２つ以上のデコーダ層を含み得る。
【００７９】
１つの実施形態において、本明細書にさらに説明されるように、ニューラルネットワークは、完全畳み込みニューラルネットワークとして構成され得、それは、各層タイプが特定の入力サイズに対して仮定を有さず、ネットワーク全体がトレーニングおよび推論の両方について任意サイズの入力に対して動作することができる構成を指す。加えて、ニューラルネットワークは、境界減衰を実施するために本明細書にさらに説明されるように構成され得る。デコーダは、入力画像と同じ画像サイズを有するシミュレーション画像２２６を形成するように構成され得る。例えば、入力画像サイズが１０２４ピクセル×１０２４ピクセルである場合、出力画像サイズは、１０２４ピクセル×１０２４ピクセルである。したがって、現在使用される方法２００と実施形態２１８とを比較することによって示されるように、本明細書に説明される実施形態は、いかなるクロッピングおよび再構築ステップも実施しないように構成され得る。
【００８０】
１つの実施形態において、１つ以上のコンピュータサブシステムは、前から存在するニューラルネットワーク内の全結合層を畳み込み層のグループで置き換え、それによりニューラルネットワークを作成することによって、ニューラルネットワークを設定するように構成されている。例えば、本明細書に説明される実施形態は、「Ｆｕｌｌｙ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｔｗｏｒｋｓ  ｆｏｒ  ｓｅｍａｎｔｉｃ  ｓｅｇｍｅｎｔａｔｉｏｎ」、ロング（Ｌｏｎｇ）ら、ＣＶＰＲ２０１５、ｐｐ．３４３１−３４４０，２０１５に説明される一般概念に従って、ニューラルネットワークの全結合層を畳み込み層で置き換えて、入力サイズに依存しない全ニューラルネットワークを作り得、これを本明細書に完全に明記されるかのように引用により援用する。本明細書に説明される実施形態は、この参照文献において説明されるようにさらに構成されてもよい。
【００８１】
図３ａおよび図３ｂは、固定の入力サイズ（すなわち６４ピクセル×６４ピクセル）を有する現在使用されるエンコーダ−デコーダネットワークがどのように任意の入力サイズを可能にする完全畳み込みネットワークに変換され得るかを例証する。具体的には、図３ａは、６４ピクセル×６４ピクセルの固定の入力サイズを有する現在使用されるニューラルネットワークを示し、図３ｂは、本明細書に説明される手法により任意の入力サイズを可能にするニューラルネットワークの１つの実施形態を示す。図３ａおよび図３ｂにおいて、入力および出力次元は、数個のステージにおいて示され、各そのようなインスタンスにおいて、次元は（Ｃ，Ｈ，Ｗ）の形式を有し、ここでＣはチャネルの数であり、Ｈは入力または出力の高さであり、Ｗは入力または出力の幅である。
【００８２】
図３ａに示されるように、入力画像３００は、現在使用されるネットワークのエンコーダ部分３０２に入力され得る。入力画像の入力次元３００ｄは、（１，６４，６４）である。エンコーダ部分３０２は、畳み込み層およびプーリング層の２つのセット３０４および３０６、再形成層３１０、ならびに全結合層３１２を含む。入力画像は、畳み込み層およびプーリング層のセット３０４に入力され、セット３０４が、畳み込み層およびプーリング層のセット３０６に入力される出力３０４ｏ（ｃ１，３２，３２）を生成する。セット３０６の出力３０６ｏ（ｃ２，１６，１６）は、再形成層３１０に入力され、再形成層３１０が出力３１０ｏを生成し、出力３１０ｏは、全結合層３１２に入力され、全結合層３１２が、現在使用されるネットワークのデコーダ部分に出力される表現３１４（５１２）を生成する。
【００８３】
現在使用されるネットワークのデコーダ部分３１６は、全結合層３１８、再形成層３２０、ならびに畳み込み層およびアッププーリング層のセット３２２および３２４を含む。表現３１４は、全結合層３１８に入力され、全結合層３１８が出力３１８ｏ（ｃ３，１６，１６）を形成する。出力３１８ｏは、再形成層３２０に入力され、再形成層３２０が出力３２０ｏを形成し、出力３２０ｏは、畳み込み層およびアッププーリング層のセット３２２に入力され、セット３２２が出力３２２ｏ（ｃ４，３２，３２）を形成する。出力３２２ｏは、畳み込み層およびアッププーリング層のセット３２４に入力され、セット３２４が出力３２６を形成し、出力３２６は、出力次元３２６ｄ（１，６４，６４）を有し、かつニューラルネットワークの出力である。
【００８４】
対照的に、図３ｂに示されるように、入力画像３２８は、本明細書に説明される実施形態に従って構成されたニューラルネットワークのエンコーダ部分３３０に入力される。入力画像３２８は、（１，１０２４，１０２４）の入力次元３２８ｄを有する。エンコーダ部分３３０は、畳み込み層およびプーリング層のセット３３２および３３４、ならびに畳み込み層のセット３３６を含む。入力画像３２８は、畳み込み層およびプーリング層のセット３３２に入力され、セット３３２が出力３３２ｏ（ｃ１，５１２，５１２）を形成し、出力３３２ｏは、出力３３４ｏ（ｃ２，２５６，２５６）を形成する畳み込み層およびプーリング層のセット３３４に入力される。出力３３４ｏは、畳み込み層のセット３３６に入力され、セット３３６が表現３３８（５１２，２４１，２４１）を形成する。
【００８５】
表現３３８は、本ニューラルネットワーク実施形態のデコーダ部分３４０に入力される。デコーダ部分３４０は、畳み込み層のセット３４２、ならびに畳み込み層およびアッププーリング層のセット３４４および３４６を含む。表現３３８は、畳み込み層のセット３４２に入力され、セット３４２が出力３４２ｏ（ｃ３，２５６，２５６）を形成する。出力３４２ｏは、畳み込みおよびアッププーリング層のセット３４４に入力され、セット３４４が出力３４４ｏ（ｃ４，５１２，５１２）を形成する。出力３４４ｏは、畳み込みおよびアッププーリング層のセット３４６に入力され、セット３４６が出力３４８を形成し、出力３４８は、（１，１０２４，１０２４）の出力次元３４８ｄを有し、かつニューラルネットワークの出力である。
【００８６】
上に援用された参考文献においてロング（Ｌｏｎｇ）らにより説明される方法およびシステムとは違って、本明細書に説明されるような畳み込み層での全結合層の置き換えは、全結合層および畳み込み層の一対一のマッピングに限定されない。本明細書に説明される実施形態の文脈において、「一対一のマッピング」は、１つの全結合層（または１つの全結合層＋１つの再形成層）を１つの畳み込み層で置き換えることに関与する。しかしながら、そのような構成は、結果として生じる畳み込み層について、かなり大きいカーネルサイズをもたらし得る。例えば、（上と同じ表記に従って）再形成層への入力次元が（Ｎ，６４，３２，３２）である場合、再形成層の出力（すなわち全結合層への入力）は、（Ｎ，６４＊３２＊３２）であり、全結合層の出力が（Ｎ，２５６）であると仮定すると、再形成層および全結合層は、カーネルサイズ（６４，２５６，３２，３２）を有する畳み込み層で置き換えることができる。
【００８７】
カーネル（６４，２５６，３２，３２）内のＨおよびＷ（すなわち３２）は、実際的な選択（例えば、３または５または７または１０未満）と比較してかなり大きいため、学習プロセスは非効率であり得る。したがって、比較的大きいカーネルを有する畳み込み層は、比較的小さいカーネルを有する畳み込み層のグループによって近似され得る。例えば、上に提供された例では、（６４，２５６，３２，３２）は、（６４，Ｍ，３２，１）および（Ｍ，２５６，１，３２）で置き換えられ得、ここでＭはフリーハイパーパラメータである。
【００８８】
そのようなグループ置き換えは、畳み込み層のグループを適用することの出力次元が、カーネル（Ｃ，Ｏ，Ｈ，Ｗ）を有する元の畳み込み層を適用することの出力次元と同じであるように、要求され得る。畳み込み層のグループの共通選択は、（Ｃ，Ｏ，Ｈ，Ｗ）＝＝＞（Ｃ，Ｍ，Ｈ，ｋ）＋（Ｍ，Ｏ，ｋ，Ｗ）または（Ｃ，Ｍ，ｋ，Ｈ）＋（Ｍ，Ｏ，Ｗ，ｋ）であり得、ここでｋおよびＭはハイパーパラメータであり、ｋは多くの場合かなり小さく（例えば、１，２，３，…）、かつＨまたはＷよりもはるかに小さい。
【００８９】
全結合層のウィンドウサイズが半導体プロセス条件（例えば、リソグラフィツールおよび／もしくは光学検査ツールの点広がり関数、またはエッチングプロセスにおける化学的および物理的反応など）を考慮するために十分に大きいとき、全結合層は、本明細書に説明されるように畳み込み層のグループ（各々がより小さいフィルタウィンドウサイズ（ＨおよびＷにおいて）を有する）で置き換えられ得、グループ全体の効果的なウィンドウサイズは、全結合層におけるサイズと同一であるか、またはそれより大きい。本手法は、入力サイズ制約を取り除き、また、（トレーニングおよびランタイムの両方について）パラメータの総数を低減する。この様式では、本明細書に説明される実施形態は、畳み込み層のグループを使用して、モデルサイズを低減すると同時に半導体プロセスに起因するウィンドウサイズを満足し得る。
【００９０】
いくつかの実施形態において、２つ以上のエンコーダ層に入力される画像は、標本のために生成された全体フレーム画像である。「フレーム」画像という用語は、概して、ウェハまたはレチクルなどの標本の走査の最中に取得された一筋のデータまたは画像におけるダイの一部分についてのデータまたは画像と、本明細書では定義される。「フレーム」または「ジョブ」はまた、概して、システムによってユニットとしてまとめて処理され得る、撮像サブシステムによって生成された出力のすべてのうちの比較的小さい部分と定義され得る。したがって、出力の「フレーム」は、撮像サブシステム構成、ならびに撮像サブシステムによって生成された出力を取り扱うおよび／または処理するためにシステムに含まれる任意の構成要素の構成によって異なり得る。しかしながら、画像フレームは、概して、パッチ画像、および画像をシミュレートするために現在使用されるニューラルネットワークに典型的に入力され得る最大画像サイズよりも大幅に大きくなる。例えば、本明細書に説明される実施形態のための画像フレームは、１０２４ピクセル×１０２４ピクセルまたは５１２ピクセル×５１２ピクセルであり得るが、パッチ画像は、６４ピクセル×６４ピクセルまたは３２ピクセル×３２ピクセルの典型的サイズを有し得る。
【００９１】
別の実施形態において、２つ以上のエンコーダ層に入力される画像は、標本のための全体ダイ画像である。例えば、全体ダイ画像は、撮像システムによって標本上のダイのために生成された画像データまたは出力のすべてを含み得る。この様式では、現在使用されるニューラルネットワークとは違って、本明細書に説明される実施形態は、実際に全体フレームまたは全体ダイレンダリングを可能にする。具体的には、本明細書に説明される実施形態は、全結合層をニューラルネットワークのための畳み込み層で置き換え、それにより任意の画像サイズを可能にする。この様式では、本明細書に説明される実施形態は、ニューラルネットワークユースケースについて全体フレームおよびダイランタイム予測を可能にする。
【００９２】
したがって、本明細書に説明される実施形態は、シミュレーション画像を生成するための他の方法およびシステムに勝るいくつかの利点を有する。例えば、本明細書に説明される実施形態は、トレーニングおよびランタイムについて任意の入力サイズを可能にする。加えて、本明細書に説明される実施形態は、現在使用される方法およびシステムと比較して１００倍から１０００倍、ランタイム計算を大いに減少させる。したがって、本明細書に説明される実施形態は、現在使用される方法およびシステムと比較してランタイムハードウェアコストを減少させる。加えて、本実施形態は、全体フレームおよびダイ予測を可能にする。さらには、本明細書に説明される実施形態は、有利には、同じ動作ウィンドウサイズを保ちながらモデルサイズ（すなわち、モデルパラメータの数）を減少させる。この様式では、本明細書に説明される実施形態は、トレーニングプロセスにおける通信過負荷を減少させる。さらに、本明細書に説明される実施形態に相当するパフォーマンスを有する代替の方法はない。
【００９３】
本明細書に説明される実施形態は、ニューラルネットワークをトレーニングするように構成されている場合とそうでない場合とがある。例えば、別の方法および／またはシステムが、トレーニングされたニューラルネットワークを生成するように構成され得、その後このニューラルネットワークは、本明細書に説明される実施形態によってアクセスされかつ使用され得る。
【００９４】
１つの実施形態において、１つ以上のコンピュータサブシステムは、境界効果を変更するためにｆｏｖｙ減衰重み付け損失関数を使用してニューラルネットワークをトレーニングするように構成されている。例えば、エンコーダおよびデコーダトポロジならびにエンコーダおよびデコーダにおける畳み込みタイプ（例えば、ｖａｌｉｄ、ｆｕｌｌ、ｓａｍｅ）に応じて、出力の境界部に対して、ニューラルネットワークが比較的深く、トレーニング画像が比較的小さいときは特に、畳み込み層の境界効果に起因して、出力の中心部と比較して異なる数学演算が行われ得る。具体的には、畳み込み層は、ＶＡＬＩＤ、ＳＡＭＥ、およびＦＵＬＬの３つのパディングタイプを有する。入力画像サイズが（Ｈ，Ｗ）で畳み込みフィルタサイズが（ｈ，ｗ）の場合、（ａ）ＶＡＬＩＤからの出力サイズは（Ｈ−ｈ＋１，Ｗ−ｗ＋１）、（ｂ）ＳＡＭＥからの出力サイズは（Ｈ，ｗ）、および（ｃ）ＦＵＬＬからの出力サイズは（Ｈ＋ｈ−１，Ｗ＋ｗ−１）である。ＳＡＭＥまたはＦＵＬＬパディングが使用される場合、入力画像の境界部において、畳み込みフィルタは、画像の外側に置かれ、それは、入力画像の外側のピクセルをゼロ値と見なすことに相当する。これは、画像の境界における畳み込み結果が多くの場合代表的ではないことを意味し、アーチファクト結果は境界において明らかになり得る。
【００９５】
境界領域の寄与を取り除くために、ｆｏｖｙ減衰重み付け損失関数がトレーニングプロセス中に使用され得、ここで「ｆｏｖｙ」とは、ｙ方向における視野を指すために共通して使用される（ＯｐｅｎＧＬなどのグラフィックアプリケーションにおいて使用されるように）。例えば、完全畳み込みネットワークをＳＡＭＥまたはＦＵＬＬパディングを用いてトレーニングするとき、トレーニングは、境界ピクセルにおける結果を考慮し、これが学習プロセスにアーチファクトからの多くのノイズをもたらす。この問題に対処するため、ｆｏｖｙ減衰重み付け損失関数、例えば、３×３  ｆｏｖｙ
０．５，０．６，０．５
０．６，１．０，０．６
０．５，０．６，０．５
が導入され得、ここで中央領域は１．０に近いかまたはそれに等しい重みを有し、境界領域近くでは、その値は１．０未満である。ｆｏｖｙ減衰重み付け損失の動機は、学習プロセスに、比較的中央領域のピクセルに焦点を合わせさせることである。
【００９６】
減衰の形状は、エンコーダおよびデコーダトポロジならびに関連用途に応じて、円形、正方形、または長方形であり得る。加えて、ｆｏｖｙ減衰重みを生成する共通方式は、（１）固定の比較的小さい値を一定の境界線に、および１．０の左中央領域を割り当てること（２）正しく選択された平均値および標準偏差を伴う２Ｄガウスカーネル、ならびに（３）正しく選択された平均値および標準偏差を伴う２つの１Ｄガウスカーネルである。いくつかの用途では、このステップは省略されてもよい。この様式では、本明細書に説明される実施形態は、ｆｏｖｙ減衰重み付け損失関数を使用してトレーニングにおける望ましくない境界効果（または境界ノイズ）を取り除くことができる。
【００９７】
一般に、ニューラルネットワークをトレーニングすることは、データ（例えば、入力画像およびシミュレーション画像の両方であり、本明細書に説明される入力画像およびシミュレーション画像のいずれかを含み得るデータ）を取得することを含む。１つの実施形態において、１つ以上のコンピュータサブシステムは、各々が同じ任意サイズを有するトレーニング画像のバッチを使用してニューラルネットワークをトレーニングするように構成されている。追加の実施形態において、１つ以上のコンピュータサブシステムは、トレーニング画像のバッチを使用してニューラルネットワークをトレーニングするように構成され、バッチ内のトレーニング画像のうちの２つ以上は、異なる任意サイズを有する。この様式では、任意サイズの画像のバッチは、複数サイズの画像を含み得るか、または各バッチは、すべて同じ任意サイズの画像を含み得る。実際には、計算および実装の効率性のため、各バッチは、すべて同じ任意サイズの画像を含み得る。
【００９８】
ニューラルネットワークをトレーニングするために使用される画像は、入力画像と同じサイズを有する場合とそうでない場合とがある。例えば、入力画像は、ネットワークトポロジに起因して最小サイズ要件を有し得、それがハードウェア格納制限に合う限りは最小限のサイズ制限を有しない。最小サイズは、ネットワークトポロジによって決定され得、多くの場合、光学設定を反映するように選択される。実際には、パッチ画像は、多くの場合、最小サイズ要件よりも大きい。実際には、（１）パッチ画像に対してトレーニングして、パッチまたはフレーム画像に対して予測をするか、または（２）フレーム画像に対してトレーニングをして、パッチまたはフレーム画像に対して予測をすることができる。
【００９９】
いくつかのそのような実施形態において、任意サイズのトレーニング画像（それらの各々は、設計された最小限サイズ、すなわち図３ａに示される例においては６４ピクセル×６４ピクセル以上であり得る）のセットを前提として、トレーニングステップでは、画像のランダムバッチが選択される。トレーニングは、サブステップなしの１つのステップで実施され得る。加えて、トレーニングデータを準備するために必要とされる追加のステップは存在しない。理論上、任意サイズの画像のバッチが、トレーニングのために使用され得る。しかしながら、ハードウェア低水準命令を活用するために、固定サイズのパッチのバッチが、選択された画像からランダムにサンプリングされ得る。これらのサンプリングされたパッチ画像は、トレーニングステップのために使用され得る。パッチサイズは、トレーニングステップでは異なり得るが、一般的にはそれは事前に決められる。次いでランタイムにおいて、任意サイズのランタイム画像のセットを前提として、それらの各々が、クロッピングまたは再構築ステップなしに予測（すなわちシミュレーション画像）を生成するためにネットワークに供給され得る。
【０１００】
モデルをトレーニングすることは、２０１６年６月７日出願のチャン（Ｚｈａｎｇ）らによる米国特許出願第１５／１７６，１３９号、および２０１６年１２月２９日出願のバスカー（Ｂｈａｓｋａｒ）らによる同第１５／３９４，７９０号に説明されるようにさらに実施され得、これらを本明細書に完全に明記されるかのように引用により援用する。本明細書に説明される実施形態は、これらの特許出願に説明されるようにさらに構成されてもよい。
【０１０１】
エンコーダ層によって決定された特徴部は、当該技術分野において知られる任意の好適な特徴部を含み得、それは入力から推論することができ、本明細書にさらに説明される出力を生成するために使用される。例えば、特徴部は、ピクセルあたりの強度値のベクトルを含み得る。特徴部はまた、本明細書に説明される任意の他のタイプの特徴部、例えば、スカラ値のベクトル、独立分布のベクトル、同時分布、または当該技術分野において知られる任意の好適な特徴部タイプを含み得る。
【０１０２】
上記のニューラルネットワークの層の各々は、重みＷおよびバイアスＢなどの１つ以上のパラメータを有し得、それらの値は、ニューラルネットワークをトレーニングすることによって決定することができ、このトレーニングは本明細書にさらに説明されるように実施され得る。例えば、ニューラルネットワークに含まれる任意の層の重みおよびバイアスは、費用関数を最小限にすることによってトレーニング中に決定され得る。費用関数は、画像に対して実施されている変換によって異なり得る。
【０１０３】
本明細書に説明されるニューラルネットワークは、特定の標本（例えば、特定のウェハまたはレチクル）、プロセス、および撮像パラメータのために生成され得る。言い換えると、本明細書に説明されるニューラルネットワークは、標本特有、プロセス特有、および撮像パラメータ特有であり得る。例えば、１つの実施形態において、各ニューラルネットワークは、特定の設計およびウェハ層に特有であるようにトレーニングされ得る。次いで、トレーニングされたニューラルネットワークは、その層の予測を実施するためだけに使用されることになる。この様式では、異なるウェハ層に対しては異なるニューラルネットワークが生成され得る。しかしながら、別の実施形態において、単一のニューラルネットワークが、異なる設計およびウェハタイプ層からのデータを用いてトレーニングされ得る。結果として生じるニューラルネットワークは、トレーニングデータに含まれるすべてのタイプの標本のために概して予測を実施するために使用され得る。加えて、異なるニューラルネットワークが、入力画像を生成するために使用される撮像パラメータの異なるセット（例えば、異なる撮像モード）に対して、およびおそらくは、変換が実施されるシミュレーション画像の撮像パラメータの異なるセット（例えば、異なる撮像モード）に対して（例えば、異なる撮像モードに対応する複数のシミュレーション画像を生成する場合）生成され得る。一般に、ニューラルネットワークは、選択された撮像モードがツールにわたって繰り返し可能である限りはツールとは無関係であり得る。異なるニューラルネットワークの各々は、異なるトレーニングデータセットを用いて生成され得る。異なるトレーニングデータセットの各々は、任意の好適な様式で生成され得る。
【０１０４】
本明細書に説明される実施形態は、いくつかの異なるタイプの変換（すなわち入力画像を１つ以上のシミュレーション画像に変換すること）を実施するように構成され得る。例えば、いくつかの実施形態において、ニューラルネットワークは、低解像度入力画像から１つ以上の高解像度画像を生成するように構成され得る。標本の「低解像度画像」という用語は、本明細書で使用される場合、概して、画像が生成された標本の領域内に形成されるパターン化特徴部のすべてが画像内に解像されない画像と定義される。例えば、低解像度画像が生成された標本の領域内のパターン化特徴部は、それらのサイズがそれらを解像可能にするのに十分に大きい場合に低解像度画像内に解像され得る。しかしながら、低解像度画像は、画像内のすべてのパターン化特徴部を解像可能にする解像度で生成されない。この様式では、「低解像度画像」は、その用語が本明細書で使用される場合、欠陥分類および／または検証を含み得る欠陥レビューならびに計測などの用途に使用されるべき低解像度画像に十分である標本上のパターン化特徴部に関する情報を含まない。加えて、「低解像度画像」は、その用語が本明細書で使用される場合、概して、典型的には、比較的高速のスループットを有するために比較的より低い（例えば、欠陥レビューおよび／または計測システムよりも低い）解像度を有する、検査システムによって生成された画像を指す。
【０１０５】
「低解像度画像」はまた、それらが本明細書に説明される「高解像度画像」よりも低い解像度を有するという点で「低解像度」であり得る。「高解像度画像」は、その用語が本明細書で使用される場合、概して、標本のすべてのパターン化特徴部が比較的高い精度で解像される画像と定義され得る。この様式では、高解像度画像が生成される標本の領域内のパターン化特徴部のすべてが、それらのサイズにかかわらず高解像度画像内に解像される。そのようなものとして、「高解像度画像」は、その用語が本明細書で使用される場合、欠陥分類および／または検証を含み得る欠陥レビューならびに計測などの用途に使用されるべき高解像度画像に十分である標本のパターン化特徴部に関する情報を含む。加えて、「高解像度画像」は、その用語が本明細書で使用される場合、概して、増大されたスループットのために解像能力を犠牲にするように構成されているルーチン動作中の検査システムによって作成することができない画像を指す。
【０１０６】
低解像度画像はまた、例えば、標本の光学画像を含み得、高解像度画像は、標本のための電子ビーム画像（例えば、走査電子顕微鏡（ＳＥＭ）画像）または設計データを含み得る。加えて、本明細書にさらに説明されるように、標本のための高解像度画像は、本明細書に説明されるように構成されたニューラルネットワークを用いて生成され得る。したがって、本明細書にさらに説明されるように、本実施形態は、深層学習技術を使用して光学からＳＥＭおよび／または設計へのデータ変換を実施するように構成され得る。
【０１０７】
本明細書に説明される実施形態は、１つ以上のシミュレーション画像を、おそらくは入力画像と組み合わせて使用して、いくつかの異なる機能を実施するように構成され得る。例えば、１つ以上のコンピュータサブシステムは、（ａ）光学、電子ビーム、およびマスクツール上のＩＣ構造の表現学習、（ｂ）欠陥検出および分類、ならびに（ｃ）全体フレームまたはダイ検査のために構成され得る。これらの機能の各々は、本明細書にさらに説明されるように実施されてもよい。
【０１０８】
１つの実施形態において、１つ以上のコンピュータサブシステムは、２つ以上のエンコーダ層に入力される画像または１つ以上のシミュレーション画像内で検出された欠陥を分類するように構成されており、分類は、１つ以上のシミュレーション画像に基づいて実施される。例えば、ニューラルネットワークへの入力画像は、標本の光学画像であり得、ニューラルネットワークによって生成された１つ以上のシミュレーション画像は、電子ビーム撮像サブシステムによって生成され得る画像および／または標本のための設計データもしくは設計情報の画像などの標本の高解像度画像を含み得る。
【０１０９】
光学画像からＳＥＭおよび／または設計への変換の１つの利益は、光学検査が依然として、半導体製造プロセスにおける大量生産歩留りのための鍵であるということである。解像度の欠如に起因して、光学インスペクタによって検出される欠陥は、欠陥分類のためにＳＥＭレビューを必要とする。光学をＳＥＭおよび／または設計に自動的に変換する方法は、潜在的には、歩留り管理のためのＳＥＭレビュー要件を低減し、それにより合計検査サイクル時間を減少させることができる。例えば、本明細書に説明される実施形態は、本明細書に説明されるシミュレーション画像が１）標本なしおよび撮像ハードウェアなしで取得され得、２）欠陥分類などの欠陥レビュー用途のために使用され得ることから、標本検査後に欠陥レビューシステム上でＳＥＭ画像を取得する必要性を除去することができる。
【０１１０】
ニューラルネットワークによって分類される欠陥は、本明細書に説明される入力画像および／または１つ以上のシミュレーション画像内で検出され得る。加えて、１つ以上のシミュレーション画像に基づいて欠陥を分類することは、当該技術分野で知られている任意の好適な様式で実施され得る。例えば、１つ以上のシミュレーション画像は、当該技術分野で知られている任意の好適な欠陥分類方法および／またはアルゴリズムへの入力として使用され得る。言い換えると、１つ以上のシミュレーション画像は、欠陥分類のための任意の他の画像として使用され得る。本明細書に説明される実施形態によって実施される欠陥分類の結果は、任意の好適な形式（例えば、欠陥分類コードなど）を有し得る。
【０１１１】
さらなる実施形態において、１つ以上のコンピュータサブシステムは、１つ以上のシミュレーション画像に基づいて標本上の欠陥を検出するように構成されている。コンピュータサブシステムは、１つ以上のシミュレーション画像を使用して任意の好適な様式で標本上の欠陥を検出するように構成され得る。例えば、コンピュータサブシステムは、１つ以上の欠陥検出アルゴリズムおよび／または方法を１つ以上のシミュレーション画像に適用するように構成され得、それは当該技術分野で知られている任意の好適な欠陥検出アルゴリズムおよび／または方法を含み得る。１つのそのような例において、コンピュータサブシステムは、１つ以上のシミュレーション画像を標本のための基準と比較し、次いでその比較の結果にしきい値を適用するように構成され得る。しきい値を上回る比較の結果を有するシミュレーション画像内のピクセルは、欠陥として識別され得る一方、しきい値を下回る比較の結果を有するシミュレーション画像内のピクセルは、欠陥として識別され得ない。
【０１１２】
別の例において、コンピュータサブシステムは、２０１６年１１月１６日出願のカーセンティ（Ｋａｒｓｅｎｔｉ）らによる米国特許出願第１５／３５３，２１０号に説明されるように、単一の画像検出のために構成され得、これを本明細書に完全に明記されるかのように引用により援用する。１つのそのような実施形態において、この特許出願に説明されるように、ニューラルネットワークによって入力画像のために決定された特徴部は、入力画像内の欠陥を検出するために使用され得る。例えば、コンピュータサブシステムは、入力画像内のピクセルまたはピクセルのブロックのためのラベルを、（１）決定された特徴部、および（２）入力特徴部マップボリュームのピクセルまたはピクセルのブロックの、ラベルへのマッピングに基づいて選択するように構成され得る。コンピュータサブシステムは、ピクセルまたはブロックのための選択されたラベルに基づいて標本上の欠陥を検出するようにさらに構成され得る。
【０１１３】
加えて、コンピュータサブシステムは、ニューラルネットワークによって生成される１つ以上のシミュレーション画像と組み合わせてニューラルネットワークへ入力される画像を使用して、標本上の欠陥を検出するように構成され得る。例えば、入力画像が低解像度画像でありかつ１つ以上のシミュレーション画像が高解像度画像を含む場合、低解像度画像内で検出された欠陥の位置は、欠陥の設計コンテキストを決定するために高解像度画像内で識別され得、次いでそれを、欠陥が不快な欠陥または実欠陥であるかどうかを決定するために使用することができる。加えて、低解像度画像内で検出された欠陥の位置は、高解像度画像内のその欠陥の位置を識別して、その欠陥が高解像度画像内に存在する（検出され得る）かどうかを決定するために使用され得る。高解像度画像内でその欠陥を検出することができる場合、それは実欠陥と指定される。高解像度画像内でその欠陥を検出することができない場合、それは有害な欠陥と指定される。
【０１１４】
追加の実施形態において、１つ以上のコンピュータサブシステムは、標本の１つ以上の特徴部、または１つ以上のシミュレーション画像に基づいて標本上で検出された欠陥を測定するように構成されている。例えば、ニューラルネットワークは、ニューラルネットワークによって生成された１つ以上のシミュレーション画像が、低解像度画像である入力画像から生成された高解像度画像であるように構成され得る。したがって、高解像度画像は、標本上に形成された特徴部（例えば、線、空間、接点などのパターン化特徴部、ならびに標本上の欠陥）に関して入力画像よりも詳細を含み得る。次いで、コンピュータサブシステムがこれらの高解像度画像を使用して、標本上の特徴部のうちの１つ以上の特徴を測定または決定し得る。
【０１１５】
特徴部の１つ以上の特徴は、任意の好適な様式で決定され得る。加えて、コンピュータサブシステムによって決定または測定される特徴部の１つ以上の特徴は、寸法（例えば、線幅、接点直径など）、形状、相対的位置などの任意の好適な特徴を含み得る。測定は、２０１６年４月２８日公開のダフィー（Ｄｕｆｆｙ）らによる米国特許出願公開第２０１６／０１１６４２０号、２０１６年１２月２２日公開のパーク（Ｐａｒｋ）らによる同第２０１６／０３７２３０３号、および２０１６年１２月２９日公開のグプタ（Ｇｕｐｔａ）らによる同第２０１６／０３７７４２５号に説明されるように、コンピュータサブシステムによってシミュレーション画像上で実施され得、これらを本明細書に完全に明記されるかのように引用により援用する。本明細書に説明される実施形態は、これらの刊行物に説明されるようにさらに構成されてもよい。
【０１１６】
いくつかの実施形態において、１つ以上のコンピュータサブシステムは、１つ以上のシミュレーション画像を２つ以上のエンコーダ層に入力される画像と実質的に同じにレンダリングする特徴部の値を決定することによって、標本上の１つ以上の構造の表現を学習するように構成されている。この表現は、入力画像について決定される特徴部のすべてによって規定され得る。この表現は、入力画像に実質的に相当する１つ以上のシミュレーション画像を生成することを試みることによって学習され得る。例えば、入力画像は、２つ以上のエンコーダ層へ入力され得、ニューラルネットワークは、１つ以上のシミュレーション画像を生成し得る。１つ以上のシミュレーション画像と入力画像との間の差が決定され、それらの差に関する情報は、ニューラルネットワークの１つ以上のパラメータ（本明細書にさらに説明されるものなど）を変更するために使用され得る。変更されたパラメータを有するニューラルネットワークは、１つ以上のシミュレーション画像が入力画像と実質的に一致する（すなわち１つ以上のシミュレーション画像と入力画像との差が効果的に最小限にされている）までこのプロセスを反復的に繰り返すために使用され得る。そのような学習プロセスは、２０１６年６月７日出願のチャン（Ｚｈａｎｇ）らによる米国特許出願第１５／１７６，１３９号に記載されるようにさらに実施され得、これを本明細書に完全に明記されるかのように引用により援用する。本明細書に説明される実施形態は、この特許出願に説明されるようにさらに構成されてもよい。
【０１１７】
本明細書に説明される実施形態は、同一権利者による２０１６年６月７日出願のチャン（Ｚｈａｎｇ）らによる米国特許出願第１５／１７６，１３９号、２０１６年１１月１６日出願のカーセンティ（Ｋａｒｓｅｎｔｉ）らによる同第１５／３５３，２１０号、２０１６年１２月２９日出願のバスカー（Ｂｈａｓｋａｒ）らによる同第１５／３９４，７９０号、２０１６年１２月２９日出願のバスカー（Ｂｈａｓｋａｒ）らによる同第１５／３９４，７９２号、２０１７年１月２日出願のチャン（Ｚｈａｎｇ）らによる同第１５／３９６，８００号、２０１７年１月９日出願のバスカー（Ｂｈａｓｋａｒ）らによる同第１５／４０２，０９４号、２０１７年１月９日出願のバスカー（Ｂｈａｓｋａｒ）らによる同第１５／４０２，１６９号、および２０１７年１月９日出願のパーク（Ｐａｒｋ）らによる同第１５／４０２，１９７号に説明されるものなど、（入力画像からシミュレーション画像への）他の変換を実施するようにさらに構成され得、これらを本明細書に完全に明記されるかのように引用により援用する。本明細書に説明される実施形態は、これらの特許出願に説明されるようにさらに構成されてもよい。加えて、本明細書に説明される実施形態は、これらの特許出願に説明される任意のステップを実施するように構成されてもよい。
【０１１８】
入力画像からシミュレーション画像を生成するように構成されたシステムの別の実施形態は、標本の画像を生成するように構成された撮像サブシステムを含む。撮像サブシステムは、本明細書に説明される任意の構成を有し得る。本システムはまた、本明細書にさらに説明されるように構成され得る１つ以上のコンピュータサブシステム、例えば、図１に示されるコンピュータサブシステム１０２と、本明細書に説明される構成要素のうちのいずれかを含み得る、１つ以上のコンピュータサブシステムによって実行される１つ以上の構成要素、例えば、構成要素１００とを含む。構成要素は、本明細書に説明されるように構成され得るニューラルネットワーク、例えば、ニューラルネットワーク１０４を含む。例えば、ニューラルネットワークは、画像の特徴部を決定するように構成された２つ以上のエンコーダ層と、決定された特徴部から１つ以上のシミュレーション画像を生成するように構成された２つ以上のデコーダ層とを含む。ニューラルネットワークは、全結合層を含まず、それにより２つ以上のエンコーダ層へ入力される画像のサイズに対する制約を除去する。ニューラルネットワークは、本明細書に説明されるようにさらに構成されてもよい。このシステム実施形態は、本明細書に説明されるようにさらに構成されてもよい。
【０１１９】
上記のシステムの各々の実施形態の各々は、１つの単一実施形態にまとめられてもよい。
【０１２０】
別の実施形態は、入力画像からシミュレーション画像を生成するためのコンピュータ実装の方法に関する。本方法は、標本のための画像を取得することを含む。本方法はまた、画像をニューラルネットワークの２つ以上のエンコーダ層に入力することによって標本のための画像の特徴部を決定することを含む。加えて、本方法は、決定された特徴部から１つ以上のシミュレーション画像を生成することを含む。１つ以上のシミュレーション画像を生成することは、ニューラルネットワークの２つ以上のデコーダ層によって実施される。これら取得すること、決定すること、および生成することは、１つ以上のコンピュータシステムによって実施される。１つ以上の構成要素は、１つ以上のコンピュータシステムによって実行され、１つ以上の構成要素は、ニューラルネットワークを含む。
【０１２１】
本方法のステップの各々は、本明細書にさらに説明されるように実施されてもよい。本方法はまた、本明細書に説明されるシステム、コンピュータサブシステム、および／または撮像システムもしくはサブシステムによって実施され得る任意の他のステップを含んでもよい。１つ以上のコンピュータシステム、１つ以上の構成要素、およびニューラルネットワークは、本明細書に説明される実施形態、例えば、コンピュータサブシステム１０２、構成要素１００、およびニューラルネットワーク１０４のいずれかに従って構成されてもよい。加えて、上記の方法は、本明細書に説明されるシステム実施形態のいずれかによって実施され得る。
【０１２２】
追加の実施形態は、入力画像からシミュレーション画像を生成するためのコンピュータ実装の方法を実施するための１つ以上のコンピュータシステムに対して実行可能なプログラム命令を格納する非一時的なコンピュータ可読媒体に関する。１つのそのような実施形態は、図４に示される。具体的には、図４に示されるように、非一時的なコンピュータ可読媒体４００は、コンピュータシステム４０４に対して実行可能なプログラム命令４０２を含む。コンピュータ実装の方法は、本明細書に説明される任意の方法の任意のステップを含んでもよい。
【０１２３】
本明細書に説明されるものなどの方法を実装するプログラム命令４０２は、コンピュータ可読媒体４００に格納され得る。コンピュータ可読媒体は、磁気もしくは光学ディスク、磁気テープ、または当該技術分野で知られている任意の好適な非一時的なコンピュータ可読媒体などの記憶媒体であり得る。
【０１２４】
プログラム命令は、中でも手順ベース技術、構成要素ベース技術、および／またはオブジェクト指向技術など、様々なやり方のいずれかで実装され得る。例えば、プログラム命令は、要望に応じて、ＡｃｔｉｖｅＸコントロール、Ｃ＋＋オブジェクト、Ｊａｖａ（登録商標）Ｂｅａｎｓ、Ｍｉｃｒｏｓｏｆｔ  Ｆｏｕｎｄａｔｉｏｎ  Ｃｌａｓｓｅｓ（「ＭＦＣ」）、ＳＳＥ（Ｓｔｒｅａｍｉｎｇ  ＳＩＭＤ  Ｅｘｔｅｎｓｉｏｎ）、または他の技術または方法論を使用して実装され得る。
【０１２５】
コンピュータシステム４０４は、本明細書に説明される実施形態のいずれかに従って構成され得る。
【０１２６】
本発明の様々な態様のさらなる修正形態および代替実施形態は、本説明を考慮して当業者には明らかであるものとする。例えば、入力画像からシミュレーション画像を生成するための方法およびシステムが提供される。したがって、本説明は、例証的のみであると解釈されるべきであり、本発明を実行する一般的様式を当業者に教示するということを目的としている。本明細書に示されるおよび説明される本発明の形態は、現在好ましい実施形態として見られることが理解されるべきである。要素および材料は、本明細書に例証され説明されるものに取って代わることができ、部分およびプロセスは逆にすることができ、本発明の特定の特徴は、独立して利用することができ、すべては本発明の本説明の利益を有した後には当業者にとって明白であるものとする。以下の特許請求の範囲に説明されるような本発明の趣旨および範囲から逸脱することなく、本明細書に説明される要素に対して変更がなされてもよい。
【図１】
2019522897.tif 000004
【図１ａ】
2019522897.tif 000005
【図２】
2019522897.tif 000006
【図３ａ】
2019522897.tif 000007
【図３ｂ】
2019522897.tif 000008
【図４】
2019522897.tif 000009
【国際調査報告】
2019522897.tif 000010
2019522897.tif 000011