(57)【要約】【課題】本発明は、試料の数十μｍ3程度の比較的広範囲の構造であっても高い分解能で３次元構造を取得できる方法及びシステム並びに装置を提供する。【解決手段】超解像化処理を用いて試料の３次元像を生成する方法であって、試料の像であり、互いに異なる複数の第１画像を準備するステップＡと、２以上の第１画像を用いて、機械学習により、試料の像であっていずれの第１画像とも異なる第２画像を算出するステップＢと、を有する。【選択図】図１
2018189428.tif 000002
【特許請求の範囲】
【請求項１】
超解像化処理を用いて試料の３次元像を生成する方法であって、
前記試料の像であり、互いに異なる複数の第１画像を準備するステップＡと、
２以上の前記第１画像を用いて、機械学習により、前記試料の像であっていずれの前記第１画像とも異なる第２画像を算出するステップＢと、を有することを特徴とする３次元像生成方法。
【請求項２】
前記ステップＡは、一の第１画像の像データを、ｘ−ｙ面方向に配列されている複数の第１エレメントからなる一の第１エレメント群に格納するステップと、前記一の第１画像とはｚ方向に離間している他の第１画像の像データを、ｘ−ｙ面方向に配列されている複数の第１エレメントからなる他の第１エレメント群に格納するステップを含み、
前記ステップＢは、前記第２画像の像データを、前記一の第１エレメント群と、前記他の第１エレメント群との間に配置されている複数の第２エレメントからなる第２エレメント群のうち、ｙ−ｚ面またはｚ−ｘ面に属する第２エレメントに格納するステップを含むものである請求項１に記載の３次元像生成方法。
【請求項３】
前記ステップＢにおいて、２以上の前記第２画像を算出し、
一の前記第２画像の像データを、前記第２エレメント群のうち、ｙ−ｚ面に属する第２エレメントに格納し、
他の前記第２画像の像データを、前記第２エレメント群のうち、ｚ−ｘ面に属する第２エレメントに格納する請求項２に記載の３次元像生成方法。
【請求項４】
前記ステップＡにおいて、前記第１画像が、集束イオンビーム加工観察装置（ＦＩＢ−ＳＥＭ）から得た像である請求項２または３に記載の３次元像生成方法。
【請求項５】
前記試料の量子ビームによる散乱パターンである第１散乱データと、前記ステップＡにおいて前記第１エレメント群から構成される３次元の像データで示される仮想試料の仮想量子ビームによる散乱パターンである第２散乱データを準備するステップＣをさらに有し、
前記ステップＡにおいて、複数の前記第１エレメント群をｚ方向に重ねるときに、確率的探索手法により、前記第１エレメント群のｘ方向及びｙ方向の相対位置を変えて、前記第２散乱データを前記第１散乱データに近づける請求項２〜４のいずれか一項に記載の３次元像生成方法。
【請求項６】
前記ステップＡと前記ステップＢの少なくともいずれか一方の後、前記試料の量子ビームによる散乱パターンである第１散乱データと、前記ステップＡを経て得た、少なくとも前記第１エレメント群から構成される３次元の像データの周囲に複数の第３エレメントが配置された仮想試料の仮想量子ビームによる散乱パターンである散乱データを準備し、確率的探索手法により、前記散乱データが前記第１散乱データに近づくように前記第３エレメントの像データを算出するステップをさらに有する請求項２〜５のいずれか一項に記載の３次元像生成方法。
【請求項７】
前記ステップＢの後、前記試料の量子ビームによる散乱パターンである第１散乱データと、前記ステップＢを経て得た、前記第１エレメント群と前記第２エレメント群から構成される３次元の像データの周囲に複数の第３エレメントが配置された仮想試料の仮想量子ビームによる散乱パターンである散乱データを準備し、確率的探索手法により、前記散乱データが前記第１散乱データに近づくように前記第３エレメントの像データを算出するステップをさらに有する請求項２〜５のいずれか一項に記載の３次元像生成方法。
【請求項８】
前記ステップＢの後、前記ステップＢを経て得た、前記第１エレメント群と前記第２エレメント群から構成される３次元の像データと、前記試料の量子ビームによる散乱パターンである前記第１散乱データに基づき、確率的探索手法により、前記ステップＢを経て得た前記３次元の像データにおける前記第１エレメントと前記第２エレメントの像データの少なくともいずれか一方を補正するステップをさらに有する請求項２〜７のいずれか一項に記載の３次元像生成方法。
【請求項９】
前記ステップＢにおいて、前記機械学習には多層ニューラルネットワークを用いる請求項１〜８のいずれか一項に記載の３次元像生成方法。
【請求項１０】
前記多層ニューラルネットワークが畳み込みニューラルネットワークである請求項９に記載の３次元像生成方法。
【請求項１１】
超解像化処理を用いて試料の３次元像を生成するシステムであって、
前記試料の像であり、互いに異なる複数の第１画像を格納する準備部と、
２以上の前記第１画像を用いて、機械学習により、前記試料の像であっていずれの前記第１画像とも異なる第２画像を算出する算出部と、を有することを特徴とする３次元像生成システム。
【請求項１２】
請求項１１に記載の３次元像生成システムと、
前記第１画像を取得する計測装置と、を有する３次元像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主にソフトマテリアルを含む試料や生物試料の構造を示す３次元像を生成する方法に関する。
【背景技術】
【０００２】
近年、高分子、ゲル、ゴム、コロイド、液晶、ミセル等の柔らかい材料（いわゆるソフトマテリアル）や、ソフトマテリアルの一つである高分子材料と無機材料をハイブリッド化したナノコンポジット材料の開発が著しい。ソフトマテリアルやナノコンポジット材料は様々な分野、例えば、自動車、宇宙、航空機、家電、コンピュータ、携帯電話、衣料、医療、土木建築、包装等の分野で欠かせない材料となっている。特にナノコンポジット材料は、熱伝導性、電気特性、接着性、電磁特性、光学特性等を制御する様々な分野で応用され、相分離構造や高分子の分子設計、無機フィラーの改良等による性能向上が模索されている。ソフトマテリアルにはナノメートルオーダーからミクロンオーダーに渡る広いサイズ領域の３次元的な階層構造が存在し、材料の諸特性はこの階層構造に左右される。しかし、ナノメートルオーダーからミクロンオーダーまでシームレスに１ｎｍ程度の分解能で観察可能な手法が存在しておらず、材料の全容を捉えきれていないため、経験的な材料開発は限界に達しつつある。
【０００３】
ソフトマテリアルやナノコンポジット材料の構造を観察する方法として、例えば、特許文献１、非特許文献１には、集束イオンビーム（ＦＩＢ）加工装置を用いて試料の観察面を形成しながら、試料の断面のＳＥＭ像を取得する集束イオンビーム加工観察装置（Focused Ion Beam Scanning Electron Microscope：ＦＩＢ−ＳＥＭ）が記載されている。イオンビームとしては一般にＧａイオンが用いられる。
【０００４】
また、特許文献２、非特許文献２には、透過型電子顕微鏡（ＴＥＭ）を用いて取得した画像からトモグラフィー法により３次元構造を再構築する３次元透過型電子顕微鏡（Three Dimensional Transmission Electron Microscope：３Ｄ−ＴＥＭ）が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−１０９２６３号公報
【特許文献２】特開２０１２−１４９８９０号公報
【非特許文献】
【０００６】
【非特許文献１】M. Kato、T. Ito、Y. Aoyama、K. Sawa、T. Kaneko、N. Kawase、H. Jinnai、「Three-Dimensional Structural Analysis of a Block Copolymer by Scanning Electron Microscopy Combined with a Focused Ion Beam」、Journal of Polymer Science：Part B：Polymer Physics、2007年、第45巻、第6号、p. 677-683
【非特許文献２】H. Jinnai、R. J. Spontak、T. Nishi、「Transmission Electron Microtomography and Polymer Nanostructurers」、Macromolecules、American Chemical Society、2010年、第43巻、第4号、p. 1675-1688
【非特許文献３】Christian Ledig、Lucas Theis、Ferenc Huszar、Jose Caballero、Andrew Cunningham、Alejandro Acosta、Andrew Aitken、Alykhan Tejani、Johannes Totz、Zehan Wang、Wenzhe Shi、「Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network」、インターネット＜https://arxiv.org/pdf/1609.04802v4.pdf＞、平成２９年４月１９日検索
【非特許文献４】Jiwon Kim、Jung Kwon Lee、Kyoung Mu Lee、「Deeply-Recursive Convolutional Network for Image Super-Resolution」、Computer Vision and Pattern Recognition、2016年、p. 1637-1645
【非特許文献５】Wenzhe Shi1、Jose Caballero1、Ferenc Huszar、Johannes Totz1、Andrew P. Aitken、Rob Bishop、Daniel Rueckert、Zehan Wang、「Real-Time Single Image and Video Super-Resolution Using an EfficientSub-Pixel Convolutional Neural Network」、Computer Vision and Pattern Recognition、2016年、p. 1874-1883
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１、非特許文献１に示すようなＦＩＢ−ＳＥＭの場合、イオンビームによる試料表面の掘削が１０〜２０ｎｍの間隔でしか行えないため試料掘削方向の分解能が悪い。このため、観察された積層画像データ間の構造を捉えることができず、例えばナノコンポジット材料の場合にはフィラー間距離等の重要な情報が失われてしまう。
他方、特許文献２、非特許文献２に示すような３Ｄ−ＴＥＭは１ｎｍを下回る高い分解能を有しているが、観察可能な試料の厚みが数百ｎｍ以下に制限される。
【０００８】
また、現状、ＦＩＢ−ＳＥＭと３Ｄ−ＴＥＭで得られる観察結果を独立情報として材料特定と関連付けることが行われているが、実際にはスケールの異なる階層構造が独立に材料の機能を担っているのではなく、複数の階層構造が相互に深く連携し関連していると考えられる。したがって、高い分解能を有しつつ、試料の比較的広範囲であってもその３次元構造を一度に取得できることが必要である。
そこで、本発明は、試料の数十μｍ3程度の比較的広範囲の構造であっても高い分解能で３次元構造を取得できる方法及びシステム並びに装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成し得た本発明の超解像化処理を用いて試料の３次元像を生成する方法とは、試料の像であり、互いに異なる複数の第１画像を準備するステップＡと、２以上の第１画像を用いて、機械学習により、試料の像であっていずれの第１画像とも異なる第２画像を算出するステップＢと、を有する点に要旨を有する。本発明によれば、機械学習によって欠けている試料の像データを算出することができるため、試料の数十μｍ3程度の比較的広範囲の構造であっても高い分解能で３次元構造を取得することができる。
【００１０】
ステップＡは、一の第１画像の像データを、ｘ−ｙ面方向に配列されている複数の第１エレメントからなる一の第１エレメント群に格納するステップと、一の第１画像とはｚ方向に離間している他の第１画像の像データを、ｘ−ｙ面方向に配列されている複数の第１エレメントからなる他の第１エレメント群に格納するステップを含み、ステップＢは、第２画像の像データを、一の第１エレメント群と、他の第１エレメント群との間に配置されている複数の第２エレメントからなる第２エレメント群のうち、ｙ−ｚ面またはｚ−ｘ面に属する第２エレメントに格納するステップを含むものであることが好ましい。
【００１１】
ステップＢにおいて、２以上の第２画像を算出し、一の第２画像の像データを、第２エレメント群のうち、ｙ−ｚ面に属する第２エレメントに格納し、他の第２画像の像データを、第２エレメント群のうち、ｚ−ｘ面に属する第２エレメントに格納することが好ましい。
【００１２】
ステップＡにおいて、第１画像が、集束イオンビーム加工観察装置（ＦＩＢ−ＳＥＭ）から得た像であることが好ましい。
【００１３】
本発明は、試料の量子ビームによる散乱パターンである第１散乱データと、ステップＡにおいて第１エレメント群から構成される３次元の像データで示される仮想試料の仮想量子ビームによる散乱パターンである第２散乱データを準備するステップＣをさらに有し、ステップＡにおいて、複数の第１エレメント群をｚ方向に重ねるときに、確率的探索手法により、第１エレメント群のｘ方向及びｙ方向の相対位置を変えて、第２散乱データを第１散乱データに近づけることが好ましい。
【００１４】
ステップＡとステップＢの少なくともいずれか一方の後、試料の量子ビームによる散乱パターンである第１散乱データと、ステップＡを経て得た、少なくとも第１エレメント群から構成される３次元の像データの周囲に複数の第３エレメントが配置された仮想試料の仮想量子ビームによる散乱パターンである散乱データ（後述する第５散乱データ）を準備し、確率的探索手法により、第５散乱データが第１散乱データに近づくように第３エレメントの像データを算出するステップをさらに有することが好ましい。
【００１５】
ステップＢの後、試料の量子ビームによる散乱パターンである第１散乱データと、ステップＢを経て得た、第１エレメント群と第２エレメント群から構成される３次元の像データの周囲に複数の第３エレメントが配置された仮想試料の仮想量子ビームによる散乱パターンである散乱データ（後述する第６散乱データ）を準備し、確率的探索手法により、第６散乱データが第１散乱データに近づくように第３エレメントの像データを算出するステップをさらに有することが好ましい。
【００１６】
ステップＢの後、ステップＢを経て得た、第１エレメント群と第２エレメント群から構成される３次元の像データと、試料の量子ビームによる散乱パターンである第１散乱データに基づき、確率的探索手法により、ステップＢを経て得た３次元の像データにおける第１エレメントと第２エレメントの像データの少なくともいずれか一方を補正するステップをさらに有することが好ましい。
【００１７】
ステップＢにおいて、機械学習には多層ニューラルネットワークを用いることが好ましい。
【００１８】
多層ニューラルネットワークが畳み込みニューラルネットワークであることが好ましい。
【００１９】
また、本発明は、超解像化処理を用いて試料の３次元像を生成するシステムも提供する。本発明の３次元像生成システムは、試料の像であり、互いに異なる複数の第１画像を格納する準備部と、２以上の第１画像を用いて、機械学習により、試料の像であっていずれの第１画像とも異なる第２画像を算出する算出部と、を有する。
【００２０】
さらに、本発明は、上記３次元像生成システムと、第１画像を取得する計測装置と、を有する３次元像生成装置も提供する。
【発明の効果】
【００２１】
本発明によれば、機械学習によって欠けている試料の像データを算出することができるため、試料の数十μｍ3程度の比較的広範囲の構造であっても高い分解能で３次元構造を取得することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の試料の３次元像生成方法を示す概略図を表す。
【図２】本発明に係る機械学習による試料の３次元像生成方法を示す模式図を表す。
【図３】本発明に係る機械学習による試料の３次元像生成方法を示す模式図を表す。
【図４】本発明に係るモンテカルロ探索法による試料の３次元像生成方法を示すフローを表す。
【図５】本発明に係る周期的境界条件領域の推定方法を示す模式図を表す。
【図６】試料の一部の実構造を模した３次元像を表す。
【図７】図６に示す試料の像データの一部を意図的に欠如させた３次元像を表す。
【図８】実施例で用いた第１画像を示す模式図を表す。
【図９】実施例１で生成した試料の一部の３次元像を表す。
【図１０】実施例２で生成した試料全体の３次元像を表す。
【図１１】ｚ方向に積層されている１６枚の第１画像を表す。
【図１２】ＦＩＢ−ＳＥＭで観察した試料の３次元像を表す。
【発明を実施するための形態】
【００２３】
以下、本発明に関して、図面を参照しつつ具体的に説明するが、本発明はもとより図示例に限定される訳ではなく、前、後記の趣旨に適合し得る範囲で適当に変更を加えて実施することも可能であり、それらはいずれも本発明の技術的範囲に包含される。
【００２４】
１．３次元静止像の生成方法
本発明の３次元像生成方法は、試料の像であり、互いに異なる複数の第１画像を準備するステップＡと、２以上の第１画像を用いて、機械学習により、試料の像であっていずれの第１画像とも異なる第２画像を算出するステップＢを有する。例えば、ＦＩＢ−ＳＥＭ装置で得られた積層画像は、ｘ−ｙ面方向における解像度は高いが、ｙ−ｚ面およびｚ−ｘ面方向では解像度が低い。一方、本発明では、解像度の高い第１画像を用いて、機械学習によって欠けている第２画像の像データ（つまり、欠けている試料の像データ）を算出することができるため、試料の数十μｍ3程度の比較的広範囲の構造であっても高い分解能で３次元構造を取得することができる。
【００２５】
本発明に係る試料とは、高分子、ゲル、ゴム、コロイド、液晶、ミセル等の柔らかい材料（いわゆるソフトマテリアル）、ソフトマテリアルの一つである高分子材料と無機材料をハイブリッド化したナノコンポジット材料、生物試料を含む。
【００２６】
本発明に係る３次元像は、材料の構造、例えば材料を構成する粒子の配置を示す実空間像を意味する。
【００２７】
本発明において、超解像化処理とは画像の分解能を高めるために必要な処理全般を指す。第１画像は、試料の既知の平面像であり、複数の像データで構成される。第２画像は未知の平面像であって、第１画像を用いて機械学習により算出される像である。像データは、例えば色値を示すデータであり、モノクロ画像では像データは０〜２５５の数とすることができる。
【００２８】
以下、図１を用いて本発明の３次元像生成方法の各ステップを説明する。図１は、本発明の３次元像生成方法を示す概略図を表す。
【００２９】
（１）第１画像の準備ステップＡ
試料の像であり、互いに異なる複数の第１画像を準備する（ステップＡ）。
【００３０】
試料の３次元像を生成するために、複数の第１エレメントと複数の第２エレメントを有している実空間像であるデータを用いることが好ましい。ここでエレメントとは試料の３次元像を生成するためにメッシュ状に区分けされた仮想的な空間を意味し、１つのエレメントに１つの像データが配置される。図中、１０は第１エレメントを、２０は第２エレメントを、○は像データをそれぞれ示している。
【００３１】
エレメントの数が多いほど細かいメッシュとなり、高い分解能で３次元像が生成されるため、実際の試料の構造に近い３次元像を生成することができる。したがって、エレメントの数は１０００万個以上であることが好ましく、より好ましくは１億個以上、さらに好ましくは１０億個以上、さらにより好ましくは１００億個以上、特に好ましくは１０００億個以上である。
【００３２】
第１画像としては、例えば、ＦＩＢ−ＳＥＭ像、３Ｄ−ＴＥＭ像、ＦＩＢ等の断面加工装置と組み合わせた３次元エネルギー分散型Ｘ線分析装置（Three-dimensional Energy dispersive X-ray spectrometry：３Ｄ−ＥＤＳ）や３次元電子線後方散乱回折装置（Three-dimensional Electron Backscatter Diffraction：３Ｄ−ＥＢＳＤ）から得られる像が挙げられる。ステップＡにおいて、第１画像は、ＦＩＢ−ＳＥＭ像であることが好ましい。試料の数十μｍ3程度の比較的広範囲の構造を可視化できるため、観察時間を短縮することができる。また、ＦＩＢ−ＳＥＭによれば、ｘ−ｙ面が、ｘ−ｚ面やｙ−ｚ面よりも非対称に高い解像度で観察することができるため好ましい。他方、高い分解能を得るためには３Ｄ−ＴＥＭ像を使用してもよい。
【００３３】
また、ＦＩＢ−ＳＥＭ等の装置で取得した像に対して高速フーリエ変換（ＦＦＴ）フィルタ等を適用して平滑化処理した像を第１画像としてもよい。平滑化処理を行えば、ノイズの除去や画像の濃淡または輝度の調整がなされるため、後述の機械学習の学習回数や確率的探索手法の試行回数を削減できるとともに、最終的に得られる３次元像の解像度を高められる。
【００３４】
図１を用いて、一定の大きさを有し、ｘｙｚ方向に配列されているエレメントが３次元像のデータを構成している例を説明するが、各エレメントの大きさやエレメントの配列方向は特に限定されるものではない。
【００３５】
ステップＡは、以下のステップＡ−１〜Ａ−２を含んでいることが好ましい。
一の第１画像の像データを、ｘ−ｙ面方向に配列されている複数の第１エレメントからなる一の第１エレメント群に格納する（ステップＡ−１）。
一の第１画像とはｚ方向に離間している他の第１画像の像データを、ｘ−ｙ面方向に配列されている複数の第１エレメントからなる他の第１エレメント群に格納する（ステップＡ−２）。
【００３６】
第１エレメントは、初期状態で、試料の像データに基づき決定したエレメントである。一方で、後述する第２エレメントは、初期状態で決定されていないエレメントである。この初期状態の３次元像のデータ（以下、「第１データ」ということがある）は、像データがｚ方向では離散的にエレメントに格納されている状態であるため、試料の像データと同じ情報量であり、第１エレメントの像データのみから形成される３次元像は試料の構造を高分解能で表しているとはいえない。したがって、後述する算出ステップによって、第１エレメントの像データの補正ないし第２エレメントの像データを算出することで、第１データの情報量を高めることができるため、試料の実構造により近い像を生成することができる。図中、１１は第１エレメント群を、２１は第２エレメント群をそれぞれ示している。
【００３７】
ステップＡ−１とステップＡ−２はいずれを先に行ってもよく、ステップＡ−１とステップＡ−２の実施時間が重なっていてもよい。
【００３８】
ステップＡにおいて、第１画像の数、つまりｚ方向に配列されている第１エレメント群の数は、少なくとも２以上であればよく、特に限定されるものではないが、例えば、６４、２５６、１０２４等、２のべき乗個であってもよい。
【００３９】
第１画像は、各種測定装置から得られるが、測定中には試料のドリフト等が生じることがあり、取得した画像同士を重ねるときに位置ズレが生じると、生成する３次元像の精度に影響を及ぼす。このため、ステップＡにおいて複数の第１画像（複数の第１エレメント群の像データ）の位置合わせを行っておくことが望ましい。複数の第１画像の位置合わせの方法は、例えばマーカー法や相関法を用いることが一般的であるが、ｚ方向において、第１エレメント群の間隔が大きくなると相関法の精度が低下し用いることが困難になることがある。また、ソフトマテリアルではマーカー法が利用できない場合が多々ある。このため、第１データのエレメントがｘｙｚ方向に配列されている場合、以下のステップＣおよびステップＡ−３に基づき、第１画像の位置合わせの精度向上を行ってもよい。
【００４０】
試料の量子ビームによる散乱パターンである第１散乱データと、ステップＡにおいて第１エレメント群から構成される３次元の像データ（第１データ）で示される仮想試料の仮想量子ビームによる散乱パターンである第２散乱データを準備するステップ（ステップＣ）をさらに有していることが好ましい。その場合、ステップＡにおいて、複数の第１エレメント群をｚ方向に重ねるときに、確率的探索手法により、第１エレメント群のｘ方向及びｙ方向の相対位置を変えて、第２散乱データを第１散乱データに近づけることが好ましい（ステップＡ−３）。このように、確率的探索手法を用いて、第１散乱データと第２散乱データが整合するように複数の第１エレメント群の相対位置を調整することによって、第２画像（第２エレメント群の像データ）の算出を精度よく行うことができるようになる。
【００４１】
量子ビームとはＸ線ビーム、電子線ビーム、中性子線ビーム、陽子線ビーム、素粒子線ビームである。量子ビームは、Ｘ線ビームまたは中性子線ビームであることが好ましく、Ｘ線ビームであることがより好ましい。ソフトマテリアルやナノコンポジット材料は原子番号の小さい元素から主に構成され、Ｘ線や中性子線との相互作用が起こりにくいため非破壊観察が可能となる。
【００４２】
散乱パターンを示すデータとは、試料に量子ビームを照射したときに測定される散乱光の散乱関数（例えば振幅、強度（振幅の絶対値の二乗）、位相）のデータである。試料が相分離構造を有していると、２次元散乱パターンには結晶のブラッグピークのようなスポットが観測される場合があり、散乱パターンの１次元プロファイルでは所定の位置にピークが観察される場合があるが、これらは試料の構造情報を示している。
【００４３】
確率的探索手法としては、Simulated AnnealingMethod（ＳＡ法）を用いたモンテカルロ探索法や、逆モンテカルロ法（Reverse Monte Carlo Method：ＲＭＣ法）を用いることができる。なお、ＲＭＣ法では、密度場の代わりに粒子配置を用いるとともに物理的性質に由来した拘束条件（非線形制約条件）を課す。非負値制約などの拘束条件を課したＳＡ法のモンテカルロ探索を行うことが好ましい。
【００４４】
第１散乱データが小角Ｘ線散乱（Small-Angle X-ray Scattering：ＳＡＸＳ）実験から得られる散乱関数の強度（散乱強度）である例について説明する。ＳＡＸＳはブラッグの法則を原理として用いている。数度以下の小さな散乱角での散乱Ｘ線を測定するため、ｎｍ〜μｍオーダーの試料の大きさ、形状等の情報が得られる。距離ｒだけ離れた２点をそれぞれ通るＸ線の位相差はｒ・ｑである。ｑは試料に入射したＸ線の散乱ベクトルｑであり、散乱Ｘ線の波数ベクトルｋsと入射Ｘ線の波数ベクトルｋiの差である。ＳＡＸＳ実験により電子密度分布ρ（ｒ）の試料から散乱Ｘ線の振幅Ｆ（ｑ）が求められる。散乱強度Ｓ（ｑ）は電子密度分布ρ（ｒ）の自己相関関数γ（ｒ）のフーリエ変換で表されるため、散乱強度Ｓ（ｑ）を逆フーリエ変換することで、試料の構造を表す試料中の電子密度分布ρ（ｒ）が得られる。なお、第１エレメントの像データと同様に、第１散乱データも平滑化処理されていてもよい。第１散乱データは小角中性子線散乱（Small-Angle Neutron Scattering：ＳＡＮＳ）実験から得られる散乱強度であってもよい。
【００４５】
小角散乱実験から得られた第１散乱データは、全ての波数領域のデータを用いてもよいが、データ量を削減して高速処理を行う観点からは一部の波数領域のデータのみを使用してもよい。
【００４６】
（２）第２画像の算出ステップＢ
２以上の第１画像を用いて、機械学習により、試料の像であっていずれの第１画像とも異なる第２画像を算出する（ステップＢ）。ステップＢでは、機械学習の入力値として、２以上の第１画像を用い、その結果得られた出力値が第２画像となる。このように、本発明では、解像度の高い第１画像を用いて、機械学習によって欠けている第２画像の像データ（つまり、欠けている試料の像データ）を算出することができるため、試料の数十μｍ3程度の比較的広範囲の構造であっても高い分解能で３次元構造を取得することができる。
【００４７】
機械学習には、各種ニューラルネットワークを用いることができるが、多層ニューラルネットワークを用いることが好ましい。つまり、ディープラーニングを用いて機械学習を行うことが好ましい。ディープラーニングとは、上述したニューラルネットワークを多層で構成し、大量の教師データと大量の演算処理により、妥当な収束解を得る方法である。このように多層ニューラルネットワークを用いることにより、第２画像を効率よく算出することができる。なお、ディープラーニングでの学習は、試行用データで試行値を得て、試験用データの正答率を高める改善を繰り返すことで、判別能力の高いものを実現することができるが、そのためには大量の試行用データと試験用データが必要である。
【００４８】
ニューラルネットワークの層数は特に制限されないが、例えば２層以上、３層以上、５層以上、または１０層以上であってもよく、１０００層以下、または１００層以下であっても許容される。
【００４９】
多層ニューラルネットワークの種類は特に制限されず、例えば、畳み込みニューラルネットワーク（ＣＮＮ）、再帰型ニューラルネットワーク（ＲＮＮ）、Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌネットワーク（ＧＡＮ）等やこれらの組み合わせを用いることができるが、ＣＮＮとＧＡＮを組み合わせた超解像化処理ＳＲＧＡＮを用いることが好ましい。ＣＮＮとＧＡＮを組み合わせた超解像化処理ＳＲＧＡＮは非特許文献３〜５などで超解像化性能が高いことが報告されており、これにより、第２画像の像データをより一層効率よく算出することができる。
【００５０】
エレメントがｘｙｚ方向に配列されている場合、ステップＢでは、第２画像の像データを、一の第１エレメント群と、他の第１エレメント群との間に配置されている複数の第２エレメントからなる第２エレメント群のうち、ｙ−ｚ面またはｚ−ｘ面に属する第２エレメントに格納することが好ましい（ステップＢ−１）。これにより、ｙ−ｚ面またはｚ−ｘ面に属する第２エレメントの像データを算出することができ、試料の像データの情報量を高めることができるため、試料の実構造により近い像を生成することができる。
【００５１】
ステップＢにおいて、２以上の第２画像を算出し、一の第２画像の像データを、第２エレメント群のうち、ｙ−ｚ面に属する第２エレメントに格納し、他の第２画像の像データを、第２エレメント群のうち、ｚ−ｘ面に属する第２エレメントに格納することが好ましい（ステップＢ−２）。これにより、ｙ−ｚ面およびｚ−ｘ面に属する第２エレメントの像データを算出することができ、試料の像データの情報量を一層高めることができるため、試料の実構造により近い像を生成することができる。
【００５２】
図２および図３には、本発明に係る機械学習による試料の３次元像生成方法を示す模式図を表す。図２には、ｙ−ｚ面に属する第２エレメントの像データの算出を示し、図３には、ｚ−ｘ面に属する第２エレメントの像データの算出を示した。
【００５３】
ステップＢは、第１画像を補正するステップを有していることが好ましい（ステップＢ−３）。つまり、ステップＢは、第１エレメントの像データを補正するステップを含んでいることが好ましい。このように第１エレメントの像データを補正することで、試料の像データの精度を高めることができるため、試料の実構造により近い像を生成することができる。第１エレメントの像データを補正するステップＢ−３は、ステップＢ−１またはＢ−２の前後に行ってもよく、ステップＢ−１またはＢ−２の途中から行ってもよい。
【００５４】
また、ステップＢは、第１画像を補正するステップＢ−３を有していなくてもよい。つまり、第１エレメントの像データの値を固定した状態で、ステップＢ−１またはＢ−２を行ってもよい。このような拘束条件を課すことで第１エレメントの像データの値が確定するため、第１エレメントの像データの再計算が不要となる。
【００５５】
第２エレメント群は、ｘ−ｙ方向に配列されている複数の第２エレメントからなることが好ましい。ｚ方向において隣り合う第１エレメント群と第２エレメント群は、ｘ方向に配列されている第１エレメントの数と、ｘ方向に配列されている第２エレメントの数が等しいことが好ましい。同様に、ｙ方向に配列されている第１エレメントの数と、ｙ方向に配列されている第２エレメントの数も等しいことが好ましい。このように、第１エレメント群と第２エレメント群の数が等しければ、ｙ−ｚ面およびｚ−ｘ面に属する第２エレメントの像データの算出が行い易くなる。また、ｚ方向において、一の第１エレメント群と他の第１エレメント群の間には少なくとも１つの第２エレメント群が配置されていることが好ましく、複数の第２エレメント群が配置されていてもよい。
【００５６】
本発明では、第２画像を算出した後、第１画像と算出された第２画像を継ぎ接ぎして組み合わせる（つまり、パッチワーク処理をする）ことにより３次元像を生成することが好ましい。また、試料の一部の３次元像を生成した後、試料全体の３次元像を生成してもよい。
【００５７】
（３）さらなる高精度化ステップＤ
生成される３次元像の像データの精度を高めるために、本発明は、ステップＡおよびＢに加えて、以下のステップＤ−１〜Ｄ−２の少なくともいずれか一方を有していてもよい。
【００５８】
（３−１）確率的探索手法による像データの補正ステップＤ−１
ステップＢの後、ステップＢを経て得た、第１エレメント群と第２エレメント群から構成される３次元の像データ（以下、「第２データ」と称することがある）と、試料の量子ビームによる散乱パターンである第１散乱データに基づき、確率的探索手法により、ステップＢを経て得た３次元の像データにおける第１エレメントと第２エレメントの像データの少なくともいずれか一方を補正するステップをさらに有していてもよい。確率的探索手法としては、上記ステップＡ−３で説明した方法を用いることができる。
【００５９】
図４を用いて、モンテカルロ探索によるステップＢを経て得た３次元の像データにおける第１エレメントと第２エレメントの像データの少なくともいずれか一方の補正の具体的な流れを説明する。メトロポリス型を例に挙げて説明するが、これに限定されず、タリス統計型等を用いてもよい。まず、ステップＢを経て得た３次元の像データにおける第１エレメントと第２エレメントの像データ（第２データ）を初期値（０番目）とする。初期の状態（分布・配置）をΦ0とする。ｎ番目の第２データΦnに対して、モンテカルロ試行のサンプリングを行い、試行的配置Φn’を作成する。第２データで示される仮想試料（Φn’）の仮想量子ビームによる散乱パターンである第３散乱データＩ（ｑ；Φn’）を準備する。後述する評価関数を用いて、教師データとしての第１散乱データＩexp（ｑ）と、試行的に第１エレメントと第２エレメントの少なくともいずれか一方の像データを補正したときの３次元の像データ（以下、「第３データ」と称することがある）で示される仮想試料の仮想量子ビームによる散乱パターンである第４散乱データＩ（ｑ；Φn’）を比較する。両者を比較した結果が予め設定した判定条件を満たせば当該第１エレメント／第２エレメントの像データの値Φn’を採用し、設定した判定条件を満足しなければ採用しない。採用した場合は、Φn’をΦn+1とし、採用しなかった場合は、引き続きΦnをΦn+1とする。モンテカルロ試行は規定回数に至るまで繰り返す。これにより、第１エレメントと第２エレメントの少なくとも一方の像データが補正されるため、試料の３次元像をより実構造に近い形で生成することができる。
【００６０】
散乱強度Ｉ（ｑ）を示す第４散乱データは、３次元フーリエ変換（ＦＴ）処理を表す（１）式〜（２）式を用いて、３次元構造の密度場を示す第２データ（ステップＢを経て得た３次元の像データにおける第１エレメントと第２エレメントの像データ）から求めることができる。なお、ｑは散乱ベクトル、ｉ，ｊ，ｋはエレメントの座標番号、Ｒ（ｉ，ｊ，ｋ）は当該エレメントの位置ベクトル、ρは密度場の値である。
【００６１】
【数１】
2018189428.tif 000003
【００６２】
【数２】
2018189428.tif 000004
【００６３】
ステップＤにおいて、第１散乱データと第４散乱データとの差が所定範囲内であるときの第４散乱データに基づき、第１エレメントと第２エレメントの少なくともいずれか一方を補正することが好ましい。第１散乱データをＩexp（ｑ）、第４散乱データをＩ（ｑ；Φn’）として差分値ΔＩ（ｑ）＝Ｉexp（ｑ）−Ｉ（ｑ；Φn’）を求める。本説明では第１散乱データと第４散乱データの比較のための評価関数としてχ2を用いたが、評価関数の種類は特に限定されず、評価関数には係数が付与されていてもよい。また、探索効率向上のため、評価関数の係数を動的に変化させてもよく、係数は機械学習、遺伝的アルゴリズム、人工知能等を用いて変化させてもよい。さらに、評価関数が複数用いられてもよい。
【００６４】
ステップＤでは、以下の判定条件に従ったモンテカルロ試行が好ましく採択される。
［判定条件］
Δχ2＞０の場合、ｅｘｐ（−Δχ2／Ｔ）の確率で試行を採択する。
Δχ2＜０の場合、すべての試行を採択する。
なお、χ2は第１散乱データに対する第４散乱データのズレを示し、（３）式で表される。Δχ2は以下の（４）式で表され、Ｉ（ｑ；Φn）は仮想試料（Φn）の仮想量子ビームによる散乱パターン（散乱強度）である。この評価関数の係数Ｔの値は、例えば、０．０００１以上０．０１以下に設定でき、評価関数の収束挙動に応じ適宜変化させることができ、機械学習、遺伝的アルゴリズム、人工知能等を用いて変化させても良い。
【００６５】
【数３】
2018189428.tif 000005
【００６６】
【数４】
2018189428.tif 000006
【００６７】
上記（３）式〜（４）式において、ｑは、３次元ベクトルないし、２次元ベクトルないし、１次元スカラーを表す。散乱強度Ｉ（ｑ）は、ｑが２次元ベクトルの場合、２次元散乱パターンを表し、ｑが１次元スカラーの場合は、１次元散乱プロファイルを表す。
【００６８】
上記（３）式〜（４）式については、散乱強度の特性を踏まえ、（５）式の対数関数、（６）式のｑの定数乗の重み付けなどや、（７）式のようなそれらの組み合わせを用いることができる。係数Ｃ1とＣ2は任意の非負の値であり、χ2の収束挙動に応じ適宜変化させることができる。
【００６９】
【数５】
2018189428.tif 000007
【００７０】
【数６】
2018189428.tif 000008
【００７１】
【数７】
2018189428.tif 000009
【００７２】
モンテカルロ試行の規定回数は特に制限されず、例えば１００回以上、１０００回以上、１万回以上、１０万回以上であってもよい。χ2の値が所定範囲内になるまで、モンテカルロ試行を繰り返す。
【００７３】
計算の効率化のため、第１エレメントの像データと第２エレメントの像データの少なくとも一方の補正に際して、以下に示す線形制約条件または非線形制約条件を課してもよい。
【００７４】
ステップＤにおいて、第１エレメントの像データを変化させないことが好ましい。つまり、第１エレメントの像データの値を固定した状態で確率的探索手法により第２エレメントの像データを補正することが好ましい。このような拘束条件を課すことで第１エレメントの像データの値が確定するため、第１エレメントの像データの再計算が不要となる。
【００７５】
ステップＤにおいて、第１エレメントの像データの値が変化してもよい。例えば、ステップＤにおいて、第１エレメントの像データが変化する範囲を予め定めておいてもよい。このように第１エレメントの像データに変化幅を持たせておくことによって、第１エレメントの像データに生じたエラーを修正することができる。
【００７６】
（３−２）周期的境界条件領域の推定ステップＤ−２
（３−２−１）推定方法１
ステップＡとステップＢの少なくともいずれか一方の後、試料の量子ビームによる散乱パターンである第１散乱データと、ステップＡを経て得た、少なくとも第１エレメント群から構成される３次元の像データ（第２データ）の周囲に複数の第３エレメントが配置された仮想試料の仮想量子ビームによる散乱パターンである散乱データ（第５散乱データ）を準備し、確率的探索手法により、第５散乱データが第１散乱データに近づくように第３エレメントの像データを算出することが好ましい。これにより、周期的境界条件領域（ＰＢＣ領域）の像データを推定することができる。なお、周期境界条件領域の推定は、実験データを入力値とする分子シミュレーション計算などにおいて、有用である。
【００７７】
（３−２−２）推定方法２
また、（３−２−１）の方法において、第５散乱データの代わりに、以下の第６散乱データを用いてもよい。すなわち、ステップＢの後、試料の量子ビームによる散乱パターンである第１散乱データと、ステップＢを経て得た、第１エレメント群と第２エレメント群から構成される３次元の像データの周囲に複数の第３エレメントが配置された仮想試料の仮想量子ビームによる散乱パターンである第６散乱データを準備し、確率的探索手法により、第６散乱データが第１散乱データに近づくように第３エレメントの像データを算出することが好ましい。これにより、周期的境界条件領域（ＰＢＣ領域）の像データを推定することができる。
【００７８】
上記（３−２−１）および上記（３−２−２）の方法において、確率的探索手法としては、上記ステップＡ−３で説明した方法を用いることができる。
【００７９】
周期的境界条件領域（ＰＢＣ領域）の推定を加速するために、上記推定方法１および２には多段スケール方法を用いることが好ましい。段数は特に制限されないが、例えば２以上、３以上、５以上、１０以上、または１００以下であっても許容される。
【００８０】
図５を用いて、推定方法１の例について説明する。なお、簡単のため、図５では特定の方向から見た２次元像を示した。図５において、ＭＣ探索はモンテカルロ探索法を適用したことを示し、ＦＴはフーリエ変換フィルタ処理を施したことを示している。
【００８１】
まず、図５において、ステップＡを経て得た第１エレメント群から構成される３次元の像データ（第１データ）の周囲（ＰＢＣ領域）に複数の第３エレメントを配置することが好ましい。初期状態において、第３エレメントの像データは一定の値に設定されていることが好ましく、例えば、０に設定することができる。
【００８２】
次に、第１データの周期的境界条件領域（ＰＢＣ領域）の像データを推定する。
【００８３】
１段目：第１データの第１エレメントの一部（ａ3個）の像データを初期値として、モンテカルロ法によりＰＢＣ領域の（ｃ−ｄ）3個の像データを推定する。このとき、第１データの各エレメントの像データは固定してもよく、補正してもよい。第１データのａ3個の像データとしては、例えば、ＦＩＢ−ＳＥＭ装置等から得られた像データの８セルに１つのデータ（解像度１６ｎｍ）を用いることができる。
【００８４】
２段目：１段目で得られた第１データの第１エレメントの一部（ｂ3個、ただしｂ＞ａ）の像データの周囲に、１段目で得られたＰＢＣ領域の像データを配置したデータを初期値として、モンテカルロ法によりＰＢＣ領域の像データを推定する。なお、２段目の推定における初期値は、１段目で得られた第１データにＦＴフィルタ処理を施した後の第１エレメントの一部（ｂ3個）の像データの周囲に、１段目で得られたＰＢＣ領域の像データを配置したものであってもよい。
【００８５】
３段目：２段目で得られた第１データの第１エレメントの少なくとも一部（ｃ3個、但しｃ＞ｂ＞ａ＞０）の像データの周囲に、２段目で得られたＰＢＣ領域の像データを配置したデータを初期値として、モンテカルロ法によりＰＢＣ領域のデータを推定する。なお、３段目の推定における初期値は、２段目で得られた第１データにＦＴフィルタ処理を施した後の第１エレメントの一部（ｃ3個）の像データの周囲に、２段目で得られたＰＢＣ領域の像データを配置したものであってもよい。
【００８６】
図５では、３段階でＰＢＣ領域のデータを推定したときの例を示しており、ａ＝３６、ｂ＝７２、ｃ＝１４４、ｃ−ｄ＝１２８として、２段目と３段目の初期値としてはＦＴ処理を施したデータを用いた。なお、ａ、ｂ、ｃ、ｄは正の整数であればよく、これらの値は特に限定されない。
【００８７】
確率的探索手法は、ステップＤ−１と同様の方法で行うことができる。
【００８８】
２．動的プロセスの可視化
ソフトマテリアルやナノコンポジット材料、生物試料の諸物性を理解するためには、材料の静的な３次元像のみならず、材料の形成過程や外場の掛かった状態等の動的プロセスの３次元像の変化を可視化し、in-situ観察できることが必要である。したがって、本発明には動的プロセスにおける試料の３次元像を生成する方法も含まれる。ここで、動的プロセスとは、構造転移、延伸、ずり変形等の試料の相状態の変化や試料が置かれた環境の温度変化等、試料の構造または試料を取り巻く外部環境が時間的に変化するプロセスを含む。
【００８９】
第１画像としての第１エレメントの像データは好ましくはＦＩＢ−ＳＥＭ像であるが、この場合、試料が破壊されるため時分割測定を行うことは難しい。一方、第１散乱データは量子ビームによる試料の損傷が大きくない限り、所定時間毎に測定（時分割測定）することができるため、例えば以下の手順で動的プロセスにおける試料の３次元像を生成することができる。
【００９０】
まず、動的プロセスにおいて第１散乱データを所定時間Ｔ1〜Ｔnで時分割測定した後で、ＦＩＢ−ＳＥＭ等により第１エレメントの像データを得る。ここで得られる第１エレメントの像データは、動的プロセスの最終段階での試料の構造を示している。この第１エレメントの像データに、時間Ｔ1における第１散乱データを組み合わせることによって、時間Ｔ１での試料の３次元像を生成することができる。同様の手順を時間Ｔ2〜Ｔnに対して繰り返すことで、時間Ｔ2〜Ｔnでの試料の３次元像が得られる。そして、時間Ｔ1〜Ｔnにおける３次元像（静止画）を繋ぎ合わせて動画を作成することによって、動的プロセスを可視化することができる。
【００９１】
３．３次元像生成システムおよび３次元像生成装置
本発明には、試料の３次元像を生成するシステムも含まれる。本発明の３次元像生成システムは、超解像化処理を用いて試料の３次元像を生成するものであって、試料の像であり、互いに異なる複数の第１画像を格納する準備部と、２以上の第１画像を用いて、機械学習により、試料の像であっていずれの第１画像とも異なる第２画像を算出する算出部と、を有するものである。このようなシステムを、ＦＩＢ−ＳＥＭ装置等と組み合わせることによって、高い分解能で試料の３次元像を生成することが可能である。
【００９２】
準備部や算出部は、演算処理を行う計算機に設けられる。計算機は、例えば、ＣＰＵ（プロセッサ）、メモリ等のハードウェアと、ハードウェア上で動くオペレーティングシステムやアプリケーション等のソフトウェアから構成されるコンピュータ、スーパーコンピュータ、ＰＣクラスター等である。
【００９３】
本発明は試料の３次元像を生成する装置も含まれる。本発明の３次元像生成装置は、上記３次元像生成システムと、第１画像を取得する計測装置と、を有する。
【００９４】
計測装置は、上述した第１画像を取得するものである。例えば、ＦＩＢ−ＳＥＭ装置、３Ｄ−ＴＥＭ、３Ｄ−ＣＴ装置、またＦＩＢ等の断面加工装置と組み合わせた３Ｄ−ＥＤＳ、３Ｄ−ＥＢＳＤ等の３次元像を取得できる公知の装置が挙げられる。中でも、計測装置はＦＩＢ−ＳＥＭ装置であることが好ましい。試料の数十μｍ3程度の比較的広範囲の構造も可視化できるからである。
【００９５】
３次元像生成装置は、さらに、第１散乱データを取得する散乱計測装置を有していてもよい。散乱計測装置は、試料の量子ビームによる散乱パターンを取得することができる装置であり、例えば、小角散乱測定装置が挙げられる。
【実施例】
【００９６】
実施例１  試料の一部の３次元像の生成
単位画像に対応する部分について第２画像を算出した後、第１画像と算出された第２画像を継ぎ接ぎして組み合わせる（つまり、パッチワーク処理をする）ことにより３次元像を生成する例について説明する。まず、実施例１では、１個の単位画像に対応するｙ−ｚ面およびｚ−ｘ面に属する第２エレメントから算出された第２画像から試料の一部の３次元像を生成する例について説明する。
【００９７】
シリカ粒子（直径：約２０ｎｍ）含有スチレン−ブタジエンゴムの試料に対して、直交型ＦＩＢ−ＳＥＭ（ＳＭＦ−１０００、エスアイアイ・ナノテクノロジー社製）にて、ｚ方向の加工ピッチ：２ｎｍで、１０００×１０００ピクセルのＳＥＭ像を１０００枚撮影することで、３次元構造観察した。なお、ＦＩＢ加工では、加速電圧：３０ｋＶ、エミッション電流：２９０ｐＡとし、ＳＥＭ観察では、加速電圧：０．５ｋＶで２次電子検出器を使用した。実施例１では、ｘ方向およびｙ方向は像データの配置間隔が２ｎｍ、ｚ方向は１６ｎｍとなるように一部の像データを抜き、像データを意図的に欠如させた３次元像からの超解像化処理を行った。超解像化処理の機械学習には、ＣＮＮを組み合わせたＳＲＧＡＮ法を用い、その計算処理ソフトとして、Ｇｏｏｇｌｅ社製のテンソルフロー（Ｖｅｒ．０．１２．０）を用いた。超解像化処理の単位画像として、５６×５６ピクセルを用いた。
【００９８】
ｚ方向の配置間隔２ｎｍの像データでは、相関法による位置合わせを良好に行うことができた。ｚ方向の配置間隔１６ｎｍの像データでは、相関法での位置合わせは機能しなかったが、確率的探索（ステップＣおよびステップＡ−３で上述した方法）により、ｚ方向の配置間隔２ｎｍの像データに対する相関法の結果と近い位置合わせを実現できた。
【００９９】
ｘｙｚ方向に配列されているエレメントに適切に像データが配置されている試料の実構造を模した３次元像（図６）から、ｘ方向およびｙ方向は像データの配置間隔が２ｎｍ、ｚ方向は１６ｎｍとなるように一部の像データを抜き、像データを意図的に欠如させた３次元像（図７）を作成した。これは、５６×５６×５６ピクセルの像である。
【０１００】
図８では、５６×５６ピクセルの単位画像がｘ方向に１７個、ｙ方向に１７個に並べられている第１画像（第１エレメント群の像データ）が、ｚ方向に２５６枚積層されている第１画像の模式図を表す。超解像化処理のための学習プロセスでは、ｚ方向に２５６個積層されているもののうち、ｚ方向に８つ置きに取り出した１６個の層、すなわち、１７×１７×１６＝４６２４個の単位画像を教師データとした。
【０１０１】
本発明の３次元像生成方法を用いて、図７に示す像データが一部欠けている３次元像から、試料の実構造を模した３次元像（図６）に近い像が生成できることを検証した。
【０１０２】
本発明の３次元像生成方法では、ｚ方向に積層されている１６枚の第１画像から、機械学習による超解像化処理により、一の第１エレメント群と、他の第１エレメント群との間に配置されている複数の第２エレメントからなる第２エレメント群のうち、ｙ−ｚ面またはｚ−ｘ面に属する第２エレメントを推定し格納した。
【０１０３】
本発明の３次元像生成方法の基本特性評価として、まず、１個の単位画像（５６×５６ピクセル）に対応する部分について、第２画像の算出を行う。詳細には、機械学習による超解像化処理で第２画像として、５６×５６ピクセルの単位画像をｙ−ｚ面において５６枚×１枚（ｙ方向）×１枚（ｚ方向）、ｚ−ｘ面において５６枚×１枚（ｘ方向）×１枚（ｚ方向）を算出した。第１画像と、算出した第２画像から３次元像を生成した結果を図９に示す。ｚ方向の両端では、領域外の情報が不足するために、精度が相対的に低下することが判明した。この事実から、パッチワーク処理では、ｚ方向の重なりを大きくすることが望ましいという知見を得た。
【０１０４】
実施例２  試料全体の３次元像の生成
実施例２では、実施例１に記載の方法で算出した各単位画像に対応するｙ−ｚ面およびｚ−ｘ面に属する第２エレメントから算出された第２画像と、第１画像を継ぎ接ぎすることによって試料全体の３次元像を生成した例を示す。詳細には、実施例２では、実施例１での知見からｘ方向とｙ方向の重なりを１ピクセル、ｚ方向の重なりを１０ピクセルとして、９７４×９７４×１２８ピクセルを対象領域とした。機械学習による超解像化処理で第２画像として、５６×５６ピクセルの単位画像をｙ−ｚ面において５６枚×１８枚（ｙ方向）×３枚（ｚ方向）、ｚ−ｘ面において５６枚×１８枚（ｘ方向）×３枚（ｚ方向）を算出した。これら第２画像から３次元像を生成した結果を図１０に示す。
【０１０５】
ｚ方向に積層されている１６枚の第１画像（図１１）と、第２画像から３次元像を生成した結果（図１０）の改善の定量指標として、相対的なズレを表す値Ａを用いた。
【０１０６】
【数８】
2018189428.tif 000010
【０１０７】
ここで、ａ（ｘ，ｙ，ｚ）は、ピクセル位置（ｘ，ｙ，ｚ）のピクセル値である。ｂ（ｘ，ｙ，ｚ）は、ＦＩＢ−ＳＥＭで観察したオリジナルデータ（図１２）、すなわち、２ｎｍ間隔のデータである。Σは、すべてのピクセルに対する和を意味する。図１１のＡは、０．４２であったが、機械学習による超解像化処理で、０．３２に改善した。また、間引き幅を８から４とした場合には、Ａの値は、０．２５から０．１６に改善した。これにより、機械学習による超解像化処理で、３次元像が改善されることを見いだした。
【符号の説明】
【０１０８】
１０：第１エレメント
１１：第１エレメント群
２０：第２エレメント
２１：第２エレメント群
【図１】
2018189428.tif 000011
【図２】
2018189428.tif 000012
【図３】
2018189428.tif 000013
【図４】
2018189428.tif 000014
【図５】
2018189428.tif 000015
【図６】
2018189428.tif 000016
【図７】
2018189428.tif 000017
【図８】
2018189428.tif 000018
【図９】
2018189428.tif 000019
【図１０】
2018189428.tif 000020
【図１１】
2018189428.tif 000021
【図１２】
2018189428.tif 000022