(57)【要約】      （修正有）【課題】少ない量の画像から、大規模な教師データベースを構築することが可能となる。【解決手段】本発明の好ましい一側面は、情報処理装置を用いて、観察画像と観察画像に対応するラベリング情報から、分析モデルを学習するための教師データベースを生成する情報処理システムである。このシステムは、記憶部と、画像処理部と、教師データベース生成部を備える。記憶部は、観察画像の観察条件と観察画像に関係するパラメータの関係を示す情報からなる画像処理データを記憶する。また記憶部は、第１の観察画像と、対応する第１の観察条件、および対応する第１のラベリング情報を記憶する。画像処理部は、第１の観察画像と第１の観察条件を入力とし、パラメータに応じた画像処理を行なうことにより、第２の観察条件に対応する第２の観察画像を生成する。教師データベース生成部は、第２の観察画像と第１のラベリング情報から、教師データベースを生成する。【選択図】図２
2020129439.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置を用いて、観察画像と該観察画像に対応するラベリング情報から、分析モデルを学習するための教師データベースを生成する情報処理システムであって、
記憶部と、画像処理部と、教師データベース生成部を備え、
前記記憶部は、
前記観察画像の観察条件と前記観察画像に関係するパラメータの関係を示す情報からなる、画像処理データと、
第１の観察画像、前記第１の観察画像に対応する第１の観察条件、および前記第１の観察画像に対応する第１のラベリング情報と、を記憶し、
前記画像処理部は、
前記第１の観察画像と前記第１の観察条件を入力とし、前記画像処理データに基づいて、前記第１の観察画像に前記パラメータに応じた画像処理を行なうことにより、第２の観察条件に対応する第２の観察画像を生成し、
前記教師データベース生成部は、
前記第２の観察画像と前記第１のラベリング情報から、前記教師データベースを生成する、
情報処理システム。
【請求項２】
前記第１の観察画像はＳＥＭ画像であり、
前記第１の観察条件はＳＥＭの動作条件であって、電子銃の電流、電子銃から電子を引き出すための加速電圧、対物レンズの動作電流、ワーキングディスタンス、倍率、画像のサイズ、および検出器の動作方式の少なくとも一つを含み、
前記第１のラベリング情報は、ＳＥＭ画像のセグメンテーション情報である、
請求項１記載の情報処理システム。
【請求項３】
前記第１の観察条件はＳＥＭに依存して特定される関数を含む、
請求項２記載の情報処理システム。
【請求項４】
前記観察画像に関係するパラメータは、観察画像のシェーディングを調整するパラメータである、
請求項１記載の情報処理システム。
【請求項５】
前記観察画像に関係するパラメータは、観察画像の輝度を調整するパラメータである、
請求項１記載の情報処理システム。
【請求項６】
前記観察画像に関係するパラメータは、観察画像の平滑化レベルを調整するパラメータである、
請求項１記載の情報処理システム。
【請求項７】
前記観察画像に関係するパラメータは、ＳＥＭ画像中のボイドの発生頻度を調整するパラメータである、
請求項２記載の情報処理システム。
【請求項８】
前記観察画像に関係するパラメータは、ＳＥＭ画像中のスクラッチの発生頻度を調整するパラメータである、
請求項２記載の情報処理システム。
【請求項９】
前記記憶部は、
前記観察画像の観察条件および前記観察画像の観察対象の情報と前記観察画像に関係するパラメータの関係を示す情報からなる、画像処理データと、
第１の観察画像、前記第１の観察画像に対応する第１の観察条件、前記第１の観察画像に対応する第１のラベリング情報、および前記第１の観察画像の観察対象の情報と、を記憶し、
前記画像処理部は、
前記第１の観察画像と前記第１の観察条件と前記第１の観察画像の観察対象の情報を入力とし、前記画像処理データに基づいて、前記第１の観察画像に前記パラメータに応じた画像処理を行なうことにより、第２の観察条件に対応する第２の観察画像を生成する、
請求項２記載の情報処理システム。
【請求項１０】
前記観察画像の観察対象の情報は、前記ＳＥＭ画像の中の平均粒子サイズである、
請求項９記載の情報処理システム。
【請求項１１】
前記画像処理部は、前記第１の観察画像に対する画像処理として、画像を回転するかどうかを選択可能である、
請求項１記載の情報処理システム。
【請求項１２】
情報処理装置を用いて、観察画像と該観察画像に対応するラベリング情報から、分析モデルを学習するための教師データベースを生成する情報処理方法であって、
記憶部と、画像処理部と、教師データベース生成部を用い、
前記記憶部は、
前記観察画像の観察条件と前記観察画像に関係するパラメータの関係を示す情報からなる、画像処理データと、
第１の観察画像、前記第１の観察画像に対応する第１の観察条件、および前記第１の観察画像に対応する第１のラベリング情報と、を記憶し、
前記画像処理部は、
前記第１の観察画像と前記第１の観察条件を入力とし、前記画像処理データに基づいて、前記第１の観察画像に前記パラメータに応じた画像処理を行なうことにより、第２の観察条件に対応する第２の観察画像を生成し、
前記教師データベース生成部は、
前記第２の観察画像と前記第１のラベリング情報から、前記教師データベースを生成する、
情報処理方法。
【請求項１３】
前記第１の観察画像はＳＥＭ画像であり、
前記第１の観察条件はＳＥＭの動作条件であって、電子銃の電流、電子銃から電子を引き出すための加速電圧、対物レンズの動作電流、ワーキングディスタンス、倍率、画像のサイズ、および検出器の動作方式の少なくとも一つを含み、
前記第１のラベリング情報は、ＳＥＭ画像のセグメンテーション情報である、
請求項１２記載の情報処理方法。
【請求項１４】
前記観察画像に関係するパラメータは、観察画像のシェーディングを調整するパラメータ、観察画像の輝度を調整するパラメータ、観察画像の平滑化レベルを調整するパラメータ、ＳＥＭ画像中のボイドの発生頻度を調整するパラメータ、およびＳＥＭ画像中のスクラッチの発生頻度を調整するパラメータの少なくとも一つである、
請求項１３記載の情報処理方法。
【請求項１５】
前記第１の観察画像として２種類の画像を用いて、２種類の前記第２の観察画像を生成し、
２種類の前記第２の観察画像と２種類の前記第１のラベリング情報から、第１のデータセットと第２のデータセットを生成し、
前記第１のデータセットで前記分析モデルの学習を行い、
前記第２のデータセットで学習した前記分析モデルの精度測定を行う、
請求項１２記載の処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は情報処理技術にかかわり、特に機械学習を用いた画像の分類技術に関する。
【背景技術】
【０００２】
従来、例えば走査型電子顕微鏡（ＳＥＭ）等で撮影された試料の画像を元に、試料の物質構造等を識別するためには、画像を目視で確認することが一般的であった。この場合、人による認識の差や周囲環境の影響により、正確な判断は困難である。また、作業者の負担やコストも課題となる。
【０００３】
近年のコンピューターの性能向上、とりわけ人工知能（ＡＩ）の技術の向上と共に、画像処理技術の研究開発が進んでいる。この分野の技術で代表的な階層型ニューラルネットワークを用いた画像処理では、階層型ニューラルネットワークの結合の重みを最適化することにより、目的とする処理に適合するモデルを構成する機械学習と呼ばれる処理を行なう。
【０００４】
階層型ニューラルネットワークを用いた機械学習は、教師あり学習と教師なし学習に大きく分けることができる。教師あり学習では、入力ｘとそれに対する正解出力ｔのペアの集合を学習用データ（以降「教師データ」という）として、データベースを構築する（以降「教師データベース」という）。機械学習では、教師データベースを用いて、階層型ニューラルネットワークに所定の入力をしたときの出力が正解に近づくように階層型ニューラルネットワークの結合の重みを調節する。適切に学習されたモデルは、入力に対して精度よく正解を出力することができるようになる。
【０００５】
特許文献１には、「顕微鏡画像を分類する方法は、物体からの少なくとも１つの顕微鏡画像を含むトレーニングデータセットと、製品仕様に基づく画像の関連クラス定義とを受信することを含む。機械学習分類器は、画像をクラスに分類するようにトレーニングされる。顕微鏡画像は、分類器のテスト入力として使用されて、製品仕様に基づいて画像を１つ又は複数のクラスに分類する。製品仕様は、ブランド名、製品ライン、又は物体のラベル上の他の詳細を含む。」という記載がある。
【０００６】
非特許文献１には、繰り返しパターンを用いてテクスチャ画像を分析する際に、入力画像を分割し、投票スコアを用いて分類することが記載される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表2017−520864号公報
【非特許文献】
【０００８】
【非特許文献１】"Deep Learning for Biomedical Texture Image Analysis", Vincent Andrearczyk et.al, Proceedings of the 18th Irish Machine Vision and Image Processing conference IMVIP 2016
【発明の概要】
【発明が解決しようとする課題】
【０００９】
適切に学習されたモデルを用いた画像識別は、効率的で正確な物質構造の分析を可能とするが、モデルを学習するための、適切な教師データベースが準備できることが前提となる。教師データベースとして求められるのは量と質である。すなわち、処理対象となる可能性のある画像のパターンを広く網羅し、またそれに適切な正解が付されていることが必要となる。
【００１０】
例えば、試料を電子顕微鏡等で撮影した画像を用いて分析しようとする場合、撮影した画像は対象とする試料が同じであっても、電子顕微鏡等の様々な撮像条件によってバリエーションが生じる。教師データとして例えばＳＥＭで取得した画像を用いる場合、理想的な教師データベースを準備するためには、想定される種々の撮像条件を網羅した大量のＳＥＭ画像を取得しなければならず、このためのコストが問題となる。そこで、少ない量の画像から、大規模な教師データベースを構築する手法が重要となる。
【課題を解決するための手段】
【００１１】
本発明の好ましい一側面は、情報処理装置を用いて、観察画像と観察画像に対応するラベリング情報から、分析モデルを学習するための教師データベースを生成する情報処理システムである。このシステムは、記憶部と、画像処理部と、教師データベース生成部を備える。記憶部は、観察画像の観察条件と観察画像に関係するパラメータの関係を示す情報からなる画像処理データを記憶する。また記憶部は、第１の観察画像、第１の観察画像に対応する第１の観察条件、および第１の観察画像に対応する第１のラベリング情報を記憶する。画像処理部は、第１の観察画像と第１の観察条件を入力とし、画像処理データに基づいて、第１の観察画像にパラメータに応じた画像処理を行なうことにより、第２の観察条件に対応する第２の観察画像を生成する。教師データベース生成部は、第２の観察画像と第１のラベリング情報から、教師データベースを生成する。
【００１２】
本発明の好ましい他の一側面は、情報処理装置を用いて、観察画像と観察画像に対応するラベリング情報から、分析モデルを学習するための教師データベースを生成する情報処理方法である。この方法は、記憶部と、画像処理部と、教師データベース生成部を用いる。記憶部は、観察画像の観察条件と観察画像に関係するパラメータの関係を示す情報からなる、画像処理データを記憶する。また記憶部は、第１の観察画像、第１の観察画像に対応する第１の観察条件、および第１の観察画像に対応する第１のラベリング情報を記憶する。画像処理部は、第１の観察画像と第１の観察条件を入力とし、画像処理データに基づいて、第１の観察画像にパラメータに応じた画像処理を行なうことにより、第２の観察条件に対応する第２の観察画像を生成する。教師データベース生成部は、第２の観察画像と第１のラベリング情報から、教師データベースを生成する。
【００１３】
観察画像に関係するパラメータの具体的な例としては、画像のパラメータ（たとえば輝度）や、画像処理のパラメータ（例えば輝度の調整量）がある。
【発明の効果】
【００１４】
少ない量の画像から、大規模な教師データベースを構築することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】実施例に係わる物質構造分析システムの構成ブロック図。
【図２】物質構造分析システムによる処理を示す物質構造分析フローチャート。
【図３】試料の情報と分析トピックを入力するためのＧＵＩのイメージ図。
【図４】観察条件を入力するためのＧＵＩのイメージ図。
【図５Ａ】画像イメージの画像処理方法を決定する処理の流れを示すフローチャート。
【図５Ｂ】ＷＤとシェーディングの関係を示したグラフ図。
【図６Ａ】履歴データの一例を示す表図。
【図６Ｂ】出力データの一例を示す表図。
【図７】実施例の効果を示すグラフ図。
【図８】実施例のＳＥＭ画像の処理の概念を示す概念図。
【図９】実施例２の全体的な処理を示す物質構造分析フローチャート。
【図１０】ユーザに表示されるＧＵＩウィンドウを示すイメージ図。
【図１１Ａ】ＳＥＭの稼働時間ｔと電子銃の電流Ｉｐの関係を示したグラフ図。
【図１１Ｂ】ＳＥＭの稼働時間ｔとＳＥＭ画像の輝度の関係を示したグラフ図。
【発明を実施するための形態】
【００１６】
実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
【００１７】
以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。
【００１８】
同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。
【００１９】
本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
【００２０】
図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。
本明細書で引用した刊行物、特許および特許出願は、そのまま本明細書の説明の一部を構成する。
本明細書において単数形で表される構成要素は、特段文脈で明らかに示されない限り、複数形を含むものとする。
【実施例１】
【００２１】
＜１．システムの全体構成＞
図１は、実施例に係わる物質構造分析システムの構成ブロック図である。図１の物質構造分析システムは、基本的にはＳＥＭ等の画像取得用の観察装置（撮像装置）とサーバ等の情報処理装置とで構成されている。
【００２２】
本実施例では、撮像装置としてＳＥＭを用いるものを例として説明する。ＳＥＭ１００は、電子銃１０１を備えており、電子銃１０１からは１次電子１０２が放射される。１次電子１０２は、走査用コイル１０３、対物レンズ１０４を経て、試料１０７に照射される。周知のように、１次電子１０２は走査用コイル１０３によって、試料台１０８に設置された試料１０７の所望の箇所に照射され、試料１０７全体を走査することができる。１次電子１０２が照射された試料１０７は、放射電子１１２、１１３を放射し、放射電子１１２、１１３は検出器１０５、１０６で検出される。これらは一般的なＳＥＭの構成である。
【００２３】
本実施例では、ＳＥＭ１００はサーバ２００で制御されている。サーバ２００は、一般的なサーバと同様に、入力装置、出力装置、処理装置、および記憶装置を備えている。本実施例では計算や制御等の機能は、記憶装置に格納されたプログラムが処理装置によって実行されることで、定められた処理を他のハードウェアと協働して実現される。計算機などが実行するプログラム、その機能、あるいはその機能を実現する手段、また、データあるいはデータベースを記憶している記憶装置の一部または全部を、「〜部」、「機能」、「手段」等と呼ぶ場合がある。
【００２４】
また、サーバ２００の構成は、単体のサーバで構成してもよいし、あるいは、入力装置、出力装置、処理装置、記憶装置の任意の部分が、ネットワークで接続された複数のサーバで構成されてもよい。また、本実施例中、ソフトウェアで構成した機能と同等の機能は、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェアでも実現できる。
【００２５】
サーバ２００の物理的な構成は上記のとおりであるが、図１では機能的な特徴に着目して機能ブロック図として示している。ＳＥＭシステム制御部１０９は、サーバ２００からの指示によりＳＥＭ１００を制御する部分であり、ＳＥＭ１００とサーバ２００間で、コマンドやデータを送受信するためのインターフェースを含む。記憶部１１０はソフトウェアや各種データを記憶する。処理部１１１は、記憶部１１０に格納されたソフトウェアを実行して各種処理を行なう。
【００２６】
端末１１４は、ユーザからの入力を受け付け、あるいは、ユーザに情報を出力するための、入力装置と出力装置を含む。入力装置や出力装置は、キーボードやマウス等の周知の入力装置と、画像表示装置など周知の出力装置でよい。端末１１４は、印刷機能や通信機能など他の機能を備えていても良い。また、他の電子顕微鏡やビデオカメラなどの機器やデータ記憶装置から画像を入力するための、インターフェースを備えていても良い。本実施例では、処理対象とする画像はＳＥＭ画像として説明するが、画像はこれに限るものではない。
【００２７】
記憶部１１０は、磁気ディスク装置や半導体記憶装置、あるいはこれらの組み合わせで構成されている。本実施例では記憶部１１０には、以下の情報を保存している。
【００２８】
データベースとしては；
（１）ＳＥＭ１００で観察したＳＥＭ画像と、ＳＥＭ１００による観察に際して記録した履歴データ（材料情報、ＳＥＭの観察条件等）を含むメタファイル（metafile)１１０１（後に図６Ａで説明する）。
（２）ＳＥＭ画像を処理するための情報（例えば画像処理用パラメータを計算する式）を含む画像処理データ１１０２。式は、メタファイル１１０１の情報から自動あるいは手動で生成される。あるいは、別途ユーザにより作成されても良い。式の例は後に説明する。
（３）ラベル付きＳＥＭ画像１１０３。ラベル付きＳＥＭ画像は、ＳＥＭ画像に対してラベリングが行なわれたデータである。このデータはメタファイル１１０１のＳＥＭ画像と対応付けられている。あるいは、メタファイル１１０１の一部として構成してもよい。あるいは、別個のメタファイルとして構成してもよい。
【００２９】
ラベリングは、例えばＳＥＭ画像をセグメンテーション（領域分類）したものである。あるいは、ＳＥＭ画像の特定の特徴部分をマーキング（抽出）したものである。ラベル付きＳＥＭ画像は、モデルを学習するための教師データや、学習の効果を測定する精度測定用データを作るために用いられる。本実施例では、ラベル付きＳＥＭ画像として、ＳＥＭから取得したＳＥＭ画像（以降「元画像」ということがある）および、当該ＳＥＭ画像を画像処理した画像（以降「処理画像」ということがある）の両方を用いる。
（４）ＳＥＭ画像（元画像）にどのような画像処理を適用したかを記録するログファイル（log file）と画像処理を適用したＳＥＭ画像（処理画像）からなる出力ファイル（output file）１１０４。これはメタファイルとして構成してもよい（後に図６Ｂで説明する）。
（５）材料の組成や結晶構造に関する既存の知識を格納した、知識データベース１１０５。
【００３０】
また、階層型ニューラルネットワークを用いた分析モデルによる、自動分析のための情報として；
（６）ラベル付きＳＥＭ画像から作成した教師データ、あるいはこれに加え精度測定用データを含む、教師データベース１１０６。
（７）階層型ニューラルネットワークを教師データベース１１０６で学習して、分析モデルを生成するモデル学習部１１０７。
（８）学習済みの分析モデルを記憶する学習済モデル記憶部１１０８。
（９）学習済みの分析モデルを用いて、分析対象となるＳＥＭ画像を分析する画像分析部１１０９。
【００３１】
これらの自動分析のための構成は、例えば画素数に対応した入力層を持つニューラルネットワークで構成された分析モデルを用いる手法など含め、公知の技術を用いることができる。
【００３２】
＜２．システムの全体処理フロー＞
図２は、図１の物質構造分析システムによる処理を示す物質構造分析フローチャートである。本実施例では、以下のフローにより、教師データを生成するためのＳＥＭ画像、精度測定用データを生成するためのＳＥＭ画像、および分析対象となるＳＥＭ画像の全てを一括して準備する例を示している。ただし、教師データを生成するためのＳＥＭ画像、精度測定用データを生成するためのＳＥＭ画像、および分析対象となるＳＥＭ画像の少なくとも一部を、他のシステムにより、別のタイミングで準備してもよい。
【００３３】
＜２−１．試料情報と分析トピックの入力（処理Ｓ１〜Ｓ２）＞
図２において、まず、ユーザは、端末１１４から分析対象となる試料１０７の情報を入力する（Ｓ１）。次に、ユーザは、端末１１４から分析トピックを入力する（Ｓ２）。分析トピックは分析のテーマすなわち分析項目で、例えばＳＥＭ画像中で識別したい結晶構造や相の種類である。後に学習される階層型ニューラルネットワークは、入力された分析トピックに応じて、複数の中から適切なものを選択してもよい。
【００３４】
図３に、試料の情報と分析トピックを入力するため、端末１１４を介してユーザに表示されるグラフィカルユーザインタフェース（ＧＵＩ）を示した。
ＧＵＩウィンドウ３００には、複数の小ウィンドウ３０１，３０２，３０５，３０６が表示される。例えば、小ウィンドウ３０１には材料組成（Material Composition）が入力される。組成は周期表（Periodic table）を参照して、元素（element）を指定することで可能となる。また、小ウィンドウ３０２には、試料１０７の製造条件（Process Condition）を入力することができる。条件としては、温度（Temperature）、圧力（Pressure）、添加物（Additives）等がある。これらを用いてユーザは試料１０７の情報を入力することができる。
【００３５】
操作ボタン３０３（Import database Library）を操作することにより、入力した試料１０７の情報に対応する、既知の構造データを知識データベース１１０５から読み出すことができる。構造データは小ウィンドウ３０６に表示される。また、構造データには、当該構造に対応した分析項目が対応付けてある。小ウィンドウ３０５は、分析タブ（Analyzing tab）であり、知識データベース１１０５から読み出した、試料の構造データに対応した分析項目の候補を提示する。ユーザは提示された分析項目の候補から、所望の項目を選択することができる。
【００３６】
図３の例では、操作ボタン３０７と３０８で、相分析（Phase analysis）と不純物分析（Impurity）を選択できる。相分析は試料中の結晶相を弁別する分析である。相分析では、入力した試料１０７の情報に対応して知識データベース１１０５から読み出した結晶構造が、小ウィンドウ３０６に表示される。ユーザは例えば第１相（面心立方：ＦＣＣ）と第２相（体心立方：ＢＣＣ）の弁別を指定する。不純物分析では、主相(Main phase)と主相中に存在する不純物（Impurity）の弁別が行なわれる。ユーザは例えば不純物の種類を指定する。
【００３７】
これらの識別は、最終的には操作ボタン（Start segmentation）４０７を操作することで、当該識別のために機械学習された階層型ニューラルネットワークによる分析モデルが行なう。相分析では、分析モデルによるセグメンテーションにより、画像中の第１相と第２層の識別が行なわれる。不純物分析では、主相中に存在する不純物について、不純物（あるいは析出物）と主相の識別が行なわれる。なお分析項目はこれに限る必要はない。また、結晶構造は操作ボタン３０４（Define crystal structures）で、ユーザが定義することもできる。粒子の平均サイズ（average size of particle）のような他の情報も、入力することができる。
【００３８】
＜２−２．観察条件の入力とＳＥＭ画像の取得（処理Ｓ３〜処理Ｓ４）＞
次にユーザは、ＳＥＭ１００の測定条件（観察条件）を入力する（Ｓ３）。周知のように、ＳＥＭの観察条件としては、倍率、観察範囲、ワーキングディスタンス（対物レンズ１０４と試料１０７表面との距離）、試料台１０８の傾斜角、電子銃１０１等の電極の動作電圧や電流など種々のものがあるが、任意に選択してよい。
【００３９】
図４は、観察条件を入力するため、端末１１４によりユーザに表示されるＧＵＩの例である。ＧＵＩウィンドウ４００には、小ウィンドウ４０１が表示される。ユーザは端末１１４を用いて、小ウィンドウ４０１にＳＥＭ１００の観察条件を入力する。図４で観察条件は、電子銃の電流（Probe current）、電子銃から電子を引き出すための加速電圧（Vacc）、対物レンズの動作電流（Lens current）、検出器の動作方式、たとえば後方散乱電子像（BSE：backscattered electron)や二次電子像（SE：Secondary. Electron）の区別等である。また、ワーキングディスタンス（ＷＤ）等のその他の観察条件を入力あるいは自動的に取得するようにしてもよい。これらの観察条件は、ＳＥＭの稼動履歴を記録した履歴データとなる。
【００４０】
観察条件を設定した後、操作ボタン（Scan start）４０４を操作することで、ＳＥＭ１００は指定した条件により試料１０７を観察し、複数（ｎ枚）のＳＥＭ画像を取得する（Ｓ４）。ｎは自然数で、例えば３以上である。特に限定するものではないが、例えば３枚のＳＥＭ画像がある場合には、１枚を教師データに、１枚を分析器の精度確認用データに、１枚を分析対象に用いることができる。取得したＳＥＭ画像は、記憶部１１０に、ＳＥＭの稼動履歴を記録した履歴データをメタファイル１１０１と関連付けて、記憶する（後に図６で説明する）。
【００４１】
＜２−３．ＳＥＭ画像のラベリング（処理Ｓ４に含む、あるいは別途）＞
後に詳細に説明するように、ここで取得したＳＥＭ画像の一部をラベリングして教師データや精度確認用データに用いることができる。また、過去にラベル付きＳＥＭ画像１１０３として記憶済みのデータを呼び出して再利用することもできる。
【００４２】
図４のＧＵＩウィンドウ４００を用いて、ラベリングされたデータを得る方法を説明する。小ウィンドウ４０２において、現在分析しようとしている材料や分析トピックに適合したラベル付きＳＥＭ画像が、既に記憶部１１０のラベル付きＳＥＭ画像１１０３に記憶してある場合には、操作ボタン４０５（Import labelled image）により適合するデータを呼び出す。
【００４３】
処理Ｓ４で観察したＳＥＭ画像を、処理Ｓ４の一部として、引き続きＧＵＩウィンドウ４００を用いてラベリングすることもできる。その場合には、小ウィンドウ４０２に、ＳＥＭ画像（Measured SEM image）を表示する。ラベリングは、ユーザがＳＥＭ画像を目視して行なうことにする。ポインティングデバイスなどで、ラベル付けしたＳＥＭ画像（Labelled image）を生成する。図４では、ＳＥＭ画像はユーザの指定により、第１相（画像中黒っぽい部分）と第２相（画像中白っぽい部分）の２つの部分に区分されて、ラベルが付されている。ラベル付けしたＳＥＭ画像（Labelled image）は、操作ボタン４０６（Create labelled image）により、記憶部１１０にラベル付きＳＥＭ画像１１０３として記憶される。
【００４４】
＜２−４．画像処理方法の決定および画像処理（処理Ｓ５〜処理Ｓ７）＞
次に、サーバ２００の処理部１１１は、端末１１４を介してユーザに、ＳＥＭ画像（画像イメージ）の画像処理方法を推奨あるいは決定する（Ｓ５）。本実施例では、処理部１１１が予め定めたルールに基づいて、自動的に画像処理方法を決定することにした。
【００４５】
図５Ａは、画像イメージの画像処理方法を決定する処理Ｓ５の流れを示す図である。まず、処理部１１１は、処理Ｓ１〜処理Ｓ３で入力された試料の情報、分析トピック、ＳＥＭ観察条件を入力する（Ｓ５０１）。次に、画像処理データ１１０２を用いて、画像処理のための特定のオプション（処理方法やパラメータなど）を計算する（Ｓ５０２）。次に、決定された画像処理を記録するログファイルを作成する（Ｓ５０３）。
【００４６】
図２に戻って処理フローの説明を続ける。処理Ｓ５での処理方法決定後、処理部１１１は、ラベル付きＳＥＭ画像１１０３からラベリングされたデータを読み込む（Ｓ６）。読み込むデータ数はｍ個とする。ラベリングされたデータは、ＳＥＭ画像イメージと、分析のテーマに基づいたラベリングが組になっている。ラベル付きＳＥＭ画像は、先に処理Ｓ４の一部として説明したように、ユーザがＳＥＭ画像を目視してラベリングを行なっても良い。あるいは、構造が既知の材料からＳＥＭ画像を取得し、既知の構造をラベルとして付してもよい。ラベリングは、図２のフローの一部として実行してもよいし、図２のフロー以前に予め行なっておいてもよい。
【００４７】
次に、サーバ２００の処理部１１１は、処理Ｓ５で決定した処理方法によりラベル付けしたＳＥＭ画像（元画像）を処理して処理画像を得る（Ｓ７）。この処理により、元画像の数がｍ個から増加することになる。たとえば、シェーディングの量を変化させる場合、式１のＷＤを３通り変化させると、ｍ×３枚の新たな画像（処理画像）を得ることができる。撮影している対象は同一であるから、処理画像は、元画像と同様にラベル付けすることができる。よって、ラベル付きＳＥＭ画像は、元画像の数（ｍ）＋処理画像の数（ｍ×３）＝ｍ×４となり、元の４倍に増加する。
【００４８】
以降、処理Ｓ５〜処理Ｓ７について、具体例を示しつつ詳細に説明する。
本実施例では、処理Ｓ４で取得したＳＥＭ画像のシェーディングの状態を画像処理によって変化させ、処理画像を生成する例を説明する。シェーディングとは、試料と対物レンズや検出器との位置関係により、ＳＥＭ画像の一部が影になる現象をいう。
図５Ｂは、一例として、横軸にワーキングディスタンス（ＷＤ）を示し、縦軸にシェーディングの量（％）を示したグラフ図である。例えば、シェーディングの量は、画像の左と右または、一つの角とその角と対向する角の明るさの差で規定している。輝度２５６階調の場合には、その差が０のときシェーディング量０％、その差が２５５になった時シェーディング量１００％となる。
【００４９】
画像処理データ１１０２には、例えば以下のような式が格納されている。
（式１）
Shading correction ∝ f1(WD) × Asample,det
Shading correctionはシェーディングがある画像から、シェーディングがない画像を作るための補正パラメータ（画素毎の輝度の補正量）
WDは対物レンズと試料の間のワーキングディスタンス
f1はＳＥＭに依存する関数
Asample,det は検出器と試料のなす角度
【００５０】
シェーディングはＳＥＭ画像の輝度むらなので、補正パラメータは輝度むらを打ち消すような輝度差を持つ２次元フィルタとして定義することができる。所定の画素に対する補正パラメータは、上記の式１のように計算することができる。式１は使用するＳＥＭの仕様に依存するが、シミュレーションあるいは実験により特定が可能である。Asample,det はＳＥＭ装置の仕様とＷＤから一意に決定できる。Asample,detは一般にＷＤが変わると試料位置が変わるために変化するが、ＷＤが一定であれば定数である。f1はＳＥＭ装置に依存する関数で、シミュレーションあるいは実験により特定が可能である。
【００５１】
ＳＥＭの仕様は既知であるから、ＷＤやAsample,detが取ることのできる範囲は既知である。また、元画像取得時の観察条件は処理Ｓ３で入力され、履歴データとしてメタファイル１１０１に記録されているので既知である。よって、式１により、ＳＥＭ画像（元画像）取得時の条件以外の観察条件において得られるＳＥＭ画像（処理画像）を、元画像を処理して生成することができる。本実施例では、このようにして、元画像から観察条件の異なるＳＥＭ画像（処理画像）を生成することができる。
【００５２】
本実施例の処理Ｓ５０２の具体的な例を説明する。本例では、処理部１１１は予め定めたルールに基づいて、自動的に処理方法を決定する。まず、処理部１１１は、式１に処理Ｓ５０１で入力された元画像の観察条件（ＷＤ）を代入して補正量を計算し、シェーディングがある元画像から、シェーディングがない（シェーディング量０の）ＳＥＭ画像を生成するための第１のフィルタを生成する。
【００５３】
また、処理部１１１は予め定めたルールに基づいて、シェーディングがない画像に対して、弱いシェーディングが生じる観察条件（具体的にはＷＤ）を１または複数あらかじめ決めて記憶部１１０に記憶しておく（あるいはユーザが端末１１４で設定しておく）。処理Ｓ５０２では、その観察条件（ＷＤ）を式１に適用し、得られた補正量の逆特性の第２のフィルタを１または複数生成する。処理Ｓ５０３で、第１及び第２のフィルタは画像処理の内容としてログファイルに記録される。
【００５４】
次に、処理Ｓ６で処理部１１１は、ラベリングされたＳＥＭ画像（元画像）の画像イメージを画像処理のためにｍ枚読み込む。
後の画像処理Ｓ７では、処理Ｓ５で画像処理の内容として決定された、第１及び第２のフィルタを用いて画像処理を行なう。まず、元画像に第１のフィルタを適用して、シェーディング量０のＳＥＭ画像を生成する。次に、シェーディング量０のＳＥＭ画像に１または複数の第２のフィルタを適用して、弱いシェーディングが生じるＳＥＭ画像を１または複数生成する。第２のフィルタにより、求めた補正量の逆の補正量（例えば補正量の符号を逆転した補正量）をシェーディングがないＳＥＭ画像に適用することで、シェーディングのある処理画像を生成することができる。
【００５５】
以上の処理によって、１つの元画像から、１または複数の処理画像を得ることができる。また、強いシェーディングがあるＳＥＭ画像は分析に適さないが、得られた処理画像は分析に適した弱いシェーディングの条件でバリエーションを持つため、教師データとして適している。
【００５６】
＜２−５．メタファイルの構成例＞
図６Ａに、メタファイル１１０１の一部である、ＳＥＭの稼動履歴を記録した履歴データ６０１の一例を示す。このような履歴データをＳＥＭ画像（元画像）と関連付けて記憶部１１０に記録しておく。履歴データにより、取得したＳＥＭ画像のＳＥＭ観察条件が分かるので、過去のＳＥＭ画像を元画像として、多数の処理画像を生成することができる。
【００５７】
図６Ｂに出力ファイル１１０４の一部である、出力データ６０２の一例を示す。このような出力データをＳＥＭ画像（処理画像）と関連付けたメタファイルとして記憶部１１０に記録しておく。出力データ６０２は、元画像の履歴データの内容を引き継いでいるが、画像処理によってパラメータを変更された部分のデータは変更されている。
【００５８】
たとえば図６Ｂの画像イメージは、図６Ａの１列目の画像イメージのＷＤを変更してシェーディングを調整した処理画像である。処理画像はデータ上、元画像と同様に教師データや精度測定用データとして用いることができる。すなわち本実施例によると、教師データベースの材料となる画像の量を大きく増やすことが可能となる。また、図示していないが、出力データ６０２の各画像イメージには、元画像を処理した画像処理の内容が対応付けられている。
【００５９】
＜２−６．分析モデルの学習（処理Ｓ８〜Ｓ９）＞
次に、画像処理によって増加したラベル付きＳＥＭ画像を用いて、セグメンテーションのためのデータセットを準備する。このデータは、例えば階層型ニューラルネットワークを学習するための教師データおよび精度測定用データである。階層型ニューラルネットワークの機械学習については、公知であるので詳細は省略するが、数が増加したラベル付けしたＳＥＭ画像のそれぞれを入力ｘとし、それに対する正解出力ｔ組からなる教師データセットや精度測定用データセットを生成する（Ｓ８）。教師データセットや精度測定用データセットの集合は、教師データベース１１０６として記憶部１１０に格納される。本実施例では、教師データベース１１０６はＳＥＭ画像とラベリング情報をデータセットとした、ラベル付きＳＥＭ画像の集合である。
【００６０】
モデル学習部１１０７は、教師データセットを階層型ニューラルネットワークの入力として、出力が正解に近づくように機械学習を行ないモデルを生成する（Ｓ９）。生成したモデルは、記憶部１１０の学習済モデル記憶部１１０８に記憶される。
【００６１】
＜２−７．分析器による分析と精度測定（処理Ｓ１０〜Ｓ１３）＞
次に画像分析部１１０９は、機械学習が完了したモデルを用いて、ラベル付きＳＥＭ画像から教師データセットと同様に生成された精度測定用データセットの分析を行なう（Ｓ１０）。そして、分析結果を表示する（Ｓ１１）。精度測定用データセットの分析結果は正解と照合されて、セグメンテーションの精度が計算される（Ｓ１２）。一連の処理が終了すると、ログファイルが更新され、出力ファイルが作成される（Ｓ１３）。
【００６２】
精度測定用データセットは正解が分かっているデータである必要があるが、教師データセットとは異なる元画像から生成されたデータであることが望ましい。元画像が同じだと、実際よりも精度が高く評価される傾向があるからである。
【００６３】
図４のＧＵＩウィンドウ４００を用いて、分析結果を表示する方法を説明する。小ウィンドウ４０３に分析結果が表示されている。図４には８枚のＳＥＭ画像のセグメンテーション結果（Image segmentation）が示される。８枚のうち、「Ｔｒ」が表示されているＳＥＭ画像は、学習に用いたＳＥＭ画像である。したがって、セグメンテーションは正解が表示されている。他の６枚は、精度評価のために分析したＳＥＭ画像である。小ウィンドウ４０３の右側には、精度（Segmentation accuracy）、第１相の割合（Average Area - phase 1）、第２相の割合（Average Area - phase 2）などが表示される。精度が低い場合には、操作ボタン４０８（Train again）によって、再度機械学習を行うことができる。一般に、機械学習を繰り返すことでモデルの精度を向上させることができる。
【００６４】
＜３．実施例の効果＞
以上説明した処理により、少数の元画像から大規模な教師データベースを作成することができる。よって少ないコストで、分析モデルの学習が可能となる。
【００６５】
図７は、実施例の効果を示すグラフである。横軸は教師データの数であり、縦軸は分析（セグメンテーション）精度である。本実施例により元画像と元画像を処理した処理画像を教師データとして用い、学習を行なったモデル７０１は、元画像のみで学習したモデル７０２よりも、識別精度が高い。これは、良質の教師画像を人為的に生成することができることによると考えられる。なお、所望の識別精度が得られない場合には、図２の処理Ｓ１４のように、イメージ処理方法や処理画像数を変更して再度処理を行なうことも可能である。
【００６６】
図８は、本実施例のＳＥＭ画像の処理の概念を示す図である。取得したｎ枚のＳＥＭ画像８０１は、処理Ｓ４でＳＥＭが取得した元画像（ここではｎ＝８枚とする）である。このうちｍ枚（ここではｎ＝２枚とする）についてラベリングを行い、ラベル付きＳＥＭ画像８０２として処理Ｓ６で読み込む。ラベル付きＳＥＭ画像８０２は、処理Ｓ７により、それぞれについて例えば３枚の処理画像が生成され、４倍に増える。この結果、学習用（教師用および精度測定用）の８個のデータセット８０３が生成されることになる。モデルの学習用にこのうちの一部が使用され、学習済みモデルの精度測定に他の一部８０４が使用される。精度測定の信頼性を向上するため、学習用と精度測定用には、ｎ枚の元画像のうち異なる元画像を持つものを選択するのが良い。精度測定の結果、モデルの精度が不十分であった場合には、（１）処理画像を生成する画像処理方法を変更する、（２）処理画像を生成する数を増やす（例えば４倍から１０倍に増加）、（３）教師データを生成するための元画像の数を増やす（例えばｍ＝２枚から５枚に増加）、等の処理Ｓ１４を行なって、再学習を行なう。
【００６７】
精度が十分なモデルが完成したら、ｎ枚の取得したＳＥＭ画像８０１のうち、ラベリングをしていないＳＥＭ画像については、当該モデルを用いて自動分析することが可能となる。このようにして、画像分析の労力やコストを大幅に低減することが可能となる。
【実施例２】
【００６８】
図９に、実施例２の全体的な処理を示す物質構造分析フローチャートを示す。実施例２は、基本的な構成は実施例１と同じである。相違点としては、処理Ｓ５で推奨する画像処理方法による処理画像をＧＵＩで表示し、処理Ｓ１４でユーザが最終的に行なう画像処理を決定できるようにした点である。
【００６９】
図１０は、処理Ｓ１４で端末１１４によりユーザに表示されるＧＵＩウィンドウ１０００を示す図である。小ウィンドウ４０１は図４と同じである。
【００７０】
小ウィンドウ１００２には、観察されたＳＥＭ画像（Measured SEM image）と、推奨した画像処理方法による処理画像のプレビュー（Preview of processed images）が並べて表示される。
【００７１】
小ウィンドウ１００３には、セグメンテーションの準備のため（Preparations for segmentation）画像処理方法の一覧と、それぞれの画像処理におけるパラメータ調整用のスライダー１００４が表示されている。図１０の例では、異方性相評価（Anisotropy phase evaluation）、工程上のボイド（Voids from manufacturing）、小粒子評価（Tidy particle evaluation）、シェーディング補正（Shading correction）、輝度／コントラスト調整（B/C adjustment）、スクラッチ量（Scratch volume）、が規定される。さらにユーザの定義（User defined 1）も可能である。ユーザは、操作ボタン（Browse image processing）１００５を操作することにより、外部のデータベースを参照して新たなウィンドウ（図示せず）を開き、所望の画像処理ツールを呼び出すことができる。
【００７２】
元画像を画像処理してラベル付きＳＥＭ画像の数を増やす手法として、画像を回転させることが考えられる。例えば、１枚の画像を９０度ずつ回転させると新たに３枚の画像が生成できる。ただし、この手法は試料に配向性がある場合は適用できない。異方性相評価にチェックを入れると、画像の回転が無効化される。チェックがない場合は画像を回転して処理画像を生成する処理を行なう。画像の回転処理は、デフォルトで行なうことにしてもよい。画像の回転処理により処理画像の数を増やすことができる。
【００７３】
工程上のボイドは、試料を作成する際に生じる微小な空洞等である。ボイドの発生頻度は、同じ試料でも場所によって異なる場合がある。ボイドの発生頻度は、試料によりそのとり得る範囲が分かっている。画像処理により、とり得る範囲でボイドを人為的にランダムに発生させるなどして、その量を変化させることができるので、ＳＥＭ画像のバリエーションを増やすことができる。
【００７４】
小粒子評価は、微小な析出物を分析したい場合に適する処理である。画像のボケ量は観察条件により異なるため、画像のボケ量を調整して処理画像を生成する。ボケ量を調整するために、分析対象となる析出物が観測できる範囲で、画像の平滑化処理を行なう。実施例４で説明する。
【００７５】
シェーディング補正については、実施例１で説明した。輝度やコントラスト調整については、実施例３で説明する。
【００７６】
スクラッチ量は、試料を作成（研磨など）する際に生じる線状の傷である。ボイドの処理と同様に、画像処理によりスクラッチの大きさや発生頻度を人為的に変化させることができる。試料を作成する際の作成条件のばらつきを再現することができる。
【００７７】
ユーザは、適用したい画像処理方法をチェックで選択し、処理パラメータをスライダー１００４で設定する。あるいは、他の画像処理方法を操作ボタン（Brows image processing）で呼び出すこともできる。
【００７８】
設定と連動して、小ウィンドウ１００２に処理画像（Preview of processed images）が表示される。ユーザは、画像処理方法が決定したらＯＫボタン１００６の操作によって、画像処理方法を決定する。
【００７９】
本実施例によれば、ユーザの知識を活用して、教師データベースに適した処理画像を生成することが可能である。なお、上記で説明した画像処理方法は、実施例１のようにユーザに選択させずにシステムが自動的に決定してもよい。
【実施例３】
【００８０】
本実施例は、処理フローは実施例１の図１と同様である。図２のイメージ処理（Ｓ５〜Ｓ７）において、異なる日または時間に取得したと仮定したＳＥＭ画像を生成する例である。そのための画像処理は、以下の式２に基づいて行なう。この式２は、画像処理データ１１０２に含まれる。
（式２）
Brightness (or Contrast) ∝ f2(WD) ×Ip ×f3(G) × f4(Vacc)
Brightness (or Contrast)は、輝度（またはコントラスト）
Ipは電子銃の電流値
Gは検出器のゲイン
Vaccは加速電圧
f2,f3,f4はＳＥＭに依存する関数
【００８１】
一般に電子銃１０１の電流Ｉｐは、稼働時間とともに変動することが知られており、その特性は使用するＳＥＭの仕様に依存する。説明上、f2(WD)、f3(G)、f4(Vacc)を固定（定数）とすると、式２は以下のように書ける。
（式３）
Brightness (or Contrast) adjustment ∝ Ip ( t )
【００８２】
図１１Ａは、横軸にＳＥＭの稼働時間ｔを示し、縦軸に電子銃１０１の電流Ｉｐを示したグラフ図である。時間の原点（０）は、ＳＥＭのスイッチをＯＮにした時点である。式３では上記のように、Ｉｐは時間ｔとともに変動する。f2,f3,f4は装置に依存して既知である。このような特性は予め、ＳＥＭの稼動データを取得することにより記録しておくことができる。WD、G、Vaccは観察時の条件として取得が可能である。いま、WD、G、Vaccを固定とすれば、電流ＩｐはＳＥＭ画像の輝度と相関があるから、時間ｔと輝度の関係を導くことができる。
【００８３】
図１１Ｂは、横軸にＳＥＭの稼働時間ｔを示し、縦軸にＳＥＭ画像の輝度を示したものである。相対値により最高輝度を１００、最低輝度を０としている。ＳＥＭ画像を取得したときのＳＥＭの稼働時間ｔ１は既知である。よって、図１１Ｂの関係性を用いて、元画像取得時ｔ１以外の時点ｔ２において得られるＳＥＭ画像を、元画像を処理して生成することができる。
【００８４】
たとえば、元画像をｔ１、ｔ２、ｔ３のタイミングで取得したとし、それぞれの時点で時間ｔと輝度の関係性から得られる輝度が７０、６０、５０だったとする。処理画像作成のための輝度の調整範囲は５０から７０までになる。ｔ１のタイミングで取得した元画像は、輝度を６／７と５／７にする画像処理により、ｔ２とｔ３の時点の処理画像を生成することができる。ｔ２のタイミングで取得した元画像は、輝度を７／６と５／６にする画像処理により、ｔ１とｔ３の時点の処理画像を生成することができる。ｔ３のタイミングで取得した元画像は、輝度を７／５と６／５にする画像処理により、ｔ１とｔ２の時点の処理画像を生成することができる。
【００８５】
以上のように、元画像から１または複数の処理画像を生成することができる。元画像１枚あたりに何枚の処理画像を作るかは、輝度の調整範囲内で、何種類の処理画像を生成するかによって決めることができる。例えば、ユーザが自由に、調整範囲、調整範囲内の間隔、処理画像の生成枚数等を登録あるいは変更することができる。
【００８６】
このようにして生成したＳＥＭ画像は、元画像のラベリングとセットで教師データとして用いることができる。このとき、元画像による教師データとともに教師データベースとすることもできるし、ｔ２の時点を想定して生成したＳＥＭ画像だけで教師データベースを構成してもよい。
【００８７】
なお、画像はBrightness（輝度）のみ持っているが、画像処理の操作はBrightness と Contrastの動作がある。Brightnessは輝度のシフト（全体的にプラスかマイナス）。Contrastは輝度の分散を変更する。たとえば画像内の輝度は、50-80の輝度からBrightness処理で100-130になる。Contrast処理では、50-80の輝度から40-100になる。
【００８８】
また、（式２）の変形例として（式２−２）がある。
（式２−２）
Brightness (or Contrast) ∝ f2(WD) ×Ip ×f3(G) × f4(Vacc) ×f8(Gdigital)
（式２−２）では、（式２）にf8(Gdigital)が追加されている。Gdigital はＳＥＭ画像取得時に設定するdigital gainまたはdigital brightnessまたはdigital contrast等である。すなわち、GdigitalはＳＥＭ画像取得時に、装置側で電子的に信号を処理することで変更可能な画像のパラメータである。Gdigital はなくてもＳＥＭ画像取得はできるが、一般的なシステムでは設定することが可能である。
【実施例４】
【００８９】
本実施例は、処理フローは実施例１の図１と同様である。ＳＥＭ画像のボケ量を再現するために、ＳＥＭ画像に平滑化処理を行なう。平滑化処理には平滑化フィルタを適用すればよい。平滑化フィルタによる画像処理では、ＳＥＭ画像の個々の画素に対して，対応画素の周辺の画素値の重みつき和を計算して，対応画像の画素値とする。
【００９０】
図２の処理Ｓ５において、画像処理内容を決定するパラメータとしては、対応画素の周辺の画素としてどの範囲を用いるか、あるいは、どの程度の重みを用いるかがある。
【００９１】
このとき、析出物の評価を行なう場合、析出物が見えなくならない（すなわち分析モデルによって分析できる）範囲の平滑化量を算出する必要がある。式４は、観察条件と試料の情報に基づいて、画像処理のための平滑化レベルを規定する式の例である。この式４は、画像処理データ１１０２に含まれる。
（式４）
Smoothing level ∝ f5(average size of particle) × f6(SEM magnification) × f7(image size)
Smoothing levelはＳＥＭ画像の平滑化レベル
average size of particleはＳＥＭ画像中の粒子の平均サイズ
SEM magnificationはＳＥＭの倍率
image sizeはＳＥＭ画像のサイズ
f5,f6,f7はＳＥＭに依存する関数
ここで、ＳＥＭ画像の平滑化レベルは、対応画素の周辺の画素の範囲を規定する。
【００９２】
以上説明した実施例によると、少ない量の観察画像（元画像）から処理画像を生成することで、多量の教師データを構築することができる。このため、例えばＳＥＭにより取得するＳＥＭ画像の数を減らすことができる。また、ＳＥＭ画像に対するラベリングの工数も減らすことができる。
【００９３】
本実施例では、元画像を取得した際の観察条件と、元画像を取得した観察装置のスペックに基づいて、元画像を処理する。よって、処理画像は実際に観察装置で観察した画像と等価な画像を生成することができる。よって、処理画像から作成した教師データの入力ｘとそれに対する正解出力ｔの対応が適切であるため、この教師データを用いて学習したモデルの識別精度も低下することがない。
【符号の説明】
【００９４】
ＳＥＭ１００、サーバ２００、記憶部１１０、処理部１１１
【図１】
2020129439.tif 000003
【図２】
2020129439.tif 000004
【図３】
2020129439.tif 000005
【図４】
2020129439.tif 000006
【図５Ａ】
2020129439.tif 000007
【図５Ｂ】
2020129439.tif 000008
【図６Ａ】
2020129439.tif 000009
【図６Ｂ】
2020129439.tif 000010
【図７】
2020129439.tif 000011
【図８】
2020129439.tif 000012
【図９】
2020129439.tif 000013
【図１０】
2020129439.tif 000014
【図１１Ａ】
2020129439.tif 000015
【図１１Ｂ】
2020129439.tif 000016