(57)【要約】  本開示は、寸法計測に要する時間の短縮とオペレータ起因の誤差を排除する寸法計測装置に関する。  入力された画像を用いて計測対象の寸法が計測される寸法計測装置であって、入力された画像の各領域が領域別にラベル付けされた第１の画像が機械学習により生成され、生成された第１の画像を基に第１の画像の各領域を示すマーカを含む中間画像が生成され、入力された画像と生成された中間画像を基に入力された画像の各領域が領域別にラベル付けされた第２の画像が生成され、生成された第２の画像を用いて隣接する領域の境界線の座標が求められ、求められた境界線の座標を用いて計測対象の寸法条件を規定する特徴点の座標が求められ、求められた特徴点の座標を用いて計測対象の寸法が計測されることを特徴とする。
2021024402.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像を用いて計測対象の寸法が計測される寸法計測装置であって、
前記入力された画像の各領域が領域別にラベル付けされた第１の画像が機械学習により生成され、
前記生成された第１の画像を基に前記第１の画像の各領域を示すマーカを含む中間画像が生成され、
前記入力された画像と前記生成された中間画像を基に前記入力された画像の各領域が領域別にラベル付けされた第２の画像が生成され、
前記生成された第２の画像を用いて隣接する領域の境界線の座標が求められ、
前記求められた境界線の座標を用いて前記計測対象の寸法条件を規定する特徴点の座標が求められ、
前記求められた特徴点の座標を用いて前記計測対象の寸法が計測されることを特徴とする寸法計測装置。
【請求項２】
前記中間画像は、拡大処理または縮小処理により前記第１の画像の各領域を再定義した領域を示す画像であることを特徴とする請求項１に記載の寸法計測装置。
【請求項３】
前記特徴点の座標は、前記求められた境界線の座標に対して定義された特徴点検出対象と、前記求められた境界線の座標に対して定義された特徴点検出範囲と、前記求められた境界線の座標に対して定義された特徴点検出方向を基に求められることを特徴とする請求項１に記載の寸法計測装置。
【請求項４】
前記機械学習は、深層学習を用いるセマンティック・セグメンテーション手法であり、
前記第２の画像は、輝度情報を用いるセマンティック・セグメンテーション手法により生成されることを特徴とする請求項１に記載の寸法計測装置。
【請求項５】
前記輝度情報を用いるセマンティック・セグメンテーション手法は、
Ｗａｔｅｒｓｈｅｄ変換アルゴリズムまたはＧｒａｐｈ  ｃｕｔアルゴリズムであることを特徴とする請求項４に記載の寸法計測装置。
【請求項６】
前記入力された画像は、断面ＳＥＭ（Ｓｃａｎｎｉｎｇ  Ｅｌｅｃｔｒｏｎ  Ｍｉｃｒｏｓｃｏｐｙ）画像であることを特徴とする請求項１に記載の寸法計測装置。
【請求項７】
前記入力された画像は、ＴＥＭ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｅｌｅｃｔｒｏｎ  Ｍｉｃｒｏｓｃｏｐｙ  ）画像であることを特徴とする請求項１に記載の寸法計測装置。
【請求項８】
試料が処理される処理装置と、
前記処理装置による処理結果が画像として撮影される評価装置と、
前記評価装置により撮影された画像である入力された画像を用いて計測対象の寸法が計測される寸法計測装置とがネットワークを介して接続されている半導体製造システムであって、
前記寸法計測装置は、
前記入力された画像の各領域が領域別にラベル付けされた第１の画像が機械学習により生成され、
前記生成された第１の画像を基に前記第１の画像の各領域を示すマーカを含む中間画像が生成され、
前記入力された画像と前記生成された中間画像を基に前記入力された画像の各領域が領域別にラベル付けされた第２の画像が生成され、
前記生成された第２の画像を用いて隣接する領域の境界線の座標が求められ、
前記求められた境界線の座標を用いて前記計測対象の寸法条件を規定する特徴点の座標が求められ、
前記求められた特徴点の座標を用いて前記計測対象の寸法が計測されることを特徴とする、
半導体製造システム。
【請求項９】
前記処理装置は、
プラズマエッチング装置であり、
前記評価装置は、断面ＳＥＭ装置であることを特徴とする、
請求項８に記載の半導体製造システム。
【請求項１０】
入力された画像を用いて計測対象の寸法を計測する寸法計測方法であって、
前記入力された画像の各領域が領域別にラベル付けされた第１の画像を機械学習により生成する工程と、
前記生成された第１の画像を基に前記第１の画像の各領域を示すマーカを含む中間画像を生成する工程と、
前記入力された画像と前記生成された中間画像を基に前記入力された画像の各領域が領域別にラベル付けされた第２の画像を生成する工程と、
前記生成された第２の画像を用いて隣接する領域の境界線の座標を求める工程と、
前記求められた境界線の座標を用いて前記計測対象の寸法条件を規定する特徴点の座標を求める工程と、
前記求められた特徴点の座標を用いて前記計測対象の寸法を計測する工程と、
を有することを特徴とする寸法計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、寸法計測装置、寸法計測方法及び半導体製造システムに関する。
【背景技術】
【０００２】
近年、半導体デバイスの性能向上のため、半導体デバイスに新材料が導入され、同時に半導体デバイスの構造が立体化・複雑化している。また、現在の先端半導体デバイスの加工では、ナノメートルレベルの精度が要求される。このため、半導体処理装置は多種の材料を種々の形状に極めて高精度に加工できる必要がある。そして、多種の材料を極めて高精度に加工するためには、各々の材料における形状を客観的に測定し、数値化して、加工方法を最適化する必要がある。その一方、半導体デバイスの構造の立体化・複雑化の進展に応じて、測定ニーズも飛躍的に増大し、短時間で高精度に多点測定を行う要求が高まっている。【０００３】
この高精度加工のための計測には、加工試料の断面についてＳＥＭ（Ｓｃａｎｎｉｎｇ  Ｅｌｅｃｔｒｏｎ  Ｍｉｃｒｏｓｃｏｐｅ）又はＴＥＭ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｅｌｅｃｔｒｏｎ  Ｍｉｃｒｏｓｃｏｐｅ）などによる画像を取得し、その画像上の領域を手作業で計測するのが一般的である。しかしながら、手作業による計測を先端プロセスに適用する場合には、加工試料の構造が複雑になる上、画像１枚当たりの測定点数も増えることから、人手で行う寸法抽出は限界に達しつつある。【０００４】
加えて、手動による計測では、計測値にオペレータ依存性が生じる。また、ライン／スペースの単位パターンが繰り返される画像でも、個々のパターン毎に１つ１つ計測するため、計測値の統計量には、プロセスのばらつき以外に、人的誤差が加算される。更に、加工条件最適化を進める途中で、当初計画していた測定個所よりも重要な測定箇所が見出された場合、既に測定を行った全画像の再計測が必要となる。
これらの課題に対し、寸法計測の自動化が可能となれば、計測に要する所要時間は大きく短縮されるとともに、より正確に加工形状を把握することが可能となる。【０００５】
これらの課題に対して、様々な解決策が提案されている。
例えば、再公表２０１８−１８９８７７（特許文献１）には「細胞の観察画像から細胞の特徴をより客観的かつ高精度に算出し、細胞の評価を行うことができる荷電粒子線装置を提供する。荷電粒子線装置は、細胞の画像を取得する画像取得部１８と、画像の輪郭を抽出する輪郭抽出部１９と、輪郭に基づいて輪郭の形態的特徴量を算出し、輪郭の内部領域に含まれる細胞質などの内部構造物の特徴量を算出する特徴量算出部２０と、この特徴量に基づいて細胞の良否及び／又は機能性を判定する判定部２１とを備え、撮像画像に含まれる細胞の良否及び／又は機能性を客観的かつ高精度に評価することができる。」と記載されている。【０００６】
また、特開２０１２−６８１３８号公報（特許文献２）には「パターン断面画像を画像処理して断面の輪郭線座標データを抽出し、前記輪郭線座標データからパターン上部と下部に相当する座標値を抽出し、パターンの高さ、計測範囲２点の座標値及び計測範囲の高さを算出する。前記２点の座標値に相当するｘ方向の輝度分布信号を取得し、信号から断面ＳＥＭ画像特有の白い影部分に相当する範囲の信号成分を除去する。前記信号に対して、相互相関法を適用し、２つの信号間距離を算出し、側壁角度を算出する。」と記載されている。【０００７】
また、特開２００２−３５０１２７号公報（特許文献３）には、「顕微鏡画像におけるパターンの各辺部に対してエッジ検出範囲とエッジポイントの数とを指定してエッジ検出基準線を設定するステップと、設定されたエッジ検出基準線に対して垂直方向からサーチして輝度変化点であるエッジポイントを画像情報より抽出するステップと、複数のエッジポイントの位置情報を基にパターンの各辺部を近似する線を割り出すステップと、該パターンの各辺部の近似線情報から２本の線の交点、複数の交点から割り出される特定点、２本の直線のなす角度、特定された二点間の距離によってパターンの形状を特定するステップ。」と記載されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】再公表２０１８−１８９８７７号公報
【特許文献２】特開２０１２−６８１３８号公報
【特許文献３】特開２００２−３５０１２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記の特許文献１では、画像における対象物の輪郭を適切に抽出することを前提としている。しかし、半導体デバイス構造の形状測定においては、輪郭の適切な抽出自体が困難なケースが多い。その一例として、断面ＳＥＭの場合には、観察している断面の奥行方向にある試料表面から二次電子が放出されるため、真空である領域と半導体デバイスの領域との界面に白い影の部分が生じることがある。そしてこのような白い影によって輪郭線抽出が困難になることがある。そのため、特許文献１に記載の手段を半導体デバイス構造の形状測定に適用しても、良好な測定結果が得られないことがある。【００１０】
特許文献２及び特許文献３には、いずれにも画像の輝度値を用いて、手動の方法によりオブジェクトのエッジポイントや輪郭を特定する手段が記載されているが、これらは、目視による操作を伴っているため、依然としてオペレータ依存性が残る。また、オペレータは画像を１枚ずつ見ながら作業するため、作業時間を要する。加えて、寸法計測個所を後の段階で追加・変更したい場合には、画像から目視で測り直す必要がある。【００１１】
更に、断面ＳＥＭ画像（又は断面ＴＥＭ画像）に含まれる対象物を計測するに際しては、画像毎に明るさが異なる、寸法計測に不必要な奥の構造が写っている、寸法を計測したい異種材料界面の境界が不明瞭、といった課題を有している。このため、輝度値のみを基準としたエッジ検出法に基づく特許文献２及び３の方法では、界面位置を目視で判断して指定するなどの操作が必要となっている。【００１２】
このため、特許文献１〜３のいずれにも、断面ＳＥＭ画像（又は断面ＴＥＭ画像）に対して高精度の計測結果を自動的に提供することについては考慮されていない。そこで、機械学習、特に深層学習を用いた画像認識技術を応用することにより、目視による調整が不要な完全自動計測を実現し、かつ、局所的な輝度分布ではなく、画像に写っている個々の物体の領域を認識することにより物体の輪郭を抽出する手法が望まれている。【００１３】
一方で、深層学習を用いた画像認識技術にも課題が挙げられる。それは、学習データセットや学習モデルに起因する測定モデル依存性がある点である。異なる学習データセットを用いる場合、あるいは異なる学習モデルを使用した場合、入力画像が同じであっても各々の推論結果は基本的には異なるため、それらを直接比較することはできない。すなわち、異なる画像間を定量的に比較するために測定を行ったにも拘らず、上述の理由により、比較ができないという矛盾が生じる。【００１４】
そこで、本発明は、機械学習（例えば深層学習による画像認識技術）と輝度を基準とした画像処理技術を組み合わせて用い、断面ＳＥＭから所望の寸法を自動で計測することにより、寸法計測時間の短縮とオペレータや深層学習に起因する誤差を含まない計測手段を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記の課題を解決するために、代表的な本発明の寸法計測装置の一つは、入力された画像を用いて計測対象の寸法が計測される寸法計測装置であって、入力された画像の各領域が領域別にラベル付けされた第１の画像が機械学習により生成され、生成された第１の画像を基に第１の画像の各領域を示すマーカを含む中間画像が生成され、入力された画像と生成された中間画像を基に入力された画像の各領域が領域別にラベル付けされた第２の画像が生成され、生成された第２の画像を用いて隣接する領域の境界線の座標が求められ、求められた境界線の座標を用いて計測対象の寸法条件を規定する特徴点の座標が求められ、求められた特徴点の座標を用いて計測対象の寸法が計測されることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、機械学習（例えば深層学習による画像認識技術）と輝度を基準とした画像処理技術を組み合わせて用い、断面ＳＥＭから所望の寸法を自動で計測することにより、寸法計測時間の短縮とオペレータや深層学習起因の誤差を含まない計測手段を提供することができる。
上記した以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施例を実施するためのコンピュータシステムのブロック図である。
【図２】本発明の実施例に係る半導体製造システムの構成例を示す図である。
【図３】本発明の実施例に係るセマンティック・セグメンテーションモデル用のニューラルネットワークの構成の一例を示す図である。
【図４】本発明の実施例１に係る寸法計測方法の流れを示すフローチャートである。
【図５】本発明の実施例１に係る物体検出モデルの学習データに用いるアノテーションデータの一例を示す図である。
【図６】本発明の実施例１に係る寸法の個所と特徴点との対応関係を説明するための図である。
【図７】本発明の実施例１に係るセマンティック・セグメンテーションモデルの学習データに用いるアノテーションデータにおけるラベル名・ラベル番号・色の対応関係を示すテーブルである。
【図８】本発明の実施例１に係る入出力装置に表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）画面の一例を示す図である。
【図９】本発明の実施例に係るテスト画像の一例を示すための図である。
【図１０】本発明の実施例２に係る寸法計測方法の流れを示すフローチャートである。
【図１１】本発明の実施例２に係る入出力装置に表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）画面の一例を示す図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明の実施形態について説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【００１９】
本発明に係る寸法計測手段は、第１の領域分割部と、第２の領域分割部と、寸法計測部を備える。第１の領域分割部は、計測対象物の画像の加工構造における各領域や背景を区別する画像認識モデルを用いる。この画像認識モデルは、断面ＳＥＭ画像と、断面ＳＥＭ画像の各領域が正しくラベル付けされた結果を示すアノテーション画像（すなわち、教師データ）とを用いて訓練され、領域別のラベル付け方法を学習する。
【００２０】
第２の領域分割部は、第１の領域分割部から出力されたラベル付け画像から、第１の画像における各領域を示すマーカを含む画像を中間画像として生成し、このマーカと入力画像となる断面ＳＥＭの画像に基づいて、入力画像の輝度情報を基にして領域別にラベル付けされた画像を生成する。
【００２１】
寸法計測部は、領域分けした画像から、隣接する領域における領域境界線の座標を計算し、特徴点の検出対象と、検出範囲と、検出方向等の計測条件による寸法定義を用いて、ＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）毎に計測対象の寸法条件を規定する特徴点の座標を計算することにより、所定の個所の寸法を計測する。つまり、特徴点の座標は、境界線の座標に対して定義された特徴点検出対象と、境界線の座標に対して定義された特徴点検出範囲と、境界線の座標に対して定義された特徴点検出方向に基づいて求められる。そして、所定の箇所の寸法は、求められた特徴点の座標に基づいて計測される。
以上より、オペレータの目視による調整を必要とせず、断面ＳＥＭ画像から所定の寸法値を自動で計測することが可能となる。
以下、本発明の実施形態を添付図面に基づいて説明する。
【００２２】
まず、図１を参照して、本開示の実施形態を実施するためのコンピュータシステム３００について説明する。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム３００の主要コンポーネントは、１つ以上のプロセッサ３０２、メモリ３０４、端末インターフェース３１２、ストレージインタフェース３１４、Ｉ／Ｏ（入出力）デバイスインタフェース３１６、及びネットワークインターフェース３１８を含む。これらのコンポーネントは、メモリバス３０６、Ｉ／Ｏバス３０８、バスインターフェースユニット３０９、及びＩ／Ｏバスインターフェースユニット３１０を介して、相互的に接続されてもよい。
【００２３】
コンピュータシステム３００は、プロセッサ３０２と総称される１つ又は複数の汎用プログラマブル中央処理装置（ＣＰＵ）３０２Ａ及び３０２Ｂを含んでもよい。ある実施形態では、コンピュータシステム３００は複数のプロセッサを備えてもよく、また別の実施形態では、コンピュータシステム３００は単一のＣＰＵシステムであってもよい。各プロセッサ３０２は、メモリ３０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。
【００２４】
ある実施形態では、メモリ３０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。メモリ３０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ３０４は、寸法計測管理アプリケーション３５０を格納していてもよい。ある実施形態では、寸法計測管理アプリケーション３５０は、後述する機能をプロセッサ３０２上で実行する命令又は記述を含んでもよい。
【００２５】
ある実施形態では、寸法計測管理アプリケーション３５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウエアで実施されてもよい。ある実施形態では、寸法計測管理アプリケーション３５０は、命令又は記述以外のデータを含んでもよい。ある実施形態では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット３０９、プロセッサ３０２、またはコンピュータシステム３００の他のハードウエアと直接通信するように提供されてもよい。
【００２６】
コンピュータシステム３００は、プロセッサ３０２、メモリ３０４、表示システム３２４、及びＩ／Ｏバスインターフェースユニット３１０間の通信を行うバスインターフェースユニット３０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット３１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス３０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット３１０は、Ｉ／Ｏバス３０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインタフェースユニット３１２，３１４，３１６、及び３１８と通信してもよい。
【００２７】
表示システム３２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置３２６に提供することができる。また、コンピュータシステム３００は、データを収集し、プロセッサ３０２に当該データを提供するように構成された１つまたは複数のセンサ等のデバイスを含んでもよい。
【００２８】
例えば、コンピュータシステム３００は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム３２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置３２６に接続されてもよい。
【００２９】
Ｉ／Ｏインタフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インタフェースユニット３１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス３２０の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス３２０及びコンピュータシステム３００に対して入力データや指示を入力し、コンピュータシステム３００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス３２０を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。
【００３０】
ストレージインタフェース３１４は、１つ又は複数のディスクドライブや直接アクセスストレージ装置３２２（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施形態では、ストレージ装置３２２は、任意の二次記憶装置として実装されてもよい。メモリ３０４の内容は、ストレージ装置３２２に記憶され、必要に応じてストレージ装置３２２から読み出されてもよい。Ｉ／Ｏデバイスインタフェース３１６は、プリンタ、ファックスマシン等の他のＩ／Ｏデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース３１８は、コンピュータシステム３００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク３３０であってもよい。
【００３１】
ある実施形態では、コンピュータシステム３００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施形態では、コンピュータシステム３００は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。
【実施例１】
【００３２】
本実施例では、計測対象物の画像における加工構造と背景の間の境界線や、異種材料間の界面の境界線の座標を抽出するために、ＲＯＩ検出アルゴリズム、セマンティック・セグメンテーションモデル、及び分水嶺アルゴリズムを組み合わせて用いる。【００３３】
ここで、セマンティック・セグメンテーションモデルは、画像の各ピクセルをクラスラベル(「花」、「人物」、「道路」、「空」、「海洋」、「自動車」など)に関連付けるプロセスを実行する機械学習モデルである。セマンティック・セグメンテーションモデルにおける学習（すなわち、訓練）ステップでは、入力データである断面ＳＥＭ画像と、出力データである領域毎に色分けしたアノテーション画像とを、教師データとして与えて、領域の形状を学習させる。【００３４】
学習ステップの次に行われる推論ステップでは、本発明に係る寸法計測装置は、与えられた入力画像に対し、ＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）検出アルゴリズムを用いてＲＯＩを検出し、検出されたＲＯＩに対して学習済みのセマンティック・セグメンテーションモデルを用いて領域毎に色分けした画像を推定する。その後、寸法計測装置は、当該推定結果を基に、画像における各領域を示すマーカを含む中間画像を生成し、この中間画像に含まれるマーカと、検出されたＲＯＩとを分水嶺アルゴリズムに入力することにより、領域毎に色分けした画像を出力する。次に、計測ステップでは、寸法計測装置は、領域毎に色分けした画像から得られる領域境界線の座標に基づいて、所望の個所の寸法を自動的に計測する。【００３５】
次に、図２を参照して、本発明の実施例に係る寸法計測装置のシステムについて説明する。【００３６】
図２は、本発明の実施例に係る半導体製造システム２００の構成例を示す図である。図２に示すように、半導体製造システム２００は、主に寸法計測装置１００、入出力装置２０１、処理装置２０３、及び評価装置２０４からなる。これらの装置は、例えばインターネット等の通信ネットワーク（図示せず）を介して接続される。【００３７】
寸法計測装置１００は、主に中央処理部１０１、第１の領域分割部１０２、第２の領域分割部１０３、寸法計測部１０４、及びデータベース１０５からなる。寸法計測装置１００は、入出力装置２０１を介して入力される特徴点と寸法の定義、倍率、学習用データセット等の入力情報２０２及び断面画像２０５を受け付け、後述する処理により断面画像２０５に対して所定の寸法を計測する処理を施した後、計測の結果を入出力装置２０１へと出力する。
また、図２に示すように、中央処理部１０１は、学習部２０６を含む。この学習部２０６は、第１の領域分割部１０２及び第２の領域分割部１０３の機械学習モデルの学習（すなわち、訓練）を管理する機能部である。【００３８】
入出力装置２０１は、ＧＵＩなどの入出力インターフェースやカードリーダ等の記憶媒体読み出し装置を備え、特徴点と寸法の定義、倍率、学習用データセット等の入力情報２０２を寸法計測装置１００に入力する。また、入出力装置２０１は、評価装置２０４から、入力画像として、計測対象物の断面画像２０５を受け取り、当該入力画像を中央処理部１０１に送信する。入出力装置２０１は、例えば、キーボード、マウス、ディスプレイ、タッチパネル、記憶媒体読み出し装置などであってもよい。あるいは、入出力装置２０１は、寸法計測装置１００から送信された計測結果をユーザへ表示するように構成されてもよい。この場合、入出力装置２０１は、計測結果をディスプレイで表示したり、計測結果をファイルへと書き出したりしてもよい。【００３９】
処理装置２０３は、半導体又は半導体を含む半導体デバイスを処理（例えば、加工処理等）する装置である。処理装置２０３の処理の内容は特に限定されない。例えば、処理装置２０３は、リソグラフィ装置、成膜装置、パターン処理装置等であってもよい。より詳細には、リソグラフィ装置は、例えば、露光装置、電子線描画装置、Ｘ線描画装置等を含む。また、成膜装置は、例えばＣＶＤ（Ｃｈｅｍｉｃａｌ  Ｖａｐｏｒ  Ｄｅｐｏｓｉｔｉｏｎ）、ＰＶＤ（Ｐｈｙｓｉｃａｌ  Ｖａｐｏｒ  Ｄｅｐｏｓｉｔｉｏｎ）、蒸着装置、スパッタリング装置、熱酸化装置等を含む。また、パターン処理装置は、例えば、ウェットエッチング装置、ドライエッチング装置、電子ビーム処理装置、レーザ処理装置を含む。処理装置２０３は、入力された加工条件に基づいて、半導体又は半導体デバイスの加工処理を行い、加工済みの半導体又は半導体デバイスを評価装置２０４に渡す。【００４０】
評価装置２０４は、処理装置２０３で処理された半導体又は半導体デバイスの断面を撮影して、処理の結果を表す断面画像２０５を取得する。評価装置２０４は、例えば、ＳＥＭ、ＴＥＭ、光学式モニタを用いた加工寸法計測装置であってもよい。また、処理装置２０３で処理された半導体又は半導体デバイスの一部を断片として取り出して、その断片を評価装置２０４へ運搬して計測してもよい。取得した断面画像２０５は、入出力装置２０１へ送信される。【００４１】
次に、図３を参照して、本発明の実施例に係るセマンティック・セグメンテーションモデル用のニューラルネットワークの構成について説明する。【００４２】
図３は、本発明の実施例に係るセマンティック・セグメンテーションモデル用のニューラルネットワーク１０６の構成の一例を示す図である。図３に示すニューラルネットワーク１０６は、上述した第１の領域分割部（例えば、図２に示す第１の領域分割部１０２）で用いるセマンティック・セグメンテーションを実行するためのものである。図３に示すように、ニューラルネットワーク１０６は、入力層１０７と、中間層１０８と、出力層１０９とからなる。【００４３】
ニューラルネットワーク１０６は、入力層１０７に入力される画素情報（例えば、入力画像となるＳＥＭ断面画像の画素情報）を、中間層１０８、出力層１０９へと順に伝搬し、演算することにより、各画素の属する領域のラベル番号を出力する。中間層１０８において、畳み込み層やドロップアウト層等が多数層繰り返される。具体的な層構造は、採用するモデルにより異なる。学習時には、ニューラルネットワーク１０６によって出力される各画素のラベルと、正解のラベルを示すアノテーションデータとの誤差が最小となるように、中間層のパラメータが調整される。
なお、本例では、ニューラルネットワーク１０６を用いる構成の例を説明したが、本発明はこれに限定されず、決定木などの機械学習のモデルを用いる構成であってもよい。【００４４】
次に、図４を参照して、本発明の実施例１に係る寸法計測方法について説明する。【００４５】
図４は、本発明の実施例１に係る寸法計測方法４００の流れを示すフローチャートである。【００４６】
まず、学習部（例えば図２に示す学習部２０６）は、寸法計測装置（例えば図２に示す寸法計測装置１００）に入力する学習データセット等を含む入力情報２０２を作成する。具体的には、ステップＳ１００では、学習部は、入出力装置（例えば図２に示す入出力装置２０１）を介して、評価装置（例えば、図２に示す評価装置２０４）からの入力データである断面ＳＥＭ画像と、セマンティック・セグメンテーションモデルに用いるアノテーションデータ画像とを学習データセットとして作成し、この学習データセットをデータベース（例えば、図２に示すデータベース１０５）に保存する。【００４７】
次に、ステップＳ１０１では、学習部は、データベースから、学習データセットと機械学習モデルとを第１の領域分割部（例えば、図２に示す第１の領域分割部１０２）に転送し、機械学習モデルの学習を行う。学習したモデルのパラメータは、返送されてデータベースに保存される。
なお、ここでの「機械学習モデル」は、畳み込み層やドロップアウト層等を有するニューラルネットワークを一例として説明するが、本発明はそれに限定されず、決定木等の機械学習のモデルであってもよい。【００４８】
次に、ステップＳ１０２では、第１の領域分割部は、計測対象物が写る入力画像を入出力装置から入力する。【００４９】
次に、ステップＳ１０３では、第１の領域分割部は、データベースから、機械学習モデル及び学習パラメータを取得し、取得したモデル及び学習パラメータに基づいて、ＲＯＩ検出アルゴリズムを用いて、入力画像における対象の領域を指定する。
ここでは、ＲＯＩ検出アルゴリズムとしては、Ｔｅｍｐｌａｔｅ  Ｍａｔｃｈｉｎｇを用いる例を説明するが、本発明はそれに限定されず、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）等の深層学習モデルや、Ｈａａｒ−Ｌｉｋｅ特徴分類器等の特徴量に基づく機械学習モデルを用いることも可能である。【００５０】
次に、ステップＳ１０４では、第１の領域分割部は、検出されたＲＯＩに対し、セマンティック・セグメンテーションモデルによる推定を行う。【００５１】
次に、ステップＳ１０５では、第２の領域分割部（例えば、図２に示す第２の領域分割部１０３）は、ステップＳ１０４で生成された推定結果に基づいて、入力画像における各領域を示すマーカを含む画像を中間画像として生成する。ここでは、「マーカ」とは、いわゆる分水嶺アルゴリズムにおいて、確証のある領域と、確証のない領域を表す情報である。
なお、第１の領域分割部に行われたセマンティック・セグメンテーションによる推定結果はピクセル毎にラベル付けされた配列情報であるが、第２の領域分割部は、ラベルの種類数に応じてマーカの生成を行い、中間画像を生成する。【００５２】
具体的には、ラベル種類数が１つある場合には、すなわちセマンティック・セグメンテーションモデルによる推定の結果が全ピクセルにおいて同じと判断された場合には、検出されたＲＯＩ内に検出すべき界面が存在しないため、本処理はステップＳ１０６へと進む。【００５３】
ラベル種類数が２つある場合には、この画像は前景と背景が分離された画像であると判定される。前景と背景の領域を各々事前に定められた領域縮小処理を施すことで、前景と背景の境界線近傍に新たに境界領域を生成し、縮小された前景と背景は確証のある領域として定義され、また新たに生成された境界領域は確証のない領域として定義される。これにより、分水嶺アルゴリズムを適用する際に、良好な領域分割結果を得ることができる。
ここでは、領域縮小処理としては、各領域の最外周から１０ピクセル分縮小するアルゴリズムを用いてもよいが、本発明はそれに限定されない。【００５４】
次に、ステップＳ１０６では、第２の領域分割部は、ステップＳ１０３で生成された、対象の領域が指定されている画像と、ステップＳ１０５で生成された中間画像とに基づいて、分水嶺アルゴリズムによる領域分割を行う。
ここで、ラベル種類数が３つ以上存在する場合には、第２の領域分割部は、着目するラベルを前景とし、それ以外のラベルを全て背景として取り扱い、ラベル種類数が２の場合と同じ処理を、着目するラベルが網羅するまで実施する。
なお、本実施例では、領域分割の手段として、分水嶺アルゴリズムを用いたが、本発明はそれに限定されず、Ｇｒａｐｈ  ｃｕｔアルゴリズム等、輝度情報を基に領域分けを行うアルゴリズムを代わりに用いることも可能である。【００５５】
次に、ステップＳ１０７では、第２の領域分割部は、入力画像に他の指定領域が存在するか否かを判定する。入力画像に他の指定領域が存在する場合には、第２の領域分割部は、上述した処理を残りの指定領域に対して繰り返す。具体的には、第２の領域分割部は、中間画像を示すマーカの生成と、領域分割とはそれぞれの指定領域に対し行い、指定領域が全て網羅されるまで実行する。
入力画像に他の指定領域が存在しない場合には、本処理はステップＳ１０９に進む。【００５６】
次に、ステップＳ１０８では、寸法計測部は、計測対象の寸法条件を規定する特徴点と寸法の定義が予めデータベースに保存されているか否かを確認する。これらの情報がデータベースにない場合には、寸法計測部は、ステップＳ１０９へと進み、検出対象となる領域ラベルと検出範囲と検出方向とを指定する。
なお、寸法計測部は、複数個所を指定する場合には、それぞれの特徴点に対する定義をそれぞれ指定する。【００５７】
次に、ステップＳ１１０では、寸法計測部は、指定された定義に基づいて、特徴点検出を行う。【００５８】
次に、ステップＳ１１１では、寸法計測部は、得られた特徴点に基づいて、計測対象物の寸法を計測する処理を行い、計測した寸法情報をピクセル単位から実寸法（例えば国際単位系）へと変換する。
これにより、断面ＳＥＭ画像（又は断面ＴＥＭ画像）に対して高精度の計測結果を自動的に生成することができる。【００５９】
次に、図５を参照して、本発明の実施例１に係る物体検出モデルの学習データに用いるアノテーションデータについて説明する。
なお、以下では、上述した処理装置がエッチング装置であり、且つＲＯＩがパターン部分である場合を一例として説明する。【００６０】
図５は、本発明の実施例１に係る物体検出モデルの学習データに用いるアノテーションデータの一例を示す図である。より詳細には、図５は、断面ＳＥＭ画像５５１及び当該断面ＳＥＭ画像５５１の領域が正しくラベル付けされているアノテーションデータ５６０と、断面ＳＥＭ画像５５２及び当該断面ＳＥＭ画像５５２の領域が正しくラベル付けされているアノテーションデータ５７０とを示す。【００６１】
断面ＳＥＭ画像５５１と断面ＳＥＭ画像５５２の違いは、処理装置（例えば図２に示す処理装置２０３）における処理方法が異なる為である。よって、ＲＯＩは同じパターン部分を指定するものであり、且つ同じ縮小率の画像であっても、ＲＯＩの大きさが入力画像に応じて異なる場合がある。ＲＯＩサイズを一定にするため、入力データセットをセマンティック・セグメンテーションモデルに入力する前に、各々のサイズを拡大又は縮小することにより、一定の大きさとなるよう画像処理を施すことができる。従って、本実施例で示す画像は、入力データセットの大きさが一定となるように、最近傍補完法による画像処理が施されたものである。【００６２】
アノテーションデータ５６０及びアノテーションデータ５７０に示す領域は、背景５５３、マスク５５４、及び基板５５５の３つの領域からなる。アノテーションデータ５６０、５７０は、専用ソフトウェアを用いて手作業で作成されてもよく、学習済みのセマンティック・セグメンテーションモデルを用いて作成されてもよい。【００６３】
次に、図６を参照して、本発明の実施例１に係る寸法の個所と特徴点について説明する。【００６４】
図６は、本発明の実施例１に係る寸法の個所と特徴点との対応関係を説明するための図である。図６に示す例では、寸法計測個所は、（１）Ｌ１：マスク／基板界面の幅６０６、（２）Ｌ２：基板最狭部の幅６０７、（３）Ｌ３：マスクの高さ６０８、（４）Ｌ４：トレンチの深さ６０９、の４カ所を設定している。図中のＡからＦまでの６つの点は、寸法計測に用いる境界線上の特徴点であり、境界線データのみから一意に定義できる点を用いる。例えば、Ａはマスク上面の最高点となる点、等であってもよい。【００６５】
特徴点Ａ〜Ｆの定義及び寸法Ｌ１〜Ｌ４と特徴点Ａ〜Ｆとの対応関係（Ｌ１：Ｂ,Ｃ；Ｌ２：Ｄ,Ｅなど）は、ユーザが入出力装置（例えば図２に示す入出力装置２０１）を介して入力し、データベース（例えば図２に示すデータベース１０５）に格納されている。定義を入力するためには、ユーザは、検出対象である領域を例えばマウスやタッチ画面等のインターフェースを介して指定し、その領域に対して検出範囲と、検出範囲内での検出する方向を指定する。ここでは、検出する方向とは、検出範囲内で最も上あるいは下、左、右のどの座標を特徴点とするかを指定するために用いられる。
他にも、定義の入力の仕方としては、任意の断面ＳＥＭ画像が入出力装置のＧＵＩ画面に表示された状態で、ユーザは、画面上で特徴点をクリックすることにより指定する方法や、特徴点と寸法の定義を記述したスクリプトを与える方法であってもよい。特徴点と計測寸法の個数や位置は、計測対象の構造に応じて適宜設定されてもよい。【００６６】
次に、図７を参照して、本発明の実施例１に係るセマンティック・セグメンテーションモデルの学習データに用いるアノテーションデータにおけるラベルについて説明する。【００６７】
図７は、本発明の実施例１に係るセマンティック・セグメンテーションモデルの学習データに用いるアノテーションデータにおけるラベル名７１０、ラベル番号７２０、及び色７３０の対応関係を示すテーブルである。図７に示す情報は、データベース（例えば図２に示すデータベース１０５）に格納されている。
なお、各ラベルに付与するラベル番号と色は任意である。【００６８】
図７に示すように、画像における「背景」のラベル名７１０は、「０」のラベル番号７２０と「黒」の色７３０に対応し、マスクは、「１」のラベル番号７２０と「グレー」に対応し、基板は、「２」のラベル番号７２０と「白」に対応する。上述したアノテーションデータや、領域別にラベル付けされている画像は、図７に示すテーブルの情報に従って作成される。【００６９】
次に、図８を参照して、本発明の実施例１に係る入出力装置に表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）画面について説明する。【００７０】
図８は、本発明の実施例１に係る入出力装置に表示されるＧＵＩ画面８００の一例を示す図である。ＧＵＩ画面８００は、主にアノテーションウィンドウ４０１と、モデル学習ウィンドウ４０２と、寸法定義ウィンドウ４０３と、実行ウィンドウ４０４とからなる。【００７１】
アノテーションウィンドウ４０１では、ユーザは、画像選択ボタン４０５でアノテーションウィンドウ４０１に表示したい画像ファイルを選択することができる。画像ウィンドウ４０６には、選択した画像が表示される。また、ユーザは、表示された画像内にマウス操作によりＲＯＩ４０７を指定することができる。画像ウィンドウ４０６のうち、指定されたＲＯＩ４０７が画像ウィンドウ４０８に表示される。画像ウィンドウ４０８に表示されるＲＯＩ４０７の画像を基に、アノテーションデータが作成され、画像ウィンドウ４０９に表示される。ユーザは、画像対保存ボタン４１０をクリックすることにより、画像ウィンドウ４０８と、画像ウィンドウ４０９に表示される画像に対して各々対応付け可能な名前付けを行い、学習データセットとして保存することができる。【００７２】
モデル学習ウィンドウ４０２では、ユーザは、データセット選択ボタン４１１をクリックすることによりモデル学習に使用するデータセットを指定することができる。また、ユーザは、モデル選択ボタン４１２をクリックすることにより、セマンティック・セグメンテーションモデルを指定することができる。また、ユーザは、モデル学習ボタン４１３をクリックすることにより、指定されたデータセットとモデルを用いてモデル学習を実行させることができる。モデル学習中には、学習結果が適宜に保存される。また、学習済みのモデルは、モデル選択ボタン４１４により、学習済みモデルを選択する際に識別可能な名称で保存される。【００７３】
寸法定義ウィンドウ４０３では、ユーザは、検出対象ボタン４１５をクリックすることにより、対象とする領域間の界面を指定することができる。また、ユーザは、検出範囲ボタン４１６をクリックすることにより、検出範囲４１７を指定することができる。また、ユーザは、検出方向ボタン４１８をクリックすることにより、検出範囲４１７内の領域間界面のうち、上下左右のどの方向の端を特徴点とするかを定義するための検出方向を指定することができる。更に、ユーザは、寸法定義ボタン４１９をクリックすることにより、定義に基づいて検出された特徴点からどのように寸法を計算するか指定することができる。また、ユーザは、定義保存ボタン４２０をクリックすることにより、寸法定義を測定定義ファイルとして保存することができる。【００７４】
実行ウィンドウ４０４では、ユーザは、モデル選択ボタン４１４をクリックすることにより学習済みモデルを指定することができる。また、ユーザは、測定定義選択ボタン４２１をクリックすることにより、測定定義ファイルを指定することができる。また、ユーザは、画像群選択ボタン４２２をクリックすることにより、測定を行いたい画像群を指定することができる。また、ユーザは、実行ボタン４２３をクリックすることにより、指定された学習済みモデルと、指定された測定定義ファイルを用いて、測定を行いたい画像群内のそれぞれの画像に対して測定を実施させることができる。その後、ユーザは、この測定の結果を測定結果出力ファイルとして所定の場所へ出力することができる。【００７５】
次に、図９を参照して、本発明の実施例に係るテスト画像について説明する。【００７６】
図９は、本発明の実施例に係るテスト画像９００の一例を示す図である。このテスト画像は、例えば上述した評価装置（例えば、図２に示す評価装置２０４）により撮影された画像であり、計測対象物である加工後の半導体デバイスを示す。図９に示すように、このテスト画像９００には、不要な奥の構造の輪郭が写っており、これは、寸法計測の際には無視すべき構造である。
従って、このテスト画像９００を入力画像として、例えば図４に示す寸法計測方法を行うことにより、断面ＳＥＭ画像（又は断面ＴＥＭ画像）に対して高精度の計測結果を自動的に生成することができる。
【実施例２】
【００７７】
実施例１では、学習データセットを事前に準備し、セマンティック・セグメンテーションモデルを用いて対象の画像における各領域を示すマーカを含む中間画像を生成する例を説明したが、このマーカ生成は必ずしもセマンティック・セグメンテーションモデルを用いる必要はない。従って、実施例２では、マーカ生成を手動で作成し、且つ、新たに生成された領域分割画像を学習データセットに追加し、セマンティック・セグメンテーションモデルの推定精度を逐次改善する構成について説明する。
この構成によれば、事前の十分な学習データセットの準備が困難で、モデルによる推定精度が十分でない場合でも、寸法測定を行うことが可能となる。【００７８】
次に、図１０を参照して、本発明の実施例２に係る寸法計測方法について説明する。【００７９】
図１０は、本発明の実施例２に係る寸法計測方法１０００の流れを示すフローチャートである。【００８０】
まず、ステップＳ２００では、学習部（例えば図２に示す学習部２０６）は、学習データセットがデータベース（例えば図２に示す学習部２０６）に存在するか確認する。【００８１】
学習データセットが存在する場合には、次に、ステップＳ２０１では、学習部は、データベースから、学習データセットと機械学習モデルとを第１の領域分割部（例えば、図２に示す第１の領域分割部１０２）に転送し、機械学習モデルの学習を行う。学習したモデルのパラメータは、返送されてデータベースに保存される。
なお、ここでの「機械学習モデル」は、畳み込み層やドロップアウト層等を有するニューラルネットワークを一例として説明するが、本発明はそれに限定されず、決定木等の機械学習のモデルであってもよい。【００８２】
次に、ステップＳ２０２では、第１の領域分割部は、計測対象物が写る入力画像を入出力装置から入力する。【００８３】
次に、ステップＳ２０３では、第１の領域分割部は、データベースから、機械学習モデル及び学習パラメータを取得し、取得したモデル及び学習パラメータに基づいて、ＲＯＩ検出アルゴリズムを用いて、入力画像における対象の領域を指定する。
ここでは、ＲＯＩ検出アルゴリズムとしては、Ｔｅｍｐｌａｔｅ  Ｍａｔｃｈｉｎｇを用いる例を説明するが、本発明はそれに限定されず、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）等の深層学習モデルや、Ｈａａｒ−Ｌｉｋｅ特徴分類器等の特徴量に基づく機械学習モデルを用いることも可能である。【００８４】
次に、ステップＳ２０４では、第１の領域分割部は、学習済みモデルがデータベースにあるか確認をする。学習済みモデルがある場合には、ステップＳ２０５では、第１の領域分割部は、検出されたＲＯＩに対し、セマンティック・セグメンテーションモデルによる推定を行う。学習済みモデルがデータベースにない場合には、第１の領域分割部は、モデルによる推定を行わず、本処理はステップＳ２０８へと進む。【００８５】
次に、第一の領域分割部でモデルによる推定が行われた場合には、ステップＳ２０６では、第２の領域分割部（例えば、図２に示す第２の領域分割部１０３）は、ステップＳ２０４で生成された推定結果に基づいて、入力画像における各領域を示すマーカを含む画像を中間画像として生成する。ここでは、「マーカ」とは、いわゆる分水嶺アルゴリズムにおいて、確証のある領域と、確証のない領域を表す情報である。
なお、第１の領域分割部に行われたセマンティック・セグメンテーションによる推定結果はピクセル毎にラベル付けされた配列情報であるが、第２の領域分割部は、ラベルの種類数に応じてマーカの生成を行い、中間画像を生成する。【００８６】
具体的には、ラベル種類数が１つある場合、すなわちセマンティック・セグメンテーションモデルによる推定の結果が全ピクセルにおいて同じと判断された場合には、検出されたＲＯＩ内に検出すべき界面が存在しないため、本処理は次のステップへと進む。【００８７】
ラベル種類数が２つある場合には、この画像は前景と背景が分離された画像であると判定される。前景と背景の領域を各々事前に定められた領域縮小処理を施すことで、前景と背景の境界線近傍に新たに境界領域を生成し、縮小された前景と背景は確証のある領域として定義され、また新たに生成された境界領域は確証のない領域として定義される。
ここでは、領域縮小処理としては、各領域の最外周から１０ピクセル分縮小するアルゴリズムを用いてもよいが、本発明はそれに限定されない。【００８８】
次に、ステップＳ２０７では、第２の領域分割部は、ステップＳ２０３で生成された、対象の領域が指定されている画像と、ステップＳ２０６で生成された中間画像とに基づいて、分水嶺アルゴリズムによる領域分割を行う。
ここで、ラベル種類数が３つ以上存在する場合には、第２の領域分割部は、着目するラベルを前景とみなし、それ以外のラベルを全て背景とみなして取り扱い、ラベル種類数が２の場合と同じ処理を、着目するラベルが網羅するまで実施する。【００８９】
次に、モデルによる推定が行われなかった場合、ステップＳ２０８では、ユーザはマウス操作などにより、マーカを含む中間画像を作成する。【００９０】
次に、ステップＳ２０９では、第２の領域分割部は、入力画像に他の指定領域が存在するか否かを判定する。入力画像に他の指定領域が存在する場合には、第２の領域分割部は、上述した処理を残りの指定領域に対して繰り返す。具体的には、第２の領域分割部は、領域を示すマーカの生成と、領域分割とをそれぞれの指定領域に対し行い、指定領域が全て網羅されるまで実行する。【００９１】
次に、ステップＳ２１０では、作成された領域分割画像は、学習データセットに追加され、適宜にデータベースに保存される。これにより、後の機械学習訓練では、学習部は、更新された学習データセットを用いてセマンティック・セグメンテーションモデルの訓練を行い、モデルによる推定精度を改善させることができる。
入力画像に他の指定領域が存在しない場合には、本処理はステップＳ２１１に進む。【００９２】
次に、ステップＳ２１１では、寸法計測部は、計測対象の寸法条件を規定する特徴点と寸法の定義が予めデータベースに保存されているか否かを確認する。これらの情報がデータベースにない場合には、寸法計測部は、ステップＳ２１２へと進み、検出対象となる領域ラベルと検出範囲と検出方向とを指定する。
なお、寸法計測部は、複数個所を指定する場合には、それぞれの特徴点に対する定義をそれぞれ指定する。【００９３】
次に、ステップＳ２１３では、寸法計測部は、指定された定義に基づいて、特徴点検出を行う。【００９４】
次に、ステップＳ２１４では、寸法計測部は、得られた特徴点に基づいて、計測対象物の寸法を計測する処理を行い、計測した寸法情報をピクセル単位から実寸法へと変換する。【００９５】
次に、図１１を参照して、本発明の実施例２に係る入出力装置に表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）画面について説明する。【００９６】
図１１は、本発明の実施例２に係る入出力装置に表示されるＧＵＩ画面１１００の一例を示す図である。図１１に示すように、ＧＵＩ画面１１００は、領域分割ウィンドウ５０１と、寸法定義ウィンドウ５０２と、実行ウィンドウ５０３とからなる。【００９７】
領域分割ウィンドウ５０１では、ユーザは、入力画像選択ボタン５０４をクリックすることにより領域分割ウィンドウ５０１に表示したい画像ファイルを選択することができる。画像ウィンドウ５０５には、選択した画像が表示される。特定のＲＯＩが事前に登録されている場合には、当該ＲＯＩがデータベース（例えば、図２に示すデータベース１０５）から読み出されるが、特定のＲＯＩが登録されていない場合や変更したい場合には、ユーザは、表示された画像内にマウス操作によりＲＯＩを指定し、ＲＯＩ登録ボタン５０６をクリックすることにより当該ＲＯＩを登録することができる。【００９８】
また、ユーザは、領域指定ボタン５０７をクリックすることにより、ＲＯＩ検出アルゴリズムを用いて領域を指定することができる。検出されたＲＯＩ５０８が画像ウィンドウ５０５に表示される。検出されたＲＯＩ５０８が正しくない場合には、ユーザは、ＲＯＩ登録ボタン５０６をクリックすることによりＲＯＩを更新することができる。また、ユーザは、領域分割ボタン５０９をクリックすることにより、事前に選択されたセマンティック・セグメンテーションモデルを用いて、検出されたそれぞれのＲＯＩ５０８に対して領域分割を実施することができる。事前にセマンティック・セグメンテーションモデルが選択されていない場合や、使用するセマンティック・セグメンテーションモデル等を変更したい場合には、ユーザは、モデル選択ボタン５１０をクリックすることによりモデルを選択することができる。【００９９】
また、領域分割結果が画像ウィンドウ５１１に表示される。領域分割結果が十分でない場合には、ユーザは、モデル更新ボタン５１２をクリックすることにより、学習済みセマンティック・セグメンテーションモデルを更新するか、もしくは縮小量５１３を調整し、Ｗａｔｅｒｓｈｅｄアルゴリズムに使用するマーカを更新することができる。
なお、本実施例では、分水嶺アルゴリズムを一例として用いたが、本発明はそれに限定されず、Ｇｒａｐｈ  ｃｕｔアルゴリズム等の他の輝度情報を基に領域分けを行うアルゴリズムを代わりに用いることも可能である。領域分割結果が十分な場合、ユーザは、データ追加ボタン５２４をクリックすることにより、領域分割画像をデータベース１０５に追加することができる。【０１００】
寸法定義ウィンドウ５０２では、ユーザは、検出対象ボタン５１４をクリックすることにより、対象とする領域間の界面を指定することができる。また、ユーザは、検出範囲ボタン５１５により検出範囲５１６を指定することができる。また、ユーザは、検出方向ボタン５１７をクリックすることにより、検出範囲５１６内の領域間界面のうち、上下左右のどの方向の端を特徴点とするかを定義するための検出方向を指定することができる。更に、ユーザは、寸法定義ボタン５１８をクリックすることにより、定義に基づいて検出された特徴点からどのように寸法を計算するか指定することができる。また、ユーザは、定義保存ボタン５１９をクリックすることにより、寸法定義を測定定義ファイルとして保存することができる。【０１０１】
実行ウィンドウ５０３では、ユーザは、モデル選択ボタン５２０をクリックすることにより学習済みモデルを指定することができる。また、ユーザは、測定定義選択ボタン５２１をクリックすることにより、測定定義ファイルを指定することができる。また、ユーザは、画像群選択ボタン５２２をクリックすることにより、測定を行いたい画像群を指定することができる。また、ユーザは、実行ボタン５２３をクリックすることにより、指定された学習済みモデルと、指定された測定定義ファイルを用いて、測定を行いたい画像群内のそれぞれの画像に対し測定を実施させることができる。その後、ユーザは、この測定の結果を測定結果出力ファイルとして所定の場所へ出力することができる。【０１０２】
以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１０３】
１００      寸法計測装置
１０１      中央処理部
１０２      第１の領域分割部
１０３      第２の領域分割部
１０４      寸法計測部
１０５      データベース
１０６      ニューラルネットワーク
２０１      入出力装置
２０２      入力情報
２０３      処理装置
２０４      評価装置
２０５      断面画像
４０１      アノテーションウィンドウ
４０２      モデル学習ウィンドウ
４０３      寸法定義ウィンドウ
４０４      実行ウィンドウ
４０５      画像選択ボタン
４０６      画像ウィンドウ
４０７      ＲＯＩ
４０８      画像ウィンドウ
４０９      画像ウィンドウ
４１０      画像対保存ボタン
４１１      データセット選択ボタン
４１２      モデル選択ボタン
４１３      モデル学習ボタン
４１４      モデル選択ボタン
４１５      検出対象ボタン
４１６      検出範囲ボタン
４１７      検出範囲
４１８      検出方向ボタン
４１９      寸法定義ボタン
４２０      定義保存ボタン
４２１      測定定義選択ボタン
４２２      画像群選択ボタン
４２３      実行ボタン
５０１      領域分割ウィンドウ
５０２      寸法定義ウィンドウ
５０３      実行ウィンドウ
５０４      入力画像選択ボタン
５０５      画像ウィンドウ
５０６      ＲＯＩ登録ボタン
５０７      領域指定ボタン
５０８      ＲＯＩ
５０９      領域分割ボタン
５１０      モデル選択ボタン
５１１      画像ウィンドウ
５１２      モデル更新ボタン
５１３      縮小量
５１４      検出対象ボタン
５１５      検出範囲ボタン
５１６      検出範囲
５１７      検出方向ボタン
５１８      寸法定義ボタン
５１９      定義保存ボタン
５２０      モデル選択ボタン
５５１      断面ＳＥＭ画像
５５２      断面ＳＥＭ画像
５５３      背景
５５４      マスク
５５５      基板
６０６      マスク／基板界面の幅
６０７      基板最狭部の幅
６０８      マスクの高さ
６０９      トレンチの深さ
５２１      測定定義選択ボタン
５２２      画像群選択ボタン
５２３      実行ボタン
５２４      データ追加ボタン
【図１】
2021024402.tif 000003
【図２】
2021024402.tif 000004
【図３】
2021024402.tif 000005
【図４】
2021024402.tif 000006
【図５】
2021024402.tif 000007
【図６】
2021024402.tif 000008
【図７】
2021024402.tif 000009
【図８】
2021024402.tif 000010
【図９】
2021024402.tif 000011
【図１０】
2021024402.tif 000012
【図１１】
2021024402.tif 000013
【国際調査報告】
2021024402.tif 000014
2021024402.tif 000015