(57)【要約】【課題】破断面を含む画像から精度良く破断面の状態を推定することができるようにする。【解決手段】起点推定部１２１が、入力画像と、予め学習された、画像に含まれる物質の破断面における、物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、入力画像に含まれる物質の破断面における起点の位置を推定し、破壊モード推定部１２２が、入力画像と、予め学習された、画像に含まれる物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、入力画像に含まれる物質の破断面の破壊モードを推定する。【選択図】図６
2020153673.tif 000002
【特許請求の範囲】
【請求項１】
物質の破断面を含む入力画像の入力を受け付ける画像入力部と、
前記入力画像と、予め学習された、画像に含まれる物質の破断面における、前記物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面における前記起点の位置を推定する起点推定部と、
前記入力画像と、予め学習された、画像に含まれる前記物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面の破壊モードを推定する破壊モード推定部と、
を含む破断面状態推定装置。
【請求項２】
物質の破断面を含む学習画像と、前記学習画像における前記物質の破断の生じた起点の位置と、前記学習画像に含まれる前記物質の破断面の破壊モードとの組からなる画像データの入力を受け付ける画像データ入力部と、
前記起点推定モデルにより推定した前記学習画像の前記起点の位置と前記破壊モード推定モデルにより推定した前記学習画像に含まれる前記物質の破断面の破壊モードとが、前記画像データに含まれる前記起点の位置及び前記破壊モードと一致するように、前記起点推定モデルのパラメータと前記破壊モード推定モデルのパラメータとを学習する学習部と、
を更に含み、
前記起点推定部は、前記入力画像と、前記学習部により予め学習された前記起点推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面における前記起点の位置を推定し、
前記破壊モード推定部は、前記入力画像と、前記学習部により予め学習された前記破壊モード推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面の破壊モードを推定する
請求項１記載の破断面状態推定装置。
【請求項３】
前記画像データ入力部により受け付けた画像データの学習画像を、異なる撮影条件で撮影されたときに得られる擬似的な画像に変更するデータ処理部
を更に含み、
前記学習部は、
前記起点推定モデルにより推定した前記擬似的な画像の前記起点の位置と前記破壊モード推定モデルにより推定した前記擬似的な画像に含まれる前記物質の破断面の破壊モードとが、前記画像データに含まれる前記起点の位置及び前記破壊モードと一致するように、前記起点推定モデルのパラメータと前記破壊モード推定モデルのパラメータとを学習する
請求項２記載の破断面状態推定装置。
【請求項４】
前記データ処理部は、前記学習画像のコントラストを変更することにより、異なる観察角度で撮影されたときに得られる擬似的な画像に変更するコントラスト変更部
を更に含む請求項３記載の破断面状態推定装置。
【請求項５】
前記データ処理部は、前記学習画像の観察深さを変更することにより、電子顕微鏡の異なる電圧を印加して撮影されたときに得られる擬似的な画像に変更する観察深度変更部
を更に含む請求項３又は４記載の破断面状態推定装置。
【請求項６】
亀裂進展方向推定部と、
材質推定部と、
を更に含み、
前記画像データは、更に、前記学習画像に含まれる前記物質の破断面における亀裂進展方向、及び前記学習画像に含まれる前記物質の材質を含み、
前記学習部は、前記撮影条件毎に、前記起点推定モデルにより推定した前記学習画像の前記起点の位置、前記破壊モード推定モデルにより推定した前記学習画像に含まれる前記物質の破断面の破壊モード、画像に含まれる物質の破断面における亀裂進展方向を推定するモデルである亀裂進展方向推定モデルにより推定した、前記学習画像に含まれる前記物質の破断面における亀裂進展方向、及び画像に含まれる物質の材質を推定するモデルである材質推定モデルにより推定した、前記学習画像に含まれる前記物質の材質が、前記画像データに含まれる前記起点の位置、前記破壊モード、前記亀裂進展方向及び前記材質と一致するように、前記起点推定モデルのパラメータと、前記破壊モード推定モデルのパラメータと、前記亀裂進展方向推定モデルのパラメータと、前記材質推定モデルのパラメータとを学習し、
前記亀裂進展方向推定部は、前記入力画像と、前記学習部により予め学習された前記亀裂進展方向推定モデルとに基づいて、前記入力画像に含まれる物質の破断面における亀裂進展方向を推定し、
前記材質推定部は、前記入力画像と、前記学習部により予め学習された前記材質推定モデルとに基づいて、前記入力画像に含まれる物質の材質を推定する
請求項３乃至５の何れか１項記載の破断面状態推定装置。
【請求項７】
前記画像入力部は、撮影条件が異なる複数の入力画像であって、同一の破断面を含む複数の入力画像を受け付け、
前記起点推定モデルは、同一の破断面を含む複数の画像に含まれる前記物質の破断面における前記起点の位置を推定し、
前記起点推定部は、前記複数の入力画像と、前記起点推定モデルとに基づいて、前記複数の入力画像に含まれる前記物質の破断面における前記起点の位置を推定し、
前記破壊モード推定モデルは、同一の破断面を含む複数の画像に含まれる前記物質の破断面の破壊モードを推定し、
前記破壊モード推定部は、前記複数の入力画像と、前記破壊モード推定モデルとに基づいて、前記複数の入力画像に含まれる前記物質の破断面の破壊モードを推定する
請求項１記載の破断面状態推定装置。
【請求項８】
前記撮影条件は、観察角度又は電子顕微鏡の電圧である請求項７記載の破断面状態推定装置。
【請求項９】
画像入力部が、物質の破断面を含む入力画像の入力を受け付け、
起点推定部が、前記入力画像と、予め学習された、画像に含まれる物質の破断面における、前記物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面における前記起点の位置を推定し、
破壊モード推定部が、前記入力画像と、予め学習された、画像に含まれる前記物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面の破壊モードを推定する
破断面状態推定方法。
【請求項１０】
コンピュータを、請求項１乃至８の何れか１項記載の破断面状態推定装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、破断面状態推定装置、破断面状態推定方法、及びプログラムに関する。
【背景技術】
【０００２】
従来から、破壊実験等により得られる物質の破壊の起点や破壊モード等の破断面の状態を、ＳＥＭ（Ｓｃａｎｎｉｎｇ  Ｅｌｅｃｔｒｏｎ  Ｍｉｃｒｏｓｃｏｐｅ）等の電子顕微鏡を用いて、経験豊富な測定者の目視による観察により判定していた（図８）。しかし、人手による判定が非効率であることや主観的な判断では客観性に欠けるため、電子顕微鏡により得られた物質の破断面を含む画像を解析することにより推定する技術が研究されている（特許文献１〜３）。
【０００３】
例えば、特許文献１では、破断面の凹凸情報から、一般物理式を用いて亀裂進展速度を求める。特許文献２及び３では、観測深さ及び結晶の方位情報やコントラスト差から経験式を用いて破壊モードを推定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第１１／０９９２７０号公報
【特許文献２】特開２０１３−６４６２６号公報
【特許文献３】特開平５−６００５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記特許文献１では、予め起点が分かっている前提で、凹凸情報から亀裂進展速度を求めるため、起点や凹凸情報が不明である場合には、破断面の状態を求めることができない、という問題があった。また、特許文献１〜３では、経験式や一般物理式等の因果関係が既知であることが前提であり、そのような因果関係が未知の破断面については、破断面の状態を精度良く判定することができない、という問題があった。
【０００６】
本発明は上記の点に鑑みてなされたものであり、破断面を含む画像から精度良く破断面の状態を推定することができる破断面状態推定装置、破断面状態推定方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る破断面状態推定装置は、物質の破断面を含む入力画像の入力を受け付ける画像入力部と、前記入力画像と、予め学習された、画像に含まれる物質の破断面における、前記物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面における前記起点の位置を推定する起点推定部と、前記入力画像と、予め学習された、画像に含まれる前記物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面の破壊モードを推定する破壊モード推定部と、を備えて構成される。
【０００８】
また、本発明に係る破断面状態推定方法は、画像入力部が、物質の破断面を含む入力画像の入力を受け付け、起点推定部が、前記入力画像と、予め学習された、画像に含まれる物質の破断面における、前記物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面における前記起点の位置を推定し、破壊モード推定部が、前記入力画像と、予め学習された、画像に含まれる前記物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面の破壊モードを推定する。
【０００９】
本発明に係る破断面状態推定装置及び破断面状態推定方法によれば、画像入力部が、物質の破断面を含む入力画像の入力を受け付け、起点推定部が、入力画像と、予め学習された、画像に含まれる物質の破断面における、物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、入力画像に含まれる物質の破断面における起点の位置を推定する。
【００１０】
そして、破壊モード推定部が、入力画像と、予め学習された、画像に含まれる物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、入力画像に含まれる物質の破断面の破壊モードを推定する。
【００１１】
このように、入力画像と、予め学習された、画像に含まれる物質の破断面における、物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、入力画像に含まれる物質の破断面における起点の位置を推定し、入力画像と、予め学習された、画像に含まれる物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、入力画像に含まれる物質の破断面の破壊モードを推定することにより、破断面を含む画像から精度良く破断面の状態を推定することができる。
【００１２】
また、本発明に係る破断面状態推定装置は、物質の破断面を含む学習画像と、前記学習画像における前記物質の破断の生じた起点の位置と、前記学習画像に含まれる前記物質の破断面の破壊モードとの組からなる画像データの入力を受け付ける画像データ入力部と、前記起点推定モデルにより推定した前記学習画像の前記起点の位置と前記破壊モード推定モデルにより推定した前記学習画像に含まれる前記物質の破断面の破壊モードとが、前記画像データに含まれる前記起点の位置及び前記破壊モードと一致するように、前記起点推定モデルのパラメータと前記破壊モード推定モデルのパラメータとを学習する学習部と、を更に含み、前記起点推定部は、前記入力画像と、前記学習部により予め学習された前記起点推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面における前記起点の位置を推定し、前記破壊モード推定部は、前記入力画像と、前記学習部により予め学習された前記破壊モード推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面の破壊モードを推定することができる。
【００１３】
また、本発明に係る破断面状態推定装置は、前記画像データ入力部により受け付けた画像データの学習画像を、異なる撮影条件で撮影されたときに得られる擬似的な画像に変更するデータ処理部を更に含み、前記学習部は、前記起点推定モデルにより推定した前記擬似的な画像の前記起点の位置と前記破壊モード推定モデルにより推定した前記擬似的な画像に含まれる前記物質の破断面の破壊モードとが、前記画像データに含まれる前記起点の位置及び前記破壊モードと一致するように、前記起点推定モデルのパラメータと前記破壊モード推定モデルのパラメータとを学習することができる。
【００１４】
また、本発明に係る破断面状態推定装置の前記データ処理部は、前記学習画像のコントラストを変更することにより、異なる観察角度で撮影されたときに得られる擬似的な画像に変更するコントラスト変更部を更に含むことができる。
【００１５】
また、本発明に係る破断面状態推定装置の前記データ処理部は、前記学習画像の観察深さを変更することにより、電子顕微鏡の異なる電圧を印加して撮影されたときに得られる擬似的な画像に変更する観察深度変更部を更に含むことができる。
【００１６】
また、本発明に係る破断面状態推定装置は、亀裂進展方向推定部と、材質推定部と、を更に含み、前記画像データは、更に、前記学習画像に含まれる前記物質の破断面における亀裂進展方向、及び前記学習画像に含まれる前記物質の材質を含み、前記学習部は、前記撮影条件毎に、前記起点推定モデルにより推定した前記学習画像の前記起点の位置、前記破壊モード推定モデルにより推定した前記学習画像に含まれる前記物質の破断面の破壊モード、画像に含まれる物質の破断面における亀裂進展方向を推定するモデルである亀裂進展方向推定モデルにより推定した、前記学習画像に含まれる前記物質の破断面における亀裂進展方向、及び画像に含まれる物質の材質を推定するモデルである材質推定モデルにより推定した、前記学習画像に含まれる前記物質の材質が、前記画像データに含まれる前記起点の位置、前記破壊モード、前記亀裂進展方向及び前記材質と一致するように、前記起点推定モデルのパラメータと、前記破壊モード推定モデルのパラメータと、前記亀裂進展方向推定モデルのパラメータと、前記材質推定モデルのパラメータとを学習し、前記亀裂進展方向推定部は、前記入力画像と、前記学習部により予め学習された前記亀裂進展方向推定モデルとに基づいて、前記入力画像に含まれる物質の破断面における亀裂進展方向を推定し、前記材質推定部は、前記入力画像と、前記学習部により予め学習された前記材質推定モデルとに基づいて、前記入力画像に含まれる物質の材質を推定することができる。
【００１７】
また、本発明に係る破断面状態推定装置の前記画像入力部は、撮影条件が異なる複数の入力画像であって、同一の破断面を含む複数の入力画像を受け付け、前記起点推定モデルは、同一の破断面を含む複数の画像に含まれる前記物質の破断面における前記起点の位置を推定し、前記起点推定部は、前記複数の入力画像と、前記起点推定モデルとに基づいて、前記複数の入力画像に含まれる前記物質の破断面における前記起点の位置を推定し、前記破壊モード推定モデルは、同一の破断面を含む複数の画像に含まれる前記物質の破断面の破壊モードを推定し、前記破壊モード推定部は、前記複数の入力画像と、前記破壊モード推定モデルとに基づいて、前記複数の入力画像に含まれる前記物質の破断面の破壊モードを推定することができる。
【００１８】
また、本発明に係る破断面状態推定装置の前記撮影条件は、観察角度又は電子顕微鏡の電圧であるとすることができる。
【００１９】
本発明に係るプログラムは、コンピュータを、上記の破断面状態推定装置の各部として機能させるためのプログラムである。
【発明の効果】
【００２０】
本発明の破断面状態推定装置、破断面状態推定方法、及びプログラムによれば、破断面を含む画像から精度良く破断面の状態を推定することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態に係る破断面推定モデル学習装置の構成を示す概略図である。
【図２】起点の位置と亀裂進展方向とが分かっている画像の例を示す図である。
【図３】破断面上に生じるひび割れ模様の例を示す模式図である。
【図４】加速電圧により変化する観察深さの例を示す図である。
【図５】本発明の実施の形態に係る破断面推定モデル学習装置の破断面推定モデル学習処理ルーチンを示すフローチャートである。
【図６】本発明の実施の形態に係る破断面状態推定装置の構成を示す概略図である。
【図７】本発明の第２の実施の形態に係る破断面状態推定装置の破断面状態推定処理ルーチンを示すフローチャートである。
【図８】従来の破断面観察の一例を示すイメージ図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について図面を用いて説明する。
＜本発明の実施の形態に係る破断面推定モデル学習装置の構成＞
図１を参照して、本発明の実施の形態に係る破断面推定モデル学習装置１０の構成について説明する。図１は、本発明の実施の形態に係る破断面推定モデル学習装置１０の構成を示すブロック図である。
【００２３】
破断面推定モデル学習装置１０は、ＣＰＵと、ＲＡＭと、後述する破断面推定モデル学習処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【００２４】
図１に示すように、本実施形態に係る破断面推定モデル学習装置１０は、画像データ入力部１００と、データ処理部１１０と、特徴点推定部１２０と、学習部１３０と、モデル記憶部１４０とを備えて構成される。
【００２５】
画像データ入力部１００は、物質の破断面を含む複数の学習画像と、複数の学習画像の各々について、当該学習画像における物質の破断の生じた起点の位置と、当該学習画像における破壊進展方向と、当該学習画像に含まれる物質の破断面の破壊モードと、当該学習画像における物質の材質との組からなる画像データの入力を受け付ける。
【００２６】
具体的には、学習画像は、図２に示すように、起点の位置と亀裂進展方向とが分かっている画像を用いる。起点の位置は、当該学習画像上の任意の位置を原点とした場合における座標である。起点が当該学習画像に含まれていない場合には、当該学習画像外の座標を示すように指定する。例えば、起点が当該学習画像に含まれていない場合、学習画像の左上を原点、右下を正の値の方向とした場合に、起点の位置を示す座標が負の値を取るように指定する。
【００２７】
また、亀裂進展方向は、起点の位置から、何れの方向に亀裂が進んでいるかを示す方向ベクトルである。亀裂の進展の強さ、度合いにより、方向ベクトルの要素の値が定められている。亀裂の進展が放射状や円弧状に進む場合があるため、方向ベクトルには、亀裂の進展方向の中心の方向ベクトルと進展の広がりを示す角とが含まれる。
【００２８】
物質の破断面には、疲労破壊、延性破壊、脆性破壊、応力腐食割れ、遅れ破壊、クリープ破壊、環境応力割れ等の破壊モードが存在し、この破壊モードは一般に、起点及び亀裂の形状・模様に基づいて判断される。画像データには、学習画像における破断面について、このように既に判断された破壊モードが含まれる。また、画像データには、当該学習画像における物質の材質が含まれる。例えば、黄銅、ステンレス鋼、樹脂、はんだ等の材質である。
【００２９】
そして、画像データ入力部１００は、受け付けた画像データを、データ処理部１１０に渡す。
【００３０】
データ処理部１１０は、画像データに含まれる複数の学習画像の各々について、異なる撮影条件で撮影されたときに得られる擬似的な画像を生成する。具体的には、データ処理部１１０は、コントラスト変更部１１１と、観察深度変更部１１２と、観察範囲変更部１１３と、観察倍率変更部１１４とを備えて構成される。
【００３１】
ここで、撮影条件は、観察角度又は電子顕微鏡の電圧である。観察角度とは、破断面を撮影する角度であり、人手で観察角度を変えた破断面の画像を用いることにより起点を探す際に用いられている。本実施の形態では、このような同一の破断面に対して観察角度が異なる複数の画像を生成して破断面状態モデルの学習に用いる。なぜなら、実際に目視により観察する際には、光線に対して破断面の向き（観察角度）を色々変えることにより、破断面全体の等高線を把握することができる。破断面上に生じる等高線（図３中のラテットマークや放射状模様等）は、破断面の細かい凹凸による光学的なコントラストによるものである。その等高線を把握する際、照明の状態が重要になる。照明の方向は破断面に垂直よりも斜め方向に照射する方が、有効な場合が多い。そして、破断面全体の等高線がわかれば、凹部のつながりや、等高線のパターンから、ひび割れの進展方向がわかる。破断面のひび割れ模様の多くは、線対称、同心円状等、規則性があるため、そのひび割れ模様の開始点や中心が起点となる。このようにして、同一の破断面に対して観察角度が異なる複数の画像を生成して学習に用いることにより、様々な観察角度で撮影された画像に対しても、起点の位置や破壊モード等の破断面の状態を推定することができるにようしようとするのである。
【００３２】
また、電子顕微鏡の電圧を変化させることにより、観察深さが変化する。観察深さとは、ＳＥＭ等の電子顕微鏡における焦点の深さである（図４）。観察角度の場合と同様に、同一の破断面に対して電子顕微鏡の電圧が異なる複数の画像を生成して学習に用いることにより、電子顕微鏡の様々な電圧で撮影された画像に対しても、起点の位置や破壊モード等の破断面の状態を推定することができるにようしようとするのである。
【００３３】
コントラスト変更部１１１は、複数の学習画像の各々について、当該学習画像のコントラストを変更することにより、異なる観察角度で撮影されたときに得られる擬似的な画像を生成する。
【００３４】
観察深度変更部１１２は、複数の学習画像の各々について、当該学習画像の観察深さを変更することにより、電子顕微鏡の異なる電圧を印加して撮影されたときに得られる擬似的な画像を生成する。
【００３５】
観察範囲変更部１１３は、画像データに含まれる複数の学習画像の各々、コントラスト変更部１１１により生成された擬似的な画像の各々、及び観察深度変更部１１２により生成された擬似的な画像の各々について、当該画像の複製し、複製した画像を分割することにより、観察範囲変更画像を生成する。観察範囲変更部１１３は、生成した観察範囲変更画像の各々について、当該観察範囲変更画像に対応する起点の位置等の情報を付加し、画像データに含める。そして、観察範囲変更部１１３は、画像データを観察倍率変更部１１４に渡す。
【００３６】
観察倍率変更部１１４は、画像データに含まれる複数の学習画像の各々、コントラスト変更部１１１により生成された擬似的な画像の各々、観察深度変更部１１２により生成された擬似的な画像の各々、及び観察範囲変更部１１３により生成された観察範囲変更画像の各々について、当該画像を複製し、複製した画像を拡大又は縮小することにより、観察倍率変更画像を生成する。観察倍率変更部１１４は、生成した観察倍率変更画像の各々について、当該観察倍率変更画像に対応する起点の位置等の情報を付加し、画像データに含める。そして、観察倍率変更部１１４は、画像データを特徴点推定部１２０に渡す。
【００３７】
特徴点推定部１２０は、画像データに含まれる複数の学習画像の各々、コントラスト変更部１１１により生成された擬似的な画像の各々、観察深度変更部１１２により生成された擬似的な画像の各々、観察範囲変更部１１３により生成された観察範囲変更画像の各々、及び観察倍率変更部１１４により生成された観察倍率変更画像の各々を教師画像とし、当該教師画像に含まれる物質の破断面における、物質の破断の生じた起点の位置、亀裂進展方向、破壊モード、及び物質の材質を推定する。具体的には、特徴点推定部１２０は、起点推定部１２１と、破壊モード推定部１２２と、亀裂進展方向推定部１２３と、材質推定部１２４とを備えて構成される。
【００３８】
起点推定部１２１は、教師画像の各々について、当該教師画像と、画像に含まれる物質の破断面における、物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、教師画像に含まれる物質の破断面における起点の位置を推定する。具体的には、起点推定部１２１は、まず、モデル記憶部１４０から、起点推定モデルのパラメータを取得する。ここで、起点推定モデルには、例えばニューラルネットワークを用いることができる。次に、起点推定部１２１は、教師画像を起点推定モデルに入力して、起点の位置を推定する。そして、起点推定部１２１は、推定した起点の位置を学習部１３０に渡す。
【００３９】
破壊モード推定部１２２は、教師画像の各々について、当該教師画像と、画像に含まれる物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、教師画像に含まれる前記物質の破断面の破壊モードを推定する。具体的には、破壊モード推定部１２２は、まず、モデル記憶部１４０から、破壊モード推定モデルのパラメータを取得する。ここで、破壊モード推定モデルには、例えばニューラルネットワークを用いることができる。次に、破壊モード推定部１２２は、教師画像を破壊モード推定モデルに入力して、破壊モードを推定する。そして、破壊モード推定部１２２は、推定した破壊モードを学習部１３０に渡す。
【００４０】
亀裂進展方向推定部１２３は、教師画像の各々について、当該教師画像と、画像に含まれる物質の破断面における亀裂進展方向を推定するモデルである亀裂進展方向推定モデルとに基づいて、教師画像に含まれる物質の破断面における亀裂進展方向を推定する。具体的には、亀裂進展方向推定部１２３は、まず、モデル記憶部１４０から、亀裂進展方向推定モデルのパラメータを取得する。ここで、亀裂進展方向推定モデルには、例えばニューラルネットワークを用いることができる。次に、亀裂進展方向推定部１２３は、教師画像を亀裂進展方向推定モデルに入力して、亀裂進展方向を推定する。そして、亀裂進展方向推定部１２３は、推定した亀裂進展方向を学習部１３０に渡す。
【００４１】
材質推定部１２４は、教師画像の各々について、当該教師画像と、画像に含まれる物質の材質を推定するモデルである材質推定モデルとに基づいて、教師画像に含まれる物質の材質を推定する。具体的には、材質推定部１２４は、まず、モデル記憶部１４０から、材質推定モデルのパラメータを取得する。ここで、材質推定モデルには、例えばニューラルネットワークを用いることができる。次に、材質推定部１２４は、教師画像を材質推定モデルに入力して、物質の材質を推定する。そして、材質推定部１２４は、推定した物質の材質を学習部１３０に渡す。
【００４２】
学習部１３０は、教師画像の各々について、起点推定部１２１により推定された当該教師画像の起点の位置、破壊モード推定部１２２により推定された当該教師画像に含まれる物質の破断面の破壊モード、亀裂進展方向推定部１２３により推定された、当該教師画像に含まれる物質の破断面における亀裂進展方向、及び材質推定部１２４により推定された、当該教師画像に含まれる物質の材質が、当該教師画像における起点の位置、破壊モード、亀裂進展方向及び材質と一致するように、起点推定モデルのパラメータと、破壊モード推定モデルのパラメータと、亀裂進展方向推定モデルのパラメータと、材質推定モデルのパラメータとを学習する。
【００４３】
具体的には、学習部１３０は、起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルの各々が、正解である画像データから得られる、当該教師画像における起点の位置、破壊モード、亀裂進展方向及び材質を正しく推定することができるように、誤差逆伝搬法等の学習法を用いて、起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルのパラメータを同時に学習する。すなわち、起点の位置、破壊モード、亀裂進展方向、物質の材質の相関関係を加味して、起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルが互いに正しく推定することができるように、起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルのパラメータを学習する。そして、学習部１３０は、撮影条件毎に学習した各推定モデルのパラメータを、モデル記憶部１４０に格納する。
【００４４】
学習部１３０は、所定の終了条件を満たすまで、例えば所定の回数だけ学習処理が行われるまで、画像データ入力部１００による画像データの入力の受け付け、データ処理部による処理、特徴点推定部１２０による処理、及び学習部１３０による学習処理を繰り返す。
【００４５】
モデル記憶部１４０には、起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルのパラメータが格納されている。
【００４６】
＜本発明の実施の形態に係る破断面推定モデル学習装置の作用＞
図５は、本発明の実施の形態に係る破断面推定モデル学習処理ルーチンを示すフローチャートである。
【００４７】
画像データ入力部１００に画像データが入力されると、破断面推定モデル学習装置１０において、図５に示す破断面推定モデル学習処理ルーチンが実行される。
【００４８】
まず、ステップＳ１００において、画像データ入力部１００は、撮影条件が異なる複数の学習画像であって、物質の同一の破断面を含む複数の学習画像と、複数の学習画像の各々について、当該学習画像における物質の破断の生じた起点の位置と、当該学習画像における破壊進展方向と、当該学習画像に含まれる物質の破断面の破壊モードと、当該学習画像における物質の材質との組からなる画像データの入力を受け付ける。
【００４９】
ステップＳ１１０において、コントラスト変更部１１１は、数の学習画像の各々について、当該学習画像のコントラストを変更することにより、異なる観察角度で撮影されたときに得られる擬似的な画像を生成する。
【００５０】
ステップＳ１２０において、観察深度変更部１１２は、複数の学習画像の各々について、当該学習画像の観察深さを変更することにより、電子顕微鏡の異なる電圧を印加して撮影されたときに得られる擬似的な画像を生成する。
【００５１】
ステップＳ１３０において、観察範囲変更部１１３は、画像データに含まれる複数の学習画像の各々、コントラスト変更部１１１により生成された擬似的な画像の各々、及び観察深度変更部１１２により生成された擬似的な画像の各々について、当該画像の複製し、複製した画像を分割することにより、観察範囲変更画像を生成する。
【００５２】
ステップＳ１４０において、観察倍率変更部１１４は、画像データに含まれる複数の学習画像の各々、コントラスト変更部１１１により生成された擬似的な画像の各々、観察深度変更部１１２により生成された擬似的な画像の各々、及び観察範囲変更部１１３により生成された観察範囲変更画像の各々について、当該画像を複製し、複製した画像を拡大又は縮小することにより、観察倍率変更画像を生成する。
【００５３】
ステップＳ１５０において、起点推定部１２１、破壊モード推定部１２２、亀裂進展方向推定部１２３、及び材質推定部１２４は、モデル記憶部１４０から、それぞれ起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルのパラメータを取得する。
【００５４】
ステップＳ１６０において、起点推定部１２１は、教師画像の各々について、当該教師画像と、画像に含まれる物質の破断面における、物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、教師画像に含まれる物質の破断面における起点の位置を推定する。
【００５５】
ステップＳ１７０において、破壊モード推定部１２２は、教師画像の各々について、当該教師画像と、画像に含まれる物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、教師画像に含まれる前記物質の破断面の破壊モードを推定する。
【００５６】
ステップＳ１８０において、亀裂進展方向推定部１２３は、教師画像の各々について、当該教師画像と、画像に含まれる物質の破断面における亀裂進展方向を推定するモデルである亀裂進展方向推定モデルとに基づいて、教師画像に含まれる物質の破断面における亀裂進展方向を推定する。
【００５７】
ステップＳ１９０において、材質推定部１２４は、教師画像の各々について、当該教師画像と、画像に含まれる物質の材質を推定するモデルである材質推定モデルとに基づいて、教師画像に含まれる物質の材質を推定する。
【００５８】
ステップＳ２００において、学習部１３０は、教師画像の各々について、起点推定部１２１により推定された当該教師画像の起点の位置、破壊モード推定部１２２により推定された当該教師画像に含まれる物質の破断面の破壊モード、亀裂進展方向推定部１２３により推定された、当該教師画像に含まれる物質の破断面における亀裂進展方向、及び材質推定部１２４により推定された、当該教師画像に含まれる物質の材質が、当該教師画像における起点の位置、破壊モード、亀裂進展方向及び材質と一致するように、起点推定モデルのパラメータと、破壊モード推定モデルのパラメータと、亀裂進展方向推定モデルのパラメータと、材質推定モデルのパラメータとを学習する。
【００５９】
ステップＳ２１０において、学習部１３０は、上記ステップＳ２００により学習された起点推定モデルのパラメータと、破壊モード推定モデルのパラメータと、亀裂進展方向推定モデルのパラメータと、材質推定モデルのパラメータとを、モデル記憶部１４０に格納する。
【００６０】
ステップＳ２２０において、学習部１３０は、所定の終了条件を満たしているか否かを判定する。
【００６１】
終了条件を満たしていない場合（上記ステップＳ２２０のＮＯ）、ステップＳ１５０に戻り、ステップＳ１５０〜Ｓ２１０の処理を繰り返す。一方、終了条件を満たしている場合（上記ステップＳ２２０のＹＥＳ）、処理を終了する。
【００６２】
以上説明したように、本発明の実施形態に係る破断面推定モデル学習装置によれば、物質の破断面を含む学習画像と、当該学習画像における物質の破断の生じた起点の位置と、当該学習画像に含まれる物質の破断面の破壊モードとの組からなる画像データの入力を受け付け、撮影条件毎に、画像に含まれる物質の破断面における、前記物質の破断の生じた起点の位置を推定する起点推定モデルにより推定した当該学習画像の起点の位置と画像に含まれる前記物質の破断面の破壊モードを推定する破壊モード推定モデルにより推定した当該学習画像に含まれる物質の破断面の破壊モードとが、画像データに含まれる起点の位置及び破壊モードと一致するように、起点推定モデルのパラメータと破壊モード推定モデルのパラメータとを学習することにより、破断面を含む画像から精度良く破断面の状態を推定するための破断面推定モデルを学習することができる。
【００６３】
＜本発明の実施の形態に係る破断面状態推定装置の構成＞
図６を参照して、本発明の実施の形態に係る破断面状態推定装置２０の構成について説明する。図６は、本発明の実施の形態に係る破断面状態推定装置２０の構成を示すブロック図である。なお、上記破断面推定モデル学習装置１０と同様の構成については、同一の符号を付して詳細な説明は省略する。
【００６４】
破断面状態推定装置２０は、ＣＰＵと、ＲＡＭと、後述する破断面状態推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【００６５】
図６に示すように、本実施形態に係る破断面状態推定装置２０は、画像入力部２００と、特徴点推定部１２０と、モデル記憶部１４０と、出力部２５０とを備えて構成される。
【００６６】
モデル記憶部１４０には、破断面推定モデル学習装置１０により予め学習された起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルのパラメータが格納されている。
【００６７】
画像入力部２００は、物質の破断面を含む入力画像の入力を受け付ける。そして、画像入力部２００は、受け付けた入力画像を、特徴点推定部１２０に渡す。破断面状態推定装置２０において、特徴点推定部１２０は、起点推定部１２１、破壊モード推定部１２２、亀裂進展方向推定部１２３、及び材質推定部１２４による推定結果を、出力部２５０に渡す。
【００６８】
出力部２５０は、推定結果を出力する。
【００６９】
＜本発明の実施の形態に係る破断面状態推定装置の作用＞
図７は、本発明の実施の形態に係る破断面状態推定処理ルーチンを示すフローチャートである。
【００７０】
画像入力部２００に入力画像が入力されると、破断面状態推定装置２０において、図７に示す破断面状態推定処理ルーチンが実行される。
【００７１】
まず、ステップＳ３００において、画像入力部２００は、物質の破断面を含む入力画像の入力を受け付ける。
【００７２】
ステップＳ３３０において、出力部２５０は、上記ステップＳ１６０〜Ｓ１９０により得られた推定結果を出力する。
【００７３】
以上説明したように、本発明の実施形態に係る破断面状態推定装置によれば、入力画像と、予め学習された、画像に含まれる物質の破断面における、物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、入力画像に含まれる物質の破断面における起点の位置を推定し、入力画像と、予め学習された、画像に含まれる物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、入力画像に含まれる物質の破断面の破壊モードを推定することにより、破断面を含む画像から精度良く破断面の状態を推定することができる。
【００７４】
このような破断面状態推定装置を用いれば、例えば、破断面を解析する際に、ＳＥＭにより破断面を走査して撮影している場合に、適宜破断面状態推定装置により起点の位置を推定して、走査位置を起点周辺に移動させ、効率的に撮影することができる。
【００７５】
また、破壊モードが同じであれば、破断面に現れる形態も同じであるため、学習画像に用いた材質が異なる場合であっても、破壊モードを精度良く推定することができる。例えば、材質が鉄鋼のみの学習画像を用いて学習された破壊モード推定モデルを用いても、他の材質の破断面を含む入力画像に対して、精度良く破壊モードを推定することができる。
【００７６】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００７７】
例えば、上述の起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルの各々は、一つの画像を入力とする場合を例に説明したが、これに限定するものではない。例えば、起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルの各々は、撮影条件が異なる複数の画像であって、同一の破断面を含む複数の画像を入力とするようにしてもよい。
【００７８】
この場合、破断面推定モデル学習装置により、画像データに含まれる学習画像と、コントラスト変更部１１１により当該学習画像から生成された擬似的な画像の各々と、観察深度変更部１１２により当該学習画像から生成された擬似的な画像の各々とを、起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルの各々に入力して、起点の位置、亀裂進展方向、破壊モード、及び物質の材質を推定するようにすればよい。
【００７９】
また、破断面推定装置は、撮影条件が異なる複数の入力画像であって、同一の破断面を含む複数の入力画像を受け付け、受け付けた複数の入力画像を、起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルの各々に入力して、起点の位置、亀裂進展方向、破壊モード、及び物質の材質を推定するようにすればよい。ここで、撮影条件が、撮影角度である場合には、通常、撮影角度が異なる入力画像間で、画素単位のずれが生じているため、従来既知の手法を用いて、画素単位のずれを補正するように幾何変換を行い、幾何変換後の入力画像を、起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルの各々に入力するようにすればよい。
【００８０】
このように、撮影条件が異なる複数の入力画像であって、同一の破断面を含む複数の入力画像と、予め学習された、同一の破断面を含む複数の画像に含まれる物質の破断面における起点の位置を推定する起点推定モデルとに基づいて、複数の入力画像に含まれる物質の破断面における起点の位置を推定し、複数の入力画像と、予め学習された、同一の破断面を含む複数の画像に含まれる物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、入力画像に含まれる物質の破断面の破壊モードを推定することにより、破断面を含む画像から精度良く破断面の状態を推定することができる。
【００８１】
すなわち、同一の破断面に対して、様々な観察角度や観察深さで撮影された複数の入力画像を用いることにより、起点の位置や破壊モード等の当該破断面の状態をより精度良く推定することができる。
【００８２】
また、上述の実施の形態では、破断面推定モデル学習装置と破断面状態推定装置とを別の装置として構成したが、これに限定されるものではなく、同一の装置として構成してもよい。
【００８３】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００８４】
１０   破断面推定モデル学習装置
２０   破断面状態推定装置
１００ 画像データ入力部
１１０ データ処理部
１１１ コントラスト変更部
１１２ 観察深度変更部
１１３ 観察範囲変更部
１１４ 観察倍率変更部
１２０ 特徴点推定部
１２１ 起点推定部
１２２ 破壊モード推定部
１２３ 亀裂進展方向推定部
１２４ 材質推定部
１３０ 学習部
１４０ モデル記憶部
２００ 画像入力部
２５０ 出力部
【図１】
2020153673.tif 000003
【図２】
2020153673.tif 000004
【図３】
2020153673.tif 000005
【図４】
2020153673.tif 000006
【図５】
2020153673.tif 000007
【図６】
2020153673.tif 000008
【図７】
2020153673.tif 000009
【図８】
2020153673.tif 000010