(57)【要約】【課題】走査電子顕微鏡等で観測した材料の画像を用いて効率的に特性値を推定することができる材料特性推定装置及び材料特性推定方法を提供する。【解決手段】顕微鏡６００により撮像された材料の画像を読み取る情報読取部２１１と、画像に基づきニューラルネットワークモデルにより材料の材料特性を推定する推定部２１２と、推定部２１２による推定結果を出力する出力部２１３と、を備え、推定結果は、推定の確信度情報を含む。【選択図】図１
2019012037.tif 000002
【特許請求の範囲】
【請求項１】
顕微鏡により撮像された材料の画像を読み取る情報読取部と、
前記画像に基づきニューラルネットワークモデルにより前記材料の材料特性を推定する推定部と、
前記推定部による推定結果を出力する出力部と、
を備え、
前記推定結果は、推定の確信度情報を含む、材料特性推定装置。
【請求項２】
前記推定部は、前記材料が属する材料特性値のカテゴリを推定する請求項１に記載の材料特性推定装置。
【請求項３】
前記出力部は、前記材料が属する材料特性値のカテゴリの期待値分布を前記確信度情報として出力する、請求項１に記載の材料特性推定装置。
【請求項４】
前記材料特性は引張強度を含む、請求項１乃至３のいずれか一項に記載の材料特性推定装置。
【請求項５】
前記推定部は、前記画像に撮像されている結晶組織の情報に基づき画像領域のサイズを決定し、該画像領域の情報に基づき前記材料の材料特性を推定する、請求項１乃至４のいずれか一項に記載の材料特性推定装置。
【請求項６】
顕微鏡により撮像された材料の画像を読み取るステップと、
前記画像に基づきニューラルネットワークモデルにより前記材料の材料特性を推定するステップと、
前記推定するステップによる推定結果を出力するステップと、
を含み、
前記推定結果は、推定の確信度情報を含む、材料特性推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、材料特性推定装置及び材料特性推定方法に関する。
【背景技術】
【０００２】
近年、自動車等に利用される薄板鋼板やラインパイプ等に利用される厚板鋼材に求められる鉄鋼製品の特性は向上してきており、また、許容される材料特性値（機械特性値）のばらつきも厳格化してきている。また特性値を改良するための鉄鋼製品開発は、より効率化を求められてきている。効率的な鉄鋼製品開発のためには、実際に鋼材をつくり試験装置によって引張強度（Ｔｅｎｓｉｌｅ Ｓｔｒｅｎｇｔｈ：ＴＳ）等の特性値を試験装置によって計測する前に、モデルによって鋼材の特性値を推定・予測技術ことが重要である。例えば特許文献１では、鉄鋼プロセスにおける鋼材温度等の操業条件から、鉄鋼製品の特性値を推定する方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２３６１１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のように操業条件から特性値を推定する方法があるものの、これまで走査電子顕微鏡等で観測した材料の画像を用いて効率的に特性値を推定することは提案されてこなかった。
【０００５】
従って、上記のような問題点等に鑑みてなされた本発明の目的は、走査電子顕微鏡等で観測した材料の画像を用いて効率的に特性値を推定することができる材料特性推定装置及び材料特性推定方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明の一実施形態に係る材料特性推定装置は、
顕微鏡により撮像された材料の画像の入力を受け付ける入力部と、
前記画像に基づきニューラルネットワークモデルにより前記材料の材料特性を推定する推定部と、
前記推定部による推定結果及び確信度を出力する出力部と、
を備える。
【０００７】
また、本発明の一実施形態に係る材料特性推定方法は、
顕微鏡により撮像された材料の画像を読み取るステップと、
前記画像に基づきニューラルネットワークモデルにより前記材料の材料特性を推定するステップと、
前記推定するステップによる推定結果を出力するステップと、
を含み、
前記推定結果は、推定の確信度情報を含む。
【発明の効果】
【０００８】
本発明の一実施形態に係る材料特性推定装置及び材料特性推定方法によれば、走査電子顕微鏡等で観測した材料の画像を用いて効率的に特性値を推定することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る材料特性推定装置を含むシステムの概要図である。
【図２】ミクロ組織画像の一例である。
【図３】予測モデル作成処理を示すフローチャートである。
【図４】ニューラルネットワークモデルの処理の概念図である。
【図５】ニューラルネットワークモデルの処理フロー図を示す。
【図６】材料特性の推定処理を示すフローチャートである。
【図７】推定処理の対象となるミクロ組織画像の一例である。
【図８】推定処理の結果表示の一例である。
【図９】推定処理の結果表示の別の一例である。
【図１０】ニューラルネットワークモデルの推定精度を示す表の別形式の一例である。
【図１１】ニューラルネットワークモデルの推定精度を示す表の別形式の一例である。
【発明を実施するための形態】
【００１０】
（実施の形態）
以下、本発明の実施の形態について説明する。
【００１１】
（本システムの構成）
図１は本発明の一実施形態に係る材料特性推定装置２００を含むシステム１００の概要図である。図１に示すように、本発明の一実施形態に係るシステム１００は、材料特性推定装置２００と、表示装置３００と、入力装置４００と、記憶装置５００と、顕微鏡６００と、第１情報処理装置６０１と、材料特性計測装置７００と、第２情報処理装置７０１とを備える。
【００１２】
材料特性推定装置２００は、材料特性の推定処理を行う装置である。材料特性推定装置２００は概略として、表示装置３００、入力装置４００、記憶装置５００、第１情報処理装置６０１、及び第２情報処理装置７０１と有線により接続される。材料特性推定装置２００は、これらの各装置と通信することで必要な情報の送受信を行い、材料特性を推定する。なお材料特性推定装置２００と各装置とは、図１ではバスを介した有線により接続されているが接続の態様はこれに限られず、無線により接続してもよく、あるいは有線と無線を組み合わせた接続態様であってもよい。材料特性推定装置２００の詳細の各構成については後述する。
【００１３】
表示装置３００は、例えば液晶ディスプレイ及び有機ＥＬディスプレイ等、任意のディスプレイである。表示装置３００は、入力されるデータ及び映像信号に基づく画面を表示可能である。表示装置３００により、材料特性推定装置２００による処理結果等を表示する。
【００１４】
入力装置４００は、例えばキーボード、ペンタブレット、タッチパッド、マウス等、本システムの管理者の操作を検出可能な任意の入力インターフェースである。なお入力装置４００は、表示装置３００と一体的に設けられたタッチパネルであってもよい。入力装置４００により、材料特性推定装置２００への各種処理の指示に係る操作を受け付ける。
【００１５】
記憶装置５００は、例えばハードディスクドライブ、半導体ドライブ、光学ディスクドライブ等であり、本システムにおいて必要な情報を記憶する装置である。
【００１６】
顕微鏡６００は、例えば走査電子顕微鏡、走査光学顕微鏡であり、本システムで材料特性を推定する対象の材料（以下、試験片ともいう。）のミクロ組織を撮像する装置である。試験片は例えば鋼材であり、本実施形態では試験片が鋼材である例について説明する。図２に顕微鏡６００により撮像した試験片のミクロ組織の画像（以下、ミクロ組織画像といい、本発明の「画像」に対応する。）の一例を示す。ミクロ組織画像は、例えば図２に示すように、試験片表面の結晶構造を視野１５０μｍまで拡大して撮像された２次元画像である。
【００１７】
第１情報処理装置６０１は、顕微鏡６００により撮像されたミクロ組織画像を電子データとして保存し、また当該電子データを材料特性推定装置２００に伝送するための装置である。ここで第１情報処理装置６０１は、ミクロ組織画像と試験片とを対応付けて保存する。例えば第１情報処理装置６０１は、各試験片に固有のＩＤと、当該試験片のミクロ組織画像とを対応付けて記憶する。
【００１８】
材料特性計測装置７００は、例えば試験片の引張試験を行う引張試験装置を含み、試験片の材料特性を計測可能な装置である。材料特性計測装置７００を引張試験装置とする場合、材料特性は引張強度であり、以下本実施の形態では材料特性が引張強度である例について説明する。なお材料特性は引張強度に限らず、延性、靱性、圧縮強度、せん断強度等であってもよく、他の任意の材料特性であってもよい。本実施の形態では、試験片として、６０ｋ熱延ハイテン材、５チャージ、１９コイル、特性値レンジに関して引張強度が５６０〜７００ＭＰａ、延性（ＥＬ）が２９〜３９％に対する１１２サンプルを用いた例を示す。
【００１９】
第２情報処理装置７０１は、材料特性計測装置７００により計測された材料特性値を電子データとして保存し、また当該電子データを材料特性推定装置２００に伝送するための装置である。ここで第２情報処理装置７０１は、材料特性値と試験片とを対応付けて保存する。具体的には例えば第２情報処理装置７０１は、試験片に固有の前記ＩＤと、当該試験片の材料特性値とを対応付けて記憶する。
【００２０】
（材料特性推定装置の構成）
図１に示すように材料特性推定装置２００は、演算処理部２０１と、ＲＯＭ２０２と、ＲＡＭ２０４とを備える。ＲＯＭは材料特性推定プログラム２０３を記憶している。また演算処理部２０１と、ＲＯＭ２０２と、ＲＡＭ２０４とは、バス２０５によりそれぞれ接続されている。また上述の表示装置３００、入力装置４００、記憶装置５００、第１情報処理装置６０１、第２情報処理装置７０１も、バス２０５により接続されている。
【００２１】
演算処理部２０１は、例えば汎用プロセッサ、及び特定の処理に特化した専用プロセッサ等、１つ以上のプロセッサを含む。演算処理部２０１は、ＲＯＭ２０２から材料特性推定プログラム２０３を読み込んで、一時記憶部であるＲＡＭ２０４を用いて特定の機能を実現する。演算処理部２０１は、材料特性推定装置２００全体の動作を制御する。
【００２２】
演算処理部２０１は機能ブロックとして、図１に示すように情報読取部２０６と、画像前処理部２０７と、離散化処理部２０８と、予測モデル作成部２０９と、出力部２１０と、情報読取部２１１と、推定部２１２と、出力部２１３とを備える。演算処理部２０１は、入力装置４００の操作に基づき予測モデル作成処理の指示を受けた場合は、情報読取部２０６と、画像前処理部２０７と、離散化処理部２０８と、予測モデル作成部２０９と、出力部２１０とを機能させる。一方で演算処理部２０１は、入力装置４００の操作に基づき推定処理の指示を受けた場合は、情報読取部２１１と、推定部２１２と、出力部２１３とを機能させる。
【００２３】
（予測モデル作成処理）
次に本システム１００による材料特性の推定処理について説明する。本システムは材料特性を推定する前に、まずミクロ組織画像と材料特性とを結びつける予測モデルを作成する。図３に、予測モデル作成処理に係るフローチャートを示す。材料特性推定装置２００の演算処理部２０１は、入力装置４００の操作に基づき予測モデル作成処理の指示を受けた場合に図３に係る処理を実行する。
【００２４】
予測モデル作成指示を受けた場合、演算処理部２０１の情報読取部２０６は、まず第１情報処理装置６０１により保存された試験片のミクロ組織画像を読み込む。また情報読取部２０６は、読み込んだミクロ組織画像に対応する材料特性値を読み込む。具体的には情報読取部２０６は、試験片のＩＤに基づき、読み込んだミクロ組織画像に対応する情報を特定する。そして第２情報処理装置７０１により保存された当該試験片の材料特性値を読み込む（ステップＳ２０１）。
【００２５】
次に画像前処理部２０７は、ステップＳ２０１で入力されたミクロ組織画像を、予測モデル作成処理用に加工処理する（ステップＳ２０２）。具体的には画像前処理部２０７はミクロ組織画像を圧縮等する。例えばステップＳ２０１で入力されたミクロ組織画像が、色深度１チャンネル８ビットカラー（２５６色）で、画像サイズが横１２５２×縦９９０ピクセルの画像であった場合、画像前処理部２０７は、幅１２０×高さ９４ピクセルに圧縮する。また画像前処理部２０７は、色深度１チャンネルから３チャネル・トゥルーカラーに変更する。また画像前処理部２０７は、ミクロ組織画像のうち印字がされている下部１８ピクセルを削除する。かかる加工処理により、ミクロ組織画像１枚当たり１２０[ピクセル]×７６[ピクセル]×３[チャンネル]×１１２[サンプル]＝３,０６４,３２０[バイト]のバイナリデータを作成する。
【００２６】
続いて画像前処理部２０７は、上記処理を施した画像をランダムに１枚選択し、変更処理を施す。具体的には画像前処理部２０７は、選択した画像を、確率５０％で上下反転させ、確率５０％で左右反転させ、明度を６４段階でランダムに変更させ、コントラストをランダムに変更させる。そして変更処理された画像から横２４×縦２４ピクセルの小さな画像をランダムに抽出（クロップ）する。以上の処理を５万回繰り返すことで、横２４×縦２４ピクセルの小さな画像を５万枚作成する。この５万枚の画像を学習用データと呼ぶ。さらに画像前処理部２０７は、学習用データとは独立して、学習用データを作成したときと同様の処理を行うことで１０００８枚の画像を作成する。これを評価用データと呼ぶ。
【００２７】
続いて離散化処理部２０８は、ステップＳ２０１で読み取った試験片の材料特性値をカテゴリデータに離散変換する（ステップＳ２０３）。全試験片の材料特性値（ここでは引張強度）が５６０ＭＰａから６９９ＭＰａの範囲内の値であった場合、離散化処理部２０８は、材料特性値をカテゴリ０からカテゴリ１０までの１１個のカテゴリのいずれかに割り当てることで、データを離散変換する。具体的には、引張強度が５６０ＭＰａ以上５７０ＭＰａ未満のデータに対してカテゴリ０を割り当てる。また、引張強度が５７０ＭＰａ以上５８０ＭＰａ未満のデータに対してカテゴリ１を割り当てる。また、引張強度が５８０ＭＰａ以上５９０ＭＰａ未満のデータに対してカテゴリ２を割り当てる。また、引張強度が５９０ＭＰａ以上６００ＭＰａ未満のデータに対してカテゴリ３を割り当てる。また、引張強度が６００ＭＰａ以上６１０ＭＰａ未満のデータに対してカテゴリ４を割り当てる。また、引張強度が６１０ＭＰａ以上６２０ＭＰａ未満のデータに対してカテゴリ５を割り当てる。また、引張強度が６２０ＭＰａ以上６３０ＭＰａ未満のデータに対してカテゴリ６を割り当てる。また、引張強度が６３０ＭＰａ以上６４０ＭＰａ未満のデータに対してカテゴリ７を割り当てる。また、引張強度が６６０ＭＰａ以上６７０ＭＰａ未満のデータに対してカテゴリ８を割り当てる。また、引張強度が６７０ＭＰａ以上６８０ＭＰａ未満のデータに対してカテゴリ９を割り当てる。また、引張強度が６８０ＭＰａ以上６９０ＭＰａ未満のデータに対してカテゴリ１０を割り当てる。このように引張強度が１０ＭＰａのレンジで1つのカテゴリを割り当てる。
【００２８】
続いて予測モデル作成部２０９は、ミクロ組織画像と材料特性とを結びつけるニューラルネットワークモデルを作成する（ステップＳ２０４）。具体的には予測モデル作成部２０９は、ステップＳ２０２で作成した画像（学習用データ）を入力し、ステップＳ２０３で離散化処理した材料特性のカテゴリ値を出力するニューラルネットワークモデルを作成する。より具体的には予測モデル作成部２０９は、当該ニューラルネットワークモデルのパラメータの最適化計算を行う。最適化計算として予測モデル作成部２０９は、まず学習用データ（５万枚の画像データ）をそれぞれニューラルネットワークモデルに入力し、ニューラルネットワークモデルが出力するカテゴリの推定値とその画像に対応する試験片のカテゴリ値との差の二乗を足し合わせて総和を算出する。例えば、特定カテゴリの値が１でその他が０である正解値に対して、各カテゴリの出力（０〜１）値の差の二乗和を計算するものである。言い換えると、ニューラルネットワークモデルが出力するカテゴリの推定値（カテゴリ毎の０〜１の出力値）と、試験片のカテゴリ値の正解値（当該試験片の属する特定カテゴリの値が１で、特定カテゴリ以外のカテゴリの値が０）とについて、各カテゴリの値の差の二乗和を計算する。予測モデル作成部２０９は当該総和が最小となるように、パラメータを最適化する。
【００２９】
図４に、本システムにおけるニューラルネットワークモデルの処理の概念図を示す。ニューラルネットワークモデルは複数のフィルタの入出力が多段に繋がれた構造を有する。図４に示すようにニューラルネットワークモデルは、まず入力画像４１を入力とし、フィルタ４３を介して各ピクセル４４の値を決定し、第１特徴マップ４５を出力する。次に第１特徴マップ４５に対してフィルタ４６を介して各ピクセル４７の値を決定し、第２特徴マップ４８を出力する。このような処理を繰り返し、結合層４９を経て、最終的に材料特性値に係るカテゴリを分類器５０が出力する。
【００３０】
図５に、本システムにおけるニューラルネットワークモデルの処理フロー図を示す。本実施の形態に係るニューラルネットワークモデルは、入力側から順番に、第１畳み込み層３０１と、第１プーリング層３０２と、第１局所応答正規化フィルタ３０３と、第２畳み込み層３０４と、第２局所応答正規化フィルタ３０５と、第２プーリング層３０６と、第１全結合層３０７と、第２全結合層３０８と、分類器３０９とを含む。
【００３１】
第１畳み込み層３０１は、横２４×縦２４ピクセルの画像を入力とし、畳み込み演算によって１９×１９ピクセルの第１特徴マップを出力する。第１特徴マップは、入力画像のどの箇所でどのような局所的な特徴があるのかを示す。畳み込み演算においては、例えば横５×縦５ピクセル、３チャンネルの６０種のフィルタを用いる。
【００３２】
第１プーリング層３０２は、第１畳み込み層３０１が出力した第１特徴マップを入力とし、第１特徴マップの横３×縦３ピクセル内での最大値を新たな１ピクセルとする。かかる操作を１ピクセル毎にずらしながらマップ全体にわたり実施する。これにより第１プーリング層３０２は、第１特徴マップを平滑化した、第２特徴マップを出力する。
【００３３】
第１局所応答正規化フィルタ３０３は、第１プーリング層３０２が出力した第２特徴マップの値が飽和しないように第２特徴マップの同一位置における異なる第２特徴マップ間で正規化処理を行う。
【００３４】
第２畳み込み層３０４は、正規化処理が行われた第２特徴マップを入力画像とし、畳み込み演算によって第３特徴マップを出力する。第３特徴マップは、入力画像のどの箇所でどのような局所的な特徴があるのかを示す。畳み込み演算においては、例えば横５×縦５ピクセル、３チャンネルの６０種のフィルタを用いる。
【００３５】
第２局所応答正規化フィルタ３０５は、第２畳み込み層３０４が出力した第３特徴マップの値が飽和しないように第３特徴マップの同一位置における異なる第３特徴マップ間で正規化処理を行う。
【００３６】
第２プーリング層３０６は、第２局所応答正規化フィルタ３０５により正規化処理された第３特徴マップを入力とし、第３特徴マップの３×３ピクセル内での最大値を新たな１ピクセルとする。かかる操作を１ピクセルごとにずらしながらマップ全体にわたり実施する。これにより第２プーリング層３０６は、第３特徴マップを平滑化した、第４特徴マップを出力する。
【００３７】
第１全結合層３０７及び第２全結合層３０８は、第２プーリング層３０６が出力した第４特徴マップの画素を、それぞれ所定のアルゴリズムで結合する。結合した第５特徴マップを分類器３０９に出力する。具体的には第１全結合層３０７は、第２プーリング層３０６が出力した第４特徴マップの画素すべてを入力とし、入力された画素と別の３８４個のニューロンとを全結合させたニューラルネットワークであり、このニューラルネットワークから算出される３８４個の値を第２全結合層３０８に出力する。第２全結合層３０８は、第１全結合層３０７から入力された３８４個の入力と別の１９２個のニューロンとを全結合させたニューラルネットワークであり、このニューラルネットワークから算出される１９２個の値を分類器３０９に出力する。
【００３８】
分類器３０９は、第５特徴マップから、材料特性値に係るカテゴリ（本実施の形態では１１分類）を出力する。ここで分類器３０９は、カテゴリ毎にそれぞれ値を出力し、各出力値は、各カテゴリに属する確からしさを示す。
【００３９】
上記処理により出力された結果と、計測値に基づく試験片のカテゴリとに基づき、ニューラルネットワークモデルのパラメータを最適化すると、フィルタの重み付け等が最適化される。最適化処理を行うことで、引張強度に影響を与える粒界、相分率、粒の形状等のミクロ組織の局所的な特徴等がニューラルネットワークモデルにより抽出され得る。
【００４０】
ニューラルネットワークモデルのパラメータを最適化した後、予測モデル作成部２０９は、ステップＳ２０３で作成した評価用データをニューラルネットワークモデルに入力して、評価用データに対する推定結果を得る。予測モデル作成部２０９は、学習用データ、評価用データ、ニューラルネットワークモデルのパラメータ、学習用データに対するニューラルネットワークモデルの出力結果、及び評価用データに対するニューラルネットワークモデルの出力結果を、記憶装置５００に記憶させる。
【００４１】
続いて出力部２１０は、ステップＳ２０４で作成したニューラルネットワークモデルによる評価用データの推定結果を表示装置３００に出力する（ステップＳ２０５）。表示装置３００は、例えば推定結果を表形式で出力する。
【００４２】
（材料特性推定処理）
材料特性推定装置２００の演算処理部２０１は、入力装置４００の操作に基づき推定処理の指示を受けた場合、材料特性の推定処理を行う。図６は、材料特性の推定処理を示すフローチャートである。
【００４３】
はじめに情報読取部２１１は、推定の対象となるミクロ組織画像を読み取る（ステップＳ４０１）。図７に推定処理の対象となるミクロ組織画像の一例を示す。推定の対象となるミクロ組織画像は、顕微鏡６００により取得され第１情報処理装置６０１に記憶されている。情報読取部２１１は、かかるミクロ組織画像を第１情報処理装置６０１から取得する。また情報読取部２１１は、記憶装置５００に記憶されているニューラルネットワークモデルに係る各種データを取得する。
【００４４】
次に推定部２１２は、ステップＳ４０１で読み取ったミクロ組織画像に基づき、ニューラルネットワークモデルにより当該画像に係る材料の材料特性を推定する（ステップＳ４０２）。具体的には推定部２１２は、当該画像に係る材料が属する材料特性値のカテゴリを推定する。
【００４５】
本発明の一実施形態に係るニューラルネットワークモデルでは上述したように、分類器３０９の出力値は、カテゴリ毎にそれぞれ出力され、各出力値は、各カテゴリに属する確からしさを示している。例えば分類器３０９は、カテゴリ毎に、０〜１の間の連続値を出力する。この場合、分類器３０９が出力した値が１に近いほど、そのカテゴリに属する可能性が高いことを示す。
【００４６】
分類器３０９はカテゴリ毎に確からしさを独立に出力するため、推定部２１２は、分類器３０９の出力をまとめて、期待値の分布として編集出力する。すなわち、推定部２１２は、各カテゴリの出力を合計し、その合計値で各カテゴリの出力値を割って、期待値分布としている。
【００４７】
ここでは各カテゴリを横軸に、各カテゴリに入力画像データが属する期待値（確率）を縦軸にとったヒストグラムを表示している。図８に示す推定結果は、ミクロ組織画像が示す鋼材の引張強度が、カテゴリ３に属する期待値が約６０％であることを示している。またその他のカテゴリに属する期待値が１０％以下であることを示している。このようにして推定結果の表示に基づき、材料特定を把握することができる。
【００４８】
推定処理の結果表示の別の一例を図９に示す。図９に示す推定結果は、ミクロ組織画像が示す鋼材の引張強度が、カテゴリ１又は２に属する期待値がそれぞれ約３５％であることを示している。またカテゴリ３に属する期待値が約２０％であることを示している。すなわちこの場合には、推定結果の確からしさが図８と比較すると低いことを把握することができる。
【００４９】
図１０及び図１１に、１つのカテゴリに対する期待値が６０％以上の評価用データのサンプル、すなわち推定の確信度が高いサンプルだけを抽出して得た推定精度の表の一例を示す。図１０及び図１１に示すように、期待値が６０％以上であるサンプルに関してカテゴリ１から３の推定精度は１００％となる。すなわち、確信度が高い場合には、推定精度が極めて高いことが確認できる。
【００５０】
このように本実施形態によれば、顕微鏡により撮像された試験片のミクロ組織画像を読み取り、ニューラルネットワークモデルにより当該ミクロ組織画像に係る材料の材料特性を推定する。これにより走査電子顕微鏡等で観測した材料のミクロ組織画像を用いて効率的に特性値を推定することができる。また推定の確信度に基づき、どの程度推定結果が確からしいかも把握することができる。
【００５１】
なお、本実施の形態では、学習用データ及び評価用データとして横２４×縦２４ピクセルの小さな画像をクロップして用いている。当該小さな画像は、約３０μｍ四方の領域に相当する。すなわち本実施の形態では、顕微鏡で撮像した画像のうち約３０μｍ四方の領域の情報に基づき材料特性を推定している。当該サイズは、本実施の形態において対象とした鋼材の結晶粒径が１０μｍ程度であり、結晶粒径に依存した材料特性を推定することから定まったものである。材料特性の推定においては、着目する特性が鋼材の結晶粒径に依存する場合、あるいは微小な析出物などまで考慮する必要がある場合等、着目する対象に応じて取得画像サイズ、解像度（ピクセル数）を適宜に変更する必要がある。そこで本実施の形態では、結晶組織の必要な情報に基づき画像領域のサイズを決定し、該画像領域の情報に基づき前記材料の材料特性を推定している。画像領域のサイズと同様、画像の解像度も、結晶組織の必要な情報に基づき適宜決定する。このように本実施の形態では、材料特性の推定に必要な情報が十分に含まれ、かつ計算負荷も考慮した撮像サイズ、解像度を選定している。
【００５２】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。
【００５３】
例えば本実施の形態に係るシステム１００は、第１情報処理装置６０１と第２情報処理装置７０１とを備える例を示したが、これらの装置をまとめ、１つの情報処理装置により処理を行ってもよい。この場合、かかる情報処理装置が、顕微鏡６００により撮像されたミクロ組織画像を電子データとして保存し、また当該電子データを材料特性推定装置２００に伝送する。また、材料特性計測装置７００により計測された材料特性値を電子データとして保存し、また当該電子データを材料特性推定装置２００に伝送する。また第１情報処理装置６０１と第２情報処理装置７０１における処理を、材料特性推定装置２００が行ってもよい。
【符号の説明】
【００５４】
１００  システム
２００  材料特性推定装置
２０１  演算処理部
２０２  ＲＯＭ
２０３  材料特性推定プログラム
２０４  ＲＡＭ
２０５  バス
２０６  情報読取部
２０７  画像前処理部
２０８  離散化処理部
２０９  予測モデル作成部
２１０  出力部
２１１  情報読取部
２１２  推定部
２１３  出力部
３００  表示装置
４００  入力装置
５００  記憶装置
６００  顕微鏡
６０１  第１情報処理装置
７００  材料特性計測装置
７０１  第２情報処理装置
３０１  第１畳み込み層
３０２  第１プーリング層
３０３  第１局所応答正規化フィルタ
３０４  第２畳み込み層
３０５  第２局所応答正規化フィルタ
３０６  第２プーリング層
３０７  第１全結合層
３０８  第２全結合層
３０９  分類器
４１  入力画像
４３  フィルタ
４４  各ピクセル
４５  第１特徴マップ
４６  フィルタ
４７  ピクセル
４８  第２特徴マップ
４９  結合層
５０  分類器（カテゴリ出力）
【図１】
2019012037.tif 000003
【図２】
2019012037.tif 000004
【図３】
2019012037.tif 000005
【図４】
2019012037.tif 000006
【図５】
2019012037.tif 000007
【図６】
2019012037.tif 000008
【図７】
2019012037.tif 000009
【図８】
2019012037.tif 000010
【図９】
2019012037.tif 000011
【図１０】
2019012037.tif 000012
【図１１】
2019012037.tif 000013