Generation of microscopic structure of solder material with desirable characteristics based on deep learning

## 1.1 Background 
はんだは様々なコンピューター業界で使われているが、接合のために材料を見極めたりするのには膨大な時間とコストがかかるため、機械学習が用いられる。そして多くの機械学習は材料の特定に力を入れてきた。しかし望ましい材料などを出力する方がより便利であると考える。microsturctureからはんだの属性を予測するモデルを与えるのは２つのことが簡単になる。
1.入力サンプルから望ましい材料を特定すること.
2.線形回帰のような簡単なモデルでも材質が何か理解すること。
しかしこれがDNNやCNNを用いると難しくなるが、シンプルなモデルは性能があまりよくない。
データセットにも問題がある。データセットはそれだけ用意するのにはんだのコストがかかってしまう。
データ拡張にはデータAugmentや事前学習などがあるが、中でも転移学習はとても良い性能をだしていると言える。

## 1.2 Our Contribution
私たちの見解には2つ行った。
1.60ものはんだのデータセットを作ったこと。
2.EPMAで材料の化学的構成要素の確認を行ったこと。
解析方法は表面に放射線の光線を当て要素を解析する。解析は張力、液体の温度など様々なはんだの材質を評価した。EPMAの結果から物理的な性質を説明でき、それと同時に構成要素や構造なども幅広い研究によって得ることができる。


![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3656436/c1b4ab1e-657d-6794-fc24-246e7dbce4d3.png)
1.GANでEPMAの画像を生成
2.CNNでEPMAが生成したが画像なのかを分けること。（GANの性質）
EPMAが生成した画像がどんな構成要素を持っている材質であるかということを考える。
3.よいイメージを選択する。
GANとCNNを掛け合わせることで望ましい特性を持ったEPMA画像を選択でき、訓練データの画像も増やすことができる。

GANによって生成した画像からはランキング予測は十分に行うことができた。テクスチャデータセットを用いて転移学習を行った。データセットとはCNNｔのチャンネル数が異なるため、ＣＮＮのモデルを修正した。

## 研究で貢献したこと。
1.EPMA画像生成とCNNの評価ベースに基づいて、望ましい物理的な特徴を画像からＥＰＭＡを生成すること。
2.私たちはＥＰＭＡのデータセットを対処するために、テクスチャを使ったＣＮＮベースの転移学習とランキング回帰を行った。
3.ＥＰＭＡの画像に関して提案手法を用いて望ましいデータセットである新たなＥＰＭＡ画像を生成した。

## Related work for materials
CNNのデータベースは様々タスクでとても良い性能を出しており、使い勝手が良いが、データを用意するのにコストがかかってくる。14万ものデータセットでのimagenetで転移学習が行われています。microsturucureを最適化することはシミュレーションや計算によって式の値を計算します。特に乗算の最適化は様々な材質の間でトレードオフの関係になります。しかしながら、より複雑なシミュレーションで行うことは現実的には正しくないため、アプローチの目的は限られていきます。そして生成するアプローチには分子によるものも提案されました。例えば、ORGANは生成したドメインオブジェクトを損失関数に組み込みます。この手法によって、生成されたデータの評価値はシミュレーションあるいは最適化（目的とは異なる）の分析した計算などを使います。

## 3 Problem description 3.1 EPMA image dataset
EPMAは表面の材質を観察するための技術です。EPMAの分析では、はんだの表面は要素を解析するために放射線を行われます。金属材料の物理的特性は、その構成化学元素の結晶構造とこれらの元素の組成比に強く依存することが知られています。
EPMAのデータセットを用意することは様々な組成比のはんだを製造し、それぞれのサンプルにおいてEPMA分析を行いました。組成比の半分のほとんどが、等しく散らばっるように決められ、その結果様々なデータが得ることが出来ました。結果として、EPMAの６０セットのデータを得た。それぞれのセットには構成化学元素の分布が６枚含まれています。化学元素をAからFがあると印します。それぞれの画像には256×256ピクセルであり、１チャンネルです。図３はデータセットの１部です。それぞれのデータポイントは4つの物理的特性したがって計測されます。その４つとは張力、伸長、産出する強さ、液体の温度です。これらの物理特性は0から1の連続地によって決まります。
引張強度、延性、および降伏強度の場合、より高い特性値が望ましいですが、液相線温度には特定の理想値が存在します。

## 3.2 Background of target solder system
材料学においては過程と構造、適切さが調査されます。EPMAのデータと対応する物理特性は構造－特性の関係から供給されます。
構造-特性の関係は、主に様々なスケールでの対象材料の微細構造によって決定されますが、対象はんだシステムの特性のうち、引張強度、延性、および降伏強度は、粒径によって決定され、その分布は数十から数百マイクロンの範囲内にあります。したがって特性を観察する私たちはEPMAの分析を行う。さらには液体の温度は構成比によって大きな影響があると知られている。EPMAの平均ピクセルの値は構成要素の構成比を示します。EPMAの画像から液体の温度を予測することを試みました。

##3.3 Difficulties in material design on targe solder sysytem
はんだの材質のデザインはいくつか難しいです。他の材料には見られないから。構造関係は一般の材質で使いやすい、そしていくつかの材料は処理条件を最適化することを目的としています。しかしながら、目的とするはんだの材料は私たちは製造に関する情報にアクセスすることができない。なぜなら、はんだの製造によって自信が保たれるからである。アクセスできない製造過程の最適化は厄介なタスクです。構成比とマイクロスコープの化学元素はアクセスすることができる。それらはEPMAのイメージから入手して。したがって私たちは望ましい物理的特性のEPMA画像の供給方法の発展に焦点を当てる。はんだ製造は専門的な構造から作られる技術です。したがって、私たちのデータセットを使用して有望な微視的構造と組成比を決定することは、高耐久性のはんだの開発に役立ちます。この研究の目的は製造過程や材質の特性などの情報が分からない状態でも適用できるような方法の発展を提案します。

## 3.4 Preliminary experiment
EPMA画像の重要性を確認するために、NNで訓練を行う。（化学元素の構成比から物理特性を予測する。）EPMAの画像の平均ピクセルをNNの入力として使った。隠れ層がないシンプルな線形回帰モデルの全結合型ネットワーク、２層の隠れ層をもつ、４層の隠れ層があるネットワークを使った。それらはEPMA画像yから計算された構成比を受け取って。出力層は物理的材質だ。80%を訓練データ20%を検証データとして行った。表１がＲ２スコアだ。Ｒ２スコアはとても小さく、物理的特性は平均ピクセルの値を用いるだけでは予測がうまくできない。したがってＥＰＭＡとＣＮＮを私たちの提案手法として使った。

## 4 propased method
1.EPMA画像の生成について
2.生成した画像の評価について
3.よい画像の選択方法について
## 4.1 Generation of EPMA images
## 4.1.1 Overaview of EPMA images
GANを用いたＥＰＭＡ画像を合成する。これらの合成画像は３段階のステップで提案される。unrolled GANを用いる。unrolled stepはk=2として、EMPA画像の生成として訓練する。典型的なGanは生成画像は一般に赤、青、緑あるいはグレー画像であり、チャンネル数は３か１である。それとは対照的に化学元素のEPMAの数は６個であり、生成器の出力は３次元のW×H×6であり、WとHはEPMA画像の高さと幅に当たる。それぞれのチャンネルの化学要素の分布は独立しているため、NNの生成器はW×H×６の次元である。EPMAの画像を128×128にランダムにトリミングし、GAｎの訓練データとして用いる。これでこの実験ではＷとＨは128で統一される。ＥＰＭＡ画像で訓練したＧＡＮをＤＧＡＮとして印す。
生成器の構造と識別器は図４に示す。生成器の入力は-1から1のランダムにサンプルされた100次元のベクトル初めの２層は生成器。入力ベクトルは全結合層によって65536次元のベクトルに変換されバッチ正規化を行なう。そしてleaky ReLU関数を行い（slope=0.05)。特徴ベクトルは16×16×256にreshapeされる。特徴マップはアップサンプリングされ、トランスポート畳み込み（転置畳み込み）によって転置される。生成器の出力層ではバッチ正規化を取り除き、leaky ReLUをReLU関数に置き換える。最後には128×128×6の特徴マップを得る事ができる。それはＥＰＭＡの画像サイズと同じである。識別機は畳み込み層からなっており、特徴マップをスケール値にtransformする。識別器では非線形な活性化関数は用いない、なぜなら予備実験ではunstableになるから。
## 4.2 Evaluation of generated images
第二段階ではCNNベースのEPMA画像を紹介する。4.2.1でランキング予測をおこない、4.2.2で転移学習（テクスチャの）を行う。このステップはCNNベースの評価関数F（ｘ）を用いており、ｘはＥＰＭＡ画像でサイズはW×Ｈ×6である。
## 4.2.1 Ranking prediction
データのランキングを評価するには十分だ。なぜならCNNベースの評価はより優れた生成されたEPMA画像の特定を目的としているから。したがって回帰モデルよりもむしろランキングを予測モデルを使う。具体的に、回帰タスクで使われたい平均２乗誤差の代わりにRankNetを損失関数に適応する。ｘがが関数に入った時はsi=F(Xi)とＣＮＮの出力を示すようにする。そしてｘの正解はtと示す。入力データの(xi,xj)のペアはランキング出力の(si,sj)のペアだけから構成される。他の言い方をすると出力の値はtjよりもtiがいいときはsiはsjより大きいと安定している。
　出力に(si,sj)のペアを用いることは私たちはロジスティクス回帰の確率をターゲットに行っている。
 式（３）
 それに加えて私たちは確率pijを目的として定義する。
 式（４）
 損失は２値クロスエントロピーによって与えられる
 式（５）
 最後には損失関数はｄによって与えられたものを最小化するように行う。
 実際にはミニバッチサイズのｚを損失関数に用いる。なぜならSGDによってCNNは訓練したからである。もっと具体的には損失の計算のミニバッチは２で割る。
 式（７）
 訓練後のモデルはs=F(x)としてランキングを予測するのに用いる。高い値がランキングの高い値として。優れたEPMA画像を選ぶことはよりよいスコアの生成の特定につながる。

## 4.2.2 Transfer learning using texture datasets
EPMAの画像には限りがあるため、転移学習を行う。それはCNNの重みの初期値を他のデータセットの重みを使うというもの。なぜならEPMA画像のテクスチャは物理的特徴を予測するために重要だと考えるから、Image Netのようなクラス分類のデータセットよりもむしろテクスチャー分類を適応する。私たちは３つのデータセットを適応した。（テクスチャーの）DTD,KTB,ALOTの３つだ。DTDは４７のリストからターゲットとなるテクスチャーを現実の世界でつくらたデータセット。webサイトからデータセットを分割したことで持ってきた。分割したなかに検証用データも含んだ。KTBはグレースケール画像のテクスチャーのイメージからなるもの。80を訓練２０を検証用データとしてランダムに割り当てた。ALOTは同じオブジェクトのクラスだが、カメラのアングルと照明の方向の違いがある。照明の方向によってデータを分割している。他のテストデータセットと訓練された光のデータセットは割り当てた。事前学習によって訓練されたそれぞれのエポックのデータセットは水平方向と垂直方向に160ピクセルで分かれている。（テストデータが128ピクセルで分けられている一方）その結果160×160と128×128の訓練データとテストデータを手に入れた。そして、訓練している間シンプルなデータ拡張をおこなった。それとは、入力画像は128×128でトリミングしランダムにひっくりかえした。表２と図５がしめすのはデータセットの情報と事前過程の画像のイメージです。
この事前学習の段階では、テクスチャーデータを使って分類を行うCNNを訓練させること。14層からなるResNetからなるCNNの構造18層のresnet4つの畳み込みと5の残差ブロックを取り除くことで。グレースケールのKTBはカラー画像にRGBの３チャンネルに。そのとき事前学習はEPMAデータセットのためのCNNの重みの初期値として使われる。EPMA画像は６つのチャンネルからなるため、図６に示すようなCNNの構造を修正する６チャンネルを許すように。このCNNの修正は14層からなる6つのsubResnetがある。それぞれのsub-ResNetsは３チャンネルの入力を受け取ることで、３チャンネルのEPMA画像を２倍にすればよい。この複製操作はカラー画像の事前学習の重みを転移させるのにとても簡単になる。それぞれのsub-ResNetは全結合層と出力層はオリジナルのResNet（２層ニューラルネットワークは256次元のベクトルと出力の同じサイズのベクトルを取るを受け取る。）に置き換える。それぞれの全結合層ではReLUの活性化関数を差し込み、ドロップアウトを行う。ドロップアウトの確率は0.2とする。それぞれのsub-ResNetの重みは事前学習の重みを用いて初期化し、レイヤーを除いて。
さらには要素から抽出した特徴間の相互作用を計算することを加える。6の256のベクトルは連鎖している。そしてBNを挿入している。それから活性化関数がReLUの全結合層を加えて256×6の次元の特徴ベクトル受け取り、入力を1000次元のベクトルに変換する。また0.2のドロップアウトの確率で出力層のドロップアウトを行う。最終的には全結合層はアウトプットベクトルとして計算される。この実験では４つのCNNを訓練させ、４つの物理属性のうち１つをそれぞれで評価する。
## 4.3 Selection of superior images 
最後のステップではEPMAの生成した画像から優秀なものを特定する。(CNN
で評価したDGANを用いて）EPMAの画像はそれぞれの物理的特性のF（ｘ）の一番高い値をＥＰＭＡとして選択する。具体的には式（８）で示す。
式（８）
ＥＰＭＡの生成器が本物のＥＰＭＡ画像に似ているものを生成したときに、期待されるマイクロスコープが製造される。さらにはもし乗算の物理的特性があるならば、使用者は高いランキングのEPMA画像の生成を好むように選ぶ（CNNが識別となり物理的特性を目的とするとき）