寄 稿（レビュー）

Introduction of Machine Learning Techniques and Application to Steel Industry
上杉徳照*

UESUGI Tokuteru

Synopsis: In the steel industry, machine learning techniques, including deep learning, are increasingly being employed toautomate various processes, leading to the replacement of skilled workers with advanced computer systems.
These efforts are distinct from conventional automation approaches, as they rely on implementing machinelearning algorithms. Machine learning facilitates optimizing process control and inspection procedures within thesteel industry by streamlining and automating key processes. However, the successful application of machinelearning necessitates carefully selecting suitable technology, mainly when data availability is limited. This
paper briefly introduces machine learning concepts, deliberately excluding detailed explanations of individual
algorithms underlying mathematics and principles. Instead, we focus on the critical technical componentsthat enhance accuracy utilizing the steel industry and present relevant application examples. The ongoingadvancement of machine learning and associated information technologies is anticipated to boost efficiency inthe steel industry further. Consequently, the judicious selection and deployment of appropriate technologies willcontribute to sustained improvements in industrial competitiveness.
Keywords: machine learning; steel industry; artificial intelligence (AI); digital transformation (DX); deep learning; neuralnetwork; convolutional neural network (CNN); gradient boosting decision tree; explainable artificial intelligence(XAI); feature engineering; regularization; data augmentation; transfer learning; Mg yield rate; fractography

1．はじめにることはできない。そのため、自動化が達成できたのは、物理モデルとして記述でき、自動化し易い範囲に留まって鉄鋼業では安全性と品質を保証するために、その製造プいる。原材料の成分、プロセスの温度、装置のウォームアッ

ロセスでは欠陥に対して厳しい検査が行われている。欠陥

プや摩耗状態などの不確かさがある生産管理の工程は、今を含む不良品は検査により除外されるので、製品の歩留までも熟練作業者が担っている。同様に検査工程の自動化にりを低下させ、生産コストを上昇させる。欠陥の主な原因

おいても、人間が判断したとしても良品と不良品との閾値は、プロセス条件の不十分な管理によるものである。そのが明確でない場合では、欠陥の要件を定義して記述するこ

ため、鉄鋼業ではプロセスを制御あるいは最適化するためとができないので、自動検査は困難である。そのため、現の工程が必要不可欠である。ただし、古くからプロセス制

在でも良品と不良品との閾値が明確でない検査工程では熟1）御には計算機が導入され 、自動化、無人化への取り組み

練検査員の目視に頼っている。

がなされてきた。また、検査工程そのものも、生産コスト人に頼った生産管理や検査工程は熟練者と非熟練者のを上昇させる要因の一つであるので、画像検査を中心に自ばらつきが大きく、熟練者による属人的な暗黙知は伝承が2）動化の取り組みがなされてきた 。

難しい。このような背景から、計算機により熟練者を代替

しかしながら、プロセス制御と検査工程が全て自動化さする自動化への取り組みは継続的に行われてきた。これまれ、無人化されることで、実質的に工程省略が達成されたで、熟練者の大量定年退職が問題視された時には、熟練者

わけではない。原材料の成分などを含めると、全く同じ条の暗黙知を何らかの方法で形式知化し、自動化する試みが件の下で製造することは不可能なので、物理法則に基づい行われた 3）。ただし、実際には熟練者は高度な情報処理をた原理原則に従って制御しても、同じ品質の製品を製造す行っており、その複雑な知的判断の全てを形式知化するこ*

大阪公立大学大学院 情報学研究科

学際情報学専攻

准教授

3

Sanyo Technical Report Vol.30 (2023) No.1

工程省略につ な が る 材 料 技 術 特 集

機械学習技術の紹介とその鉄鋼業への応用事例

機械学習技術の紹介とその鉄鋼業への応用事例

工程省略につ な が る 材 料 技 術 特 集とが難しかった。

者は高度な情報処理を行っており、その複雑な知的判断を

人工知能（Artificial Intelligence: AI）分野では同様の問題

ルールとして作成することは困難である。同じく良品と不が、古くからエキスパートシステムの問題点として知られ良品との閾値が複雑で明確でない検査工程では、ルールをている。第 2 次 AI ブームと呼ばれ、1980 年代に隆盛した作成することは困難である。つまり、ルールベースでは熟エキスパートシステムでは、IF-THEN ルールの形式で膨大

練者の複雑で曖昧な知識表現を明示的なルールに表現するな知識表現を登録する必要がある。そのため、人間ではニュ必要があるが、熟練者の暗黙知を形式知化することは、実アンスで表現される熟練者の知識表現も、計算機には明示

際には困難である。その結果、歴史的に見れば、ルールベー的に表現する必要があるため、暗黙知を表現できないとい

スは熟練者の知的判断の一部しか代替できなかった。

4）

う課題を解決できず、第 2 次 AI ブームは下火になった 。

一方で、機械学習はルールベースとは全く異なるアプ

暗黙知を形式知化することの困難さは変わらないま

ローチを採用している。機械学習では、アルゴリズムが大ま、計算機技術は指数関数的に発展した。その結果、IoT

量のデータから自動的に特徴やパターンを学習し、その知（Internet of Things）と呼ばれる技術に象徴されるように、識を用いて新たなデータに対して予測や判断を行う。その様々な製造プロセスのデータを収集するためのコストは大ため、結果的には熟練者の暗黙知を形式知化することなきく低下し、ビッグデータと呼ばれる技術のように、収集

く、熟練者と同等に、複雑な問題や曖昧な状況に対処する

した大容量のデータを蓄積するためのコストも大きく低下

ことができる。

した。また、大量の並列処理を可能にする GPU（Graphics

アルゴリズムとは、一連の計算的な手続きであり、これ

Processing Unit）の性能が向上した。これらビッグデータに従うことで誰でもモデルを構築することがでる。モデルと GPU の性能向上は、人工知能分野では、深層学習の登場とは、学習対象を数学的に形式化したもので、通常は数式をもたらし、深層学習は現在も続く第 3 次 AI ブームを牽引で表現される。この数式によって、データの構造や関係性5）する技術となった 。

が表現され、予測や分類などのタスクが実行できる。

以上の歴史的な背景から、鉄鋼業でも深層学習を始めとIF-THEN ルールでは、人間が直接的に操作できる明確した機械学習により、計算機により熟練者を代替する自動なルールで構成されていたが、機械学習モデルでは、その化への取り組みが再び見直されている。これまでの、自動性質上、人間が直接的に操作することが難しい。機械学習化との取り組みとの違いは機械学習を用いている点であモデルは、大量のデータとアルゴリズムを用いて、自動的る。機械学習は適用できる領域が広く、既に一般向けからにパラメータを調整している。例えば、VGG16 は、機械専門家向けまでの数多くの解説書が出版され、金属材料分学習の中でも、深層学習（Deep Learning）の一種である野でも解説記事が存在する 6-8）。本寄稿では機械学習につ畳み込みニューラルネットワーク（Convolutional Neural

いては、入門的知識を紹介するに留め、機械学習の各アル

9）Network: CNN）を 利 用 し た 画 像 認 識 モ デ ル で あ る 。

ゴリズムの数理や原理の解説は省いている。その代わり、VGG16 では、おおよそ 1.4 億のパラメータが含まれてい鉄鋼業への利用において重要となる精度向上への技術を紹るが、人間が 1.4 億ものパラメータを直感的に理解して操介し、その適用事例について述べる。

作することは困難である。
VGG16 のような深層学習に限らず多くの機械学習モデ

2．機械学習とはルでは、モデルの内部構造や意思決定プロセスを人間が直接操作や理解することは難しい。そのため、多くの機械学

2.1

ルールベースの人工知能との違い

習モデルは、しばしばブラックボックスと呼ばれることが機械学習を理解するには、ルールベースの人工知能とのある。しかしながら、ブラックボックスモデルであっても、対比が役立つ。ルールベースでは、熟練者の知識や物理モ

その内部は前述のように、通常は数式で記述されている。

デルを基盤に、手作業で策定されたルールが適用される。

そのため、モデルがどのように機能しているかを解析する

これは、IF-THEN ルールによって構成される。例として、ことは可能である。ただし、非線形な関数や、無数のパラ「もし、温度が 1500℃を超えたら、原料を 1kg 追加する。
」

メータが関与することにより、人間が直感的に理解するというルールや、「もし、輝度値が 95 以下かつ面積が 10ことが困難なだけである。そのため、説明可能な人工知能

ピクセル以上であれば欠陥と判断する。
」といった規則を作（Explainable AI: XAI）という分野では、モデルの説明可能

成することが挙げられる。特定の問題に対して適切なルー性や解釈性を向上させるための手法が開発されている。

ルを構築することができれば、ルールベースのアプローチ
2.2

は理解しやすく、説明が容易であり、かつ高い精度を達成

機械学習の枠組み

することが可能である。しかし、ルールベースのアプロー

機械学習は、データから有用な知識を引き出すための技

チには限界が存在する。問題が複雑であるほど、適切な術であり、その目的は予測、発見、説明の 3 つに大別できルールを作成するのが困難になる。先に述べたように熟練る。ただし、鉄鋼業においては、予測が主に利用されるこ

4

Sanyo Technical Report Vol.30 (2023) No.1

機械学習技術の紹介とその鉄鋼業への応用事例

し、XAI の手法はモデルの予測結果と入力特徴量の相関関習による予測の利用が考えられる。予測が目的の場合では係に着目しているだけである。モデルが予測を行う際に、機械学習モデルは、過去のデータをもとに、結果を予測す

どの特徴量が重要であったかを示すことができるが、それることができる。身近な例で言えば、天気予報、顧客の購が因果関係を示しているわけではない。因果関係を明らか

買行動の予測などである。これには、機械学習の回帰や分にするには、自然科学では異なる状況下での実験を通じ類といった教師あり学習が用いられる。

て、特徴量と実験結果の関係性を検証することが一般的で熟練者によるプロセス制御と検査工程も、機械学習モデある。しかし、因果関係の解明には、適切な仮説と、それをルで予測することができる。プロセス制御では、熟練者は実証する精緻なデータを必要とする。また、因果関係を明

長年の経験を通じて、さまざまなプロセス条件と、それにらかにすることができたとしても、それがモデルの予測性対応する製品品質のパターンを学習している。その結果、能に寄与するわけでもない。機械学習で相関関係を説明で熟練者は、品質が規定値に収まるように、操作可能なプロ

きても、因果関係を説明するには注意が必要である。

セス因子の値を適切に予測することができる。検査工程で機械学習の用途を大別したが、それぞれの目的に応じは、熟練者は長年の経験を通じて、様々な性状の製品を観て、異なるアルゴリズムが適用される。機械学習アルゴリ察しており、欠陥を素早く検出・分類する能力を有していズムの観点からは、機械学習は教師あり学習、教師なし学る。熟練者は、微妙な違いやパターンを認識しており、良習、強化学習の 3 つに大別することができる。教師あり学品と不良品との閾値が明確でない場合でも、分類を行うこ

習は、入力データとそれに対応するラベルと呼ばれる出とができる。これらの熟練者の複雑な知的判断は十分な教力データのペアが与えられた学習データセットを用いて、師データを用意できれば、教師あり学習の枠組みで解決で新しい入力データに対する出力を予測するモデルを構築

きる。教師データとは、正解ラベルが付与されたデータのする。教師なし学習は、入力データのみが与えられた学習ことであり、教師あり学習では教師データを用いてモデルデータを用いて、データの潜在的な構造やパターンを発見の学習を行う。

する。強化学習は、エージェントが環境と相互作用し、報発見が目的の場合では、機械学習では、データから潜在酬を最大化するような行動を学習するアルゴリズムであ的なパターンや関係性を探索することが可能である。発見

る。強化学習はタスク達成や意思決定の問題に適用されるを目的とする場合には、主にクラスタリングや次元削減とことが多く、その用途としては、特定のケースに対応するいった教師なし学習が適用される。一般的な用途では例

ものとなる。また、教師なし学習の用途も教師あり学習とえば、マーケットバスケット分析、異常検知などである。

比べると限定的である。そのため、本寄稿では、予測を目

マーケットバスケット分析では「おむつを買った人はビー的とした教師あり学習についてのみ言及する。

ルを買う傾向がある」といった顧客が同時に購入する商品
2.3の組み合わせを分析することができる。異常検知はデータ

教師あり学習セット内の異常値や外れ値を検出する手法である。鉄鋼業

機械学習では、教師の有無は正解ラベルの有無を指し、では、例えば、設備の故障予測に異常検知が利用される。

教師あり学習は正解ラベルの種別によって分類と回帰に大故障予測においては、センサーデータやメンテナンス履歴別される。正解ラベルが離散値であれば、データが属する

データなどの時系列データを利用し、未知の異常パターン

クラスを予測する分類問題となり、正解ラベルが連続値でを検出（発見）することが求められる

10）。

あれば値を予測する回帰分析となる。図 1 に分類問題と回説明を目的とする機械学習では、データに基づいて問題

帰分析の概略を示す。例えば、製品の画像データから、そや現象に関する因果関係やメカニズムを明らかにすることの製品が良品か不良品かを予測するタスクは分類問題であが目指される。この目的を達成するために、回帰分析や決る。一方、化学組成やプロセス条件のデータから素形材の定木といった比較的単純な手法が適用されることが多い。

歩留まりや機械的特性を予測するタスクは回帰問題とな

これらの手法は、モデルの構造が単純であり、その結果、人間が理解しやすい形で相関関係を示すことができる。ただし、機械学習の多くの応用では、説明よりも予測が主な目的となる。一方で、統計学は機械学習と区別が難しい分野であるが、予測よりも説明が主な目的である点で機械学
習とは異なる。統計学では、データの背後にある確率分布
やその構造を明らかにし、因果関係の推定やメカニズムを理解することが求められる。
機械学習では深層学習のような、非常に複雑なモデルであっても、XAI により、モデルの説明が可能である。ただ

図1 分類と回帰

5

Sanyo Technical Report Vol.30 (2023) No.1

工程省略につ な が る 材 料 技 術 特 集とが多く、製造プロセスの最適化と検査工程でも、機械学

機械学習技術の紹介とその鉄鋼業への応用事例

工程省略につ な が る 材 料 技 術 特 集る。これらの問題に対して、教師あり学習アルゴリズムをの目標は汎化誤差の最小化と言い換えられる。
汎化誤差は未知データに対する期待値であり、データ x

適用することで、新しいデータに対して予測を行うモデルを構築することが可能である。

の全ての候補を収集することは不可能であるため、汎化誤

教師あり学習の問題の枠組みをより詳しく見ておくと、差を正確に評価することも不可能である。仮にすべてのデータ x の入力に対して、出力となるラベルを y とする。

データを収集できた場合、そもそも予測する必要性はなく

この時、x は説明変数、特徴量、記述子、入力変数などと呼なる。このため、機械学習による予測は常に不確実性を伴ばれる。また、y は被説明変数、従属変数、目的変数、出力う。機械学習の不確実性は、多くの事例から一般的な規則

変数などと呼ばれる。分類問題においては、ラベルは 0 とを見出そうとする帰納法の限界と言い換えることができ

1 の離散値で表されることが一般的であり、これは 2 クる。帰納法の限界はヘンペルのカラスについてのパラドッ

ラス分類問題に適用される。一方、多クラスの分類問題でクスで理解することができる。このパラドックスは、どれは、ラベルは one-hot ベクトルという形式で与えられる。

だけ多くの事例（黒いカラス）を観察しても、その一般化

one-hot ベクトルとは、全ての要素が 0 であるベクトルの規則（全てのカラスは黒い）は証明できないことを示してうち、対応するクラスのインデックスのみが 1 であるよういる。これは、帰納法に基づく推論が完全な証明ではなく、なベクトルである。また、回帰問題であれば、y は連続値とあくまで蓋然性をもとにした推論であることを示してい

なる。

る。

教師あり学習の事例は x と y の組で与えられ、データセッ

汎化誤差とは対照的に、既知データに対する誤差は訓練

トは事例の集合で与えられる。教師あり学習の目標は、x誤差である。訓練誤差は訓練データと呼ばれる既知データ

f x）の出力値が y に近づくように学習を入力とするモデル （の損失関数から計算される。訓練誤差の最小化のみを追求f x）と y の近さ・遠さを測るを行うことである。ここで、（すると、訓練誤差と汎化誤差の乖離が大きくなる過学習と指標として損失関数を用いる。そのため、教師あり学習という現象が発生する。図 2 に学習不足、汎化、過学習を例

は損失関数の最小化・最適化を行うプロセスとも言える。

示した。過学習の状態では、複雑なモデルが採用され、訓回 帰 問 題 で は、平 均 二 乗 誤 差（Mean Squared Error:

練データには良好な一致が見られるが、未知のデータに見MSE）が一般的な損失関数として用いられるが、平均絶対立てたテストデータに対しては一致しないことが分かる。

誤差（Mean Absolute Error: MAE）
や分位点損失（QuantileLoss）11）が選択されることがある。分類問題では、交差エントロピー誤差（Cross-Entropy Loss）がよく用いられ、二クラス分類の場合は二値交差エントロピー誤差（Binary
Cross-Entropy Loss）が適用される。クラスの不均衡がある場合、重み付きクロスエントロピー誤差（Weighted
Cross-Entropy Loss）12）などが選択されることもある。損失関数は問題設定に応じて適切に選択する必要がある。
損失関数は、訓練データを用いてモデルの最適化を行う際に使用されるが、性能評価では、検証データやテストデータに基づいて評価関数が適用される。回帰では、損失関数として MSE が用いられる一方で、評価関数としては決定係数（Coefficient of Determination: R2）や二乗平均平方根誤差（Root Mean Squared Error: RMSE）が選ばれることが多い。分類問題では、評価関数には正解率
図2 回帰における汎化、過学習、学習不足（Accuracy）の他に、適合率（Precision）、再現率（Recall）、
適合率と再現率の双方が考慮される F 値（F-measure）な

2.4

どが用いられる。

機械学習のアルゴリズム

損失関数と評価関数が設定された後に、モデリングが行

教師あり学習のアルゴリズムは、訓練データの損失関数

われる。教師あり学習の目標は正確な判断や予測を行うこ

図 を最適化する手法であり、様々なアルゴリズムが存在す
2 回 帰 に お け る 汎 化 、 過 学 習 、 学 習 不 足とである。つまり、教師あり学習の目的は既知データの入る。以下にいくつかの代表的なアルゴリズムを紹介する。

出力関係を単に再現するのではなく、未知の入力に対して教師あり学習は回帰と分類に分けられ、回帰は線形回

正確な出力を行うことである。未知のデータへの対応を汎帰と非線形回帰に分けられる。線形回帰にはリッジ回帰（Ridge Regression）やラッソ回帰（Lasso Regression）

13）

化と呼び、未知データに対する誤差を汎化誤差という。汎

化誤差は損失関数の期待値として表現でき、教師あり学習6が含まれ、非線形回帰には k 近傍法（k-Nearest Neighbor）、

Sanyo Technical Report Vol.30 (2023) No.1

機械学習技術の紹介とその鉄鋼業への応用事例

ニューラルネットワークは、微分可能な線形変換と非線ブースティング（Gradient Boosting Decision Tree）、サ

形変換を連結した計算グラフである。計算グラフは、図ポ ー ト ベ ク タ ー 回 帰（Support Vector Regression）15）、3 で示すようなノードとエッジで構成され、ノードでは活ニューラルネットワーク（Neural Network）などが存在す性化関数による非線形変換が行われ、エッジでは線形変換る。分類も線形分類機と非線形分類機に区分され、線形分が行われる。ノードの集合を層と呼び、多層化したニュー類機には単純パーセプトロン、ロジスティック回帰、線形ラルネットワークが構築される。

判別分析、線形サポートベクターマシンが含まれる。一方、非線形分類機には k 近傍法、決定木、ランダムフォレ
スト 14）、勾配ブースティング、サポートベクターマシン（Support Vector Machine）15）、ニューラルネットワークなどがある。回帰と分類で同名のアルゴリズムが見られる
が、これは損失関数を変更することで両方に対応可能であるためである。
これらの機械学習のアルゴリズムごとに、モデルの複雑さは異なるが、同じアルゴリズムにおいてもハイパーパラ
メータによって大きく変わることがある。ハイパーパラ
メータとは、機械学習アルゴリズムの動作を設定するパラメータである。例として、決定木を基にした機械学習では、ハイパーパラメータとして木の深さや葉の数が挙げら

図3 ニューラルネットワークの構成れる。ニューラルネットワークでは、多くのハイパーパラ
メータがあるが、ハイパーパラメータには、層の数、ノー層が多いニューラルネットワークを使用した機械学習手ド（ニューロン）の数、活性化関数、学習率、エポック数な法は、特に深層学習と呼ばれる。深層学習は、大規模なデーどがある。

タセットに対して高い表現力を持つため、画像認識、自然
15）

は、データを分離する境界

言語処理、音声認識など様々な分野で優れた性能を発揮しの中で最も離れた境界を決定する手法であり、カーネル関ている。調整可能なハイパーパラメータは膨大で、その構数を用いることで非線形に拡張される。データを分離する

造（アーキテクチャ）は自由に設計できる。深層学習の発サポートベクターマシン

境界に最も近いデータはサポートベクトルと呼ばれ、境界とサポートベクトル間の距離はマージンと称される。多次展により、画像処理でよく用いられる CNN 以外にも、時

図 3 ニ ュ ー ラ ル ネ ッ ト ワ ー ク の 構 成

系列データでよく用いられる再帰型ニューラルネットワー

元空間で境界を決定するため、この境界は超平面であり、ク（Recurrent Neural Network: RNN）、データ生成が可

サポートベクターマシンでは最大マージン超平面を求め

能 な 敵 対 的 生 成 ネ ッ ト ワ ー ク（Generative Adversarial

る。回帰への応用はサポートベクター回帰とも呼ばれる。

Network: GAN）など、多様なアーキテクチャが提案されサポートベクターマシンやサポートベクター回帰は、ハイパーパラメータが少なく扱いやすく、優れた汎化性能を持

つ手法の 1 つである。

ている。これらのアーキテクチャは、特定のタスクやデー

タ形式に適応するために設計されており、深層学習の応用範囲を広げている。

決定木は、木構造を利用した分類や回帰手法であり、回深層学習が注目され始めたのは、2010 年代初めであ帰を行う際には回帰木とも呼ばれる。決定木は、根から段る。この時期に、CNN が画像認識で顕著な性能向上を示

階的に枝分かれする木構造に従って条件が整理される。ラ

し、従来の機械学習手法を凌駕する結果が報告された。特は、決定に 2012 年の ImageNet コンペティションで、AlexNet20）

木を基にした手法で、どちらも決定木を用いたアンサンと呼ばれる CNN が他の手法を圧倒的に上回る成績を収め

ブル学習である。アンサンブル学習とは、単独では精度がたことが、深層学習のブームのきっかけとなった。なお、低いモデルを多数利用することで高精度を実現する手法

ImageNet21）とは 1400 万枚以上の教師ラベル付き画像群であり、バギングとブースティングが代表的である。ラ

データベースであり、コンペティションでは ImageNet に

ンダムフォレストはバギングを用い、勾配ブースティン

対して画像分類の精度が競われた。これ以降、深層学習

グはブースティングを採用している。ランダムフォレス

技術の発展と応用が急速に進み、様々なアーキテクチャ

トはよく使用される手法であるが、機械学習コンペティが開発されることになった。AlexNet では 5 層の畳み込

ンダムフォレスト

14）と勾配ブースティング

16）、

み層と 3 層の全結合層で構成されていたが、VGG169）でLightGBM17）、CatBoost18）と呼ばれる勾配ブースティンは 13 層の畳み込み層と 3 層の全結合層で構成されていグが頻繁に用いられている。

た。その後も深層化が進み、例えば 2017 年に発表されたションである Kaggle

19）

16-18）の上位ランカーには XGBoost

7

Sanyo Technical Report Vol.30 (2023) No.1

工程省略につ な が る 材 料 技 術 特 集

回帰木、ランダムフォレスト（Random Forest）14）、勾配

機械学習技術の紹介とその鉄鋼業への応用事例

工程省略につ な が る 材 料 技 術 特 集

InceptionResNetV222）では 572 層もの深層化を行っている影響を示している。データが十分多い場合、複雑なモデる。

ルを適用することで、境界をほぼ一意に決定できることが現在では深層学習は、画像、自然言語、音声といった大期待される。これは、多くのデータによって、モデルがよ量の非構造化データを扱うドメインで大きな成功を収めてり正確に確率分布を捉えることが可能となり、汎化性能がいる。なお、機械学習におけるドメインとは、特定の問題向上するためである。一方、データが少ない場合、学習デー

領域、もしくは特定のデータセットに関連する背景情報をタに対して高性能な分類境界が多数存在し、それらが無数指す。一方で、構造化データである表形式データにおいてに獲得可能である。この状況では、どの境界が真に汎化性

は、深層学習は CatBoost などの勾配ブースティングの性能に優れているかを判断することが困難となる。従って、能を上回ることができず、データ依存性が大きいと指摘さデータ量が境界決定において重要な役割を果たし、十分な

れている

23）

。鉄鋼業においては、肉眼や顕微鏡を用いた検データが揃っていることが、高い汎化性能を実現するため査工程を代替する目的での深層学習の利用が考えられる。

の前提であると言える。

これは、深層学習が非構造化データである画像を扱うのにデータ量の適切性はタスクやモデルの複雑さに依存し、適した手法であるためである。しかし、プロセス制御では、一概に定めることは困難である。しかし、いくつかの経験

時系列の表形式データが主に用いられる。このような構則が存在する。複雑なモデルは多くのパラメータを持ち、造化データに対しては、深層学習は万能な解決策とは言え過学習を防ぐために多くのデータが要求されるとの経験則

ず、他の手法が適切に選択されることが求められる。

が古くは指摘されている 24）。また、タスクの難易度が高い
ほどデータ量の必要性が増すことも理解できる。例えば、

3．機械学習の技術

画像認識や自然言語処理のような非構造化された高次元
データでは、表形式データと比較して大量のデータが必要

既に述べたように、教師あり学習の目標は汎化誤差の最である。さらに、データ量だけでなく品質も重要であり、小化である。そのため、機械学習における技術は、ほぼ、汎ノイズの多いデータや外れ値を含むデータはモデル性能に化性能を向上させることに注力される。これには、適切なモ

悪影響を及ぼすことがある。従って、データの前処理やクデル選択、ハイパーパラメータチューニング、特徴量エンリーニングも重要であると言える。

ジニアリング（Feature Engineering）、データの前処理、正適切なデータ量を把握する方法として、増分的にデータ則化（Regularization）、データ拡張（Data Augmentation）、

を追加しながら性能の向上を評価するアプローチが有効で転移学習（Transfer Learning）の導入など、さまざまなアプある。図 5 は、深層学習におけるデータ量と汎化誤差の関ローチが取り入れられる。これらの手法を適切に組み合わ係を示している 25） 。まず、小データ領域では、モデルは十せることで、学習データだけでなく未知のデータに対して分な汎化性能を発揮できず、深層学習モデル以外の選択肢も高い予測性能を持つモデルを構築できる。

を検討すべきである。データが増加すると、画像認識や自然言語処理などのタスクに関係なく、べき乗則あるいはス

3.1

データ量

ケーリング則と呼ばれる領域が観察される。データ量と汎率直に言えば、汎化性能を向上させる目的を達成するた

化誤差のべき指数は、両対数スケールの傾きから算出でめの最も確実で、最も有効な手段はデータを増やすことでき、タスクの難しさの指標とも言える。ただし、べき指数ある。データ量が増えることで、学習モデルはより多様なはドメインやデータ分布に依存しており、理論的に予測すデータに適応し、未知のデータに対する予測性能が向上することが期待される。
図 4 は分類問題における学習データ量が境界決定に与え

図4 データ量が分類境界に与える影響

25)
図5 深層学習におけるデータ量と汎化誤差の経験的な関係（文献‌より改変引用）。

8

Sanyo Technical Report Vol.30 (2023) No.1

機械学習技術の紹介とその鉄鋼業への応用事例

知データを訓練データ、検証データ、テストデータの 3 種

意し、べき指数を算出してから、べき指数に基づいて目標類に分割する。

とする汎化性能に必要なデータ量を見積もるという運用が訓練データでモデルを学習させ、検証データで汎化性考えられる。べき乗則の領域から、さらにデータ量を増や能を評価することで、モデル選択やハイパーパラメータ

すと、モデルが改善できない限界誤差が存在することが予

チューニング、特徴量エンジニアリング、データの前処理、

25）。この下限の原因としては、例えば学習用

正則化などを行う。最終的に完成したモデルは、未知のデータセットの誤ったラベル付けが挙げられ、これによっ

データに見立てたテストデータを用いて評価を行うのが一て不可避な誤差が発生する可能性がある。

般的な手法である。検証データを用いてモデルの複雑さの測されている

べき乗則が成立する限りでは、本寄稿で紹介する汎化調整を繰り返すと、ある意味では検証データに対して過学

性 能 向 上 の た め の 技 術 は、あ る 程 度 限 定 的 な 効 果 し か習することになる。この問題を克服するために、最終評価

持 た な い。例 え ば、OpenAI が 開 発 し た ChatGPT（Chat

用のテストデータを訓練データおよび検証データとは別にGenerative Pre-trained Transformer）は、生成系大規模用意する。テストデータを用いて最終的なモデルの汎化性

26）

言語モデルであり、自然言語処理モデルの Transformer

能を評価することで、未知のデータに対する性能の妥当性が基盤である。Transformer においてもデータ量と汎化性が保証される。このアプローチにより、過学習の影響を最能との間でべき乗則が成り立つと報告されている 27）。た小限に抑えつつ、モデルの汎化性能を適切に評価することだし、データ量とモデルのパラメータ数は相補的な関係にが可能となる。

あり、一方が固定されると、もう一方を増加させても汎化

交差検証法とホールドアウト法は、機械学習モデルの性性能の向上は鈍化する。そのため、データ量とパラメータ

能評価において一般的な検証方法である。ホールドアウト

数の両方を増やす必要がある。さらに、学習に用いる GPU

法は、データセットを訓練データと検証データに一度だけの数や計算時間といった計算資源と汎化性能との間でも分割し、訓練データでモデルを学習させ、検証データでモ

べき乗則が成り立つことが示されている。そのため、デーデルの性能を評価する方法である。シンプルで実装が容易

タ量、モデルサイズ、計算資源を拡大すれば性能が向上しであるが、データの分割方法によっては性能評価が不安定

続け、投資効果が予測可能である。この予測を基に開発さになることがある。

れた GPT-3（Generative Pre-trained Transformer 3）は、

交差検証法の概要を図 6 に示す。交差検証法ではデータ

28）、

セットを複数の部分集合にランダムに分割し、各部分集合

1.4 億パラメータを有する VGG16 よりも格段に大きい。

を検証データとして用い、残りの部分集合を訓練データとその後、GPT-3 は GPT-3.5 に発展し、教師あり学習と強して用いる。このプロセスを全ての部分集合に対して繰り化学習の両方の手法で転移学習することで、ChatGPT が返し行い、得られた性能評価の平均値を最終的な評価指標生み出された。GPT-3.5 は更に、学習データを増やすこととする。交差検証法は、データセット全体を検証データとで、GPT-4 へと大規模なモデルに発展している。

して利用するため、性能評価が安定し、モデルの汎化性能

1750 億個のパラメータを持つ大規模なモデルであり

しかし、限られたデータ量の中で高い汎化性能を達成すをより正確に評価できる。ただし、計算コストが高いといるためには、検証データの分割や交差検証などの評価を通う欠点がある。

じて、様々な機械学習技術を活用して汎化性能の向上に努める必要がある。鉄鋼業における現実の課題であるプロセ
ス制御や検査工程では、データが十分に利用できる状況が稀であるため、大規模モデルよりも、様々な汎化性能向上の技術が重要となる。即ち、データ量が限られた状況下でも適切に機能するモデルを開発し、実用的な解決策を提供することが求められる。次節から、そのための、具体的な機械学習の技術を紹介する。
3.2

データの分割図6 交差検証法

教師あり学習の目標は汎化誤差の最小化であり、未知データに対する期待値として捉えられる。モデルが複雑でホールドアウト法はモデルの学習に時間がかかる場合

あれば訓練誤差は小さくなるが、過学習の原因となるたに利用されるが、深層学習ではホールドアウト法が用いらめ、訓練データだけでモデルの複雑さを決定することは困れ、それ以外の学習時間の短い機械学習手法では交差検証難である。そこで、汎化性能を評価し、モデルの複雑さを法が用いられることが多い。交差検証を用いてモデルの複調整するために、検証データを利用する。一般的には、既雑さの調整が完了した場合、テストデータを除いたデータ
図 6 交 差 検 証 法

9Sanyo Technical Report Vol.30 (2023) No.1

工程省略につ な が る 材 料 技 術 特 集ることは容易ではない。そのため、ある程度のデータを用

機械学習技術の紹介とその鉄鋼業への応用事例

工程省略につ な が る 材 料 技 術 特 集

で再学習を行い、最終的な評価をテストデータで実施す

能が変化することがある。自動化されたハイパーパラメー

る。ホールドアウト法においても、訓練データのみ、ある

タチューニングも存在するが、一般的にはモデルの設定者

いはテストデータを除いたデータ（訓練データと検証デー

が手動で調整を行う。

タの合計）で再学習を行い、テストデータを用いて最終評

ハイパーパラメータの調整には 3 つの主要な手法が存在価を実施する。このテストデータを用いた最終評価のためする。1 つ目はグリッドサーチで、事前に定められたハイのデータ分割方法も、ホールドアウト法と呼称されること

パーパラメータの組み合わせを全て試す総当たり的な手法がある。この手順により、モデルの未知データに対する性である。ハイパーパラメータの数が少なく、学習時間が短

能を適切に評価することが可能である。

いモデルに適しているが、深層学習のような訓練時間が長い場合には不向きである。2 つ目はランダムサーチで、ハ

3.3

モデル選択

イパーパラメータの空間内でランダムに組み合わせを選

十分なデータが用意できれば、べき乗則に従いパラメー

び、評価を行う手法である。3 つ目はベイズ最適化で、ハタ数の多い深層学習モデルを学習させることが可能であ

イパーパラメータの空間内で、不確かさを利用して次に探る。しかし、現実的にはデータの無尽蔵な供給は期待でき索を行うべき値を探していく最適化手法である 34）。

ない。結果的には、モデル選択に関して、ホールドアウト

いずれのハイパーパラメータチューニング手法において法や交差検証を用いて汎化性能の良いモデルを試行錯誤でも、ハイパーパラメータの探索空間はモデルの設定者が決選択することが必要となる。

定する必要がある。例えば、サポートベクターマシンでは、設定者はカーネル関数の種類を探索するかどうかや、正則

この問題はノーフリーランチ定理として、機械学習では
29）。機械学習アルゴリズムのノーフ化パラメータやカーネルパラメータの範囲指定が求めら

リーランチ定理とは、ある課題に対してアルゴリズム A がれる。勾配ブースティングや深層学習では、ハイパーパラ

アルゴリズム B より汎化性能が優れていたとしても、別のメータの探索空間はさらに広がり、設定者が適切な範囲を課題でアルゴリズム B が A を上回るケースが必ず存在する

指定する必要がある。実際には、モデルの設定者がタスクことを示すものである。従って、どの手法も他の手法に対ごとに探索空間の範囲を経験的に決定する。しかし、ハイ

して絶対的な優位性を持たないため、課題やデータ量に応

パーパラメータの適切な探索範囲が既知であれば、それはじたアルゴリズムの選択や開発が不可欠となる。

手動調整と大差ないため、ハイパーパラメータチューニン

古くから知られている

機械学習研究者は、常に新たなアルゴリズムの開発を目グが完全に自動化されない原因となっている。

的としているが、これまで無数のアルゴリズムが開発され3.5ているにも関わらず、万能な機械学習アルゴリズムが存在

前処理と特徴量エンジニアリング

しない現状が、ノーフリーランチ定理の正当性を示唆して前処理は、機械学習モデルへの入力データを生成するたいる。ノーフリーランチ定理により、課題やデータに応じ

めに、生データに対して行われる一連の変換処理である。

て最適なアルゴリズムを選択し続けることが重要であるこ

前処理の目的は、データの品質を向上させ、機械学習アルとが示される。

ゴリズムの性能を最大限に引き出すことである。代表的な

主要な機械学習アルゴリズムはプログラミング言語

前処理にはデータの最大値が 1、最小値が 0 となるように

Python で利用可能であり、Python を使うことで複数の行われる正規化や、データの平均が 0、分散が 1 となるよ

機械学習アルゴリズムの検証コストは低くなる。標準的うに行われる標準化がある。ただし、標準化を含めてデーに使用される機械学習ライブラリはオープンソースのタのスケールを整えること全般を正規化と呼ぶこともあ30）であり、多くの機械学習アルゴリズムの検る。決定木ベースの機械学習を除けば、多くの機械学習手

証 は こ れ だ け で 完 結 す る。CatBoost の よ う な 最 新 の 手法で正規化は必須の作業である。前処理では他には欠損値

法 は scikit-learn に 含 ま れ て い な い が、scikit-learn 互 換や異常値を取り除いたりもする。

scikit-learnのライブラリが Python で利用可能である。深層学習に
31）

32）

がよく使

モデルの性能向上を目的とする手法である。特徴量エンジ用される。Keras は Tensorflow のモジュールとして利用

ニアリングでは、前処理と同様にデータ加工を行うが、性で き、Tensorflow/Keras は Google に よ り、PyTorch は能向上を重視する側面が強い。価値ある特徴量の生成や、Facebook により開発されているが、いずれも Python でノイズの原因となる特徴量の除去が重要であり、データを書かれたオープンソースである。

数値的に表現する多様な方法を試行錯誤することが一般

お い て は、Tensorflow、Keras

特徴量エンジニアリングは、データの加工を行いつつ、

33）、PyTorch的である。さらに、ドメイン知識を活用し、データの背景
3.4

ハイパーパラメータチューニング

情報に基づいて有益な特徴量の設計を行うこともある。な

ハイパーパラメータは機械学習アルゴリズムの挙動を設お、ドメイン知識とは、特定の問題領域に関する専門知識

定するパラメータであり、その値に応じてモデルの汎化性

で、そのデータセットに関する固有の知識も含んでいる。

10

Sanyo Technical Report Vol.30 (2023) No.1

機械学習技術の紹介とその鉄鋼業への応用事例（通常は 0 ～ 1）にスケーリングすることで、学習の収束

ジニアリングの一例である。周期性や自己相関などの時系速度を向上させる。グレースケール変換ではカラー画像を

列データ固有の構造を捉える特徴量の作成が求められる。

グレースケールに変換し、色情報を省略し、輝度情報のみ

また、テキストデータや画像データに対する特徴量エンジに注目することで、計算量を削減する。逆にグレースケー

ニアリングなど、データの種類や問題設定に応じた様々なルを疑似カラーに変換して、色情報を追加する場合もある

特徴量設計手法が存在する。これらの特徴量エンジニアリ

35）

ングを適切に実施することで、機械学習モデルの性能向上が平滑化され、機械学習モデルが学習すべき本質的な特徴が期待される。

に焦点を合わせることが可能となる。ヒストグラム平坦化。ぼかしを行うことで画像の細かなテクスチャやノイズ

表形式のデータでは、特徴量の候補から有用な特徴量をは、画像のコントラストを改善することで、特徴量抽出が選び出す場合、特徴量選択あるいは特徴量削減と呼ばれる

容易となる。データ拡張は、既存の画像データに回転、反手法が用いられる。特徴量選択は、ドメイン知識を必要と

転、シフトなどの変換を加えることで、データセットの多せず、フィルター法、ラッパー法、埋め込み法といったア様性を向上させ、モデルの汎化性能を向上させる手法であルゴリズムによって自動的に特徴量を選択することが可能

るが 36）、詳細は後述する。これらの前処理手法は、特定のである。フィルター法は、モデルの学習を行わずに特徴量

タスクやデータセットに対してドメイン知識を活用しつの重要度を測定し、有効な特徴量を選択する手法である。

つ、検証データでの評価を通じて試行錯誤的に適用されるラッパー法は、複数の特徴量を組み合わせ、モデルの学習ことで、画像データに対する機械学習モデルの性能向上がを繰り返して評価を行い、評価指標が最も良くなる特徴量期待できる。

の組み合わせを探索する方法である。埋め込み法は、特徴
3.6

量選択が組み込まれた機械学習アルゴリズムを使用する

正則化

13）

正則化は、過学習を防ぎ、汎化性能を高めるためにモデがある。これらの特徴量選択手法を適切に用いることで、ルに事前知識を追加する手法である。モデルの複雑さに罰

汎化性能が向上することがあり、また不要な特徴量を削減

則を科すなど、事前知識から何らかの方法であり得なさそすることにより、計算コストが削減される。

うなモデルを学習の候補から除外することで、適切なモデ方法であり、代表的な手法として線形回帰のラッソ回帰

ラッパー法は、フィルター法とは異なり、機械学習アルルが学習される可能性が高まる。代表的な正則化手法に

ゴリズムに依存して特徴選択を行うため、より厳密な選択

は、L1 正則化や L2 正則化がある。L1 正則化はラッソ回が可能である。また、埋め込み法とは対照的に、機械学習

帰、L2 正則化はリッジ回帰とも呼ばれ、ラッソ回帰は前出

アルゴリズムを問わず利用できる。しかし、計算コストがしたように特徴量選択の効果を持つ。

高いという欠点が存在する。ラッパー法にはステップワイ

深層学習の正則化手法としては、早期打ち切り（Early

ズ法によるアプローチがあり、前進法や後退法などがそのStopping）37）、ドロップアウト（Dropout）38）、バッチ正例である。前進法は特徴量の空の集合から始め、機械学習

則化（Batch Normalization）39）が良く用いられる。なお、アルゴリズムの評価に基づいて、評価指標が最も向上する

深層学習でも、モデルのパラメータに対して、L1 や L2 正

特徴を逐次追加する方法である。全ての特徴が選択され則化項を追加することで過学習を防ぐこともできるが、ドるか、評価指標の改善が停止するまで繰り返す。一方、後ロップアウトやバッチ正規化がより一般的に用いられてい退法は全ての特徴量を含む集合から開始して、機械学習アる。

ルゴリズムの評価に基づいて、評価指標を最も悪化させる

これらの正則化手法を説明する前に、深層学習で使われ特徴を逐次削除する方法である。全ての特徴が削除される

るミニバッチ学習について説明しておく。ミニバッチ学習

か、評価指標の改善が停止するまで繰り返す。

は、訓練データをランダムに小さなグループ（ミニバッチ）

特徴量エンジニアリングを含めてモデルに入力する前に分割し、ミニバッチごとに重みの更新を行う手法であのデータの加工全般を前処理と呼ぶこともある。画像デーる。これは、訓練データ全体を一度に使用するバッチ学習

タに対する前処理も、機械学習モデルの性能向上に寄与すと異なり、計算コストが低く、学習の収束が速いことが特る。表形式データとは異なり、画像データはピクセルの集徴であり、深層学習では、GPU メモリが許す範囲でより大合として表現されるため、前処理手法も異なる。主な画像

きなバッチサイズのミニバッチ学習を用いることが一般的

データの前処理手法には、画像のリサイズ、画像の正規化、である。ミニバッチ学習が一巡し、全ての訓練データが 1

グレースケール変換、ぼかし、ヒストグラム平坦化、デー

回学習されるサイクルをエポックと呼び、1 エポック終了

タ拡張などがある。

後、訓練データは再度シャッフルされ、次のエポックが開始される。

画像のリサイズでは画像サイズを一定の解像度に揃えることで、機械学習モデルが一定の入力サイズを扱えるよ

早期打ち切りは、図 7 に示すようにエポックが進むと、うにする。画像の正規化では各ピクセルの値を一定の範囲

訓練データに対する損失が減少し続ける一方で、検証デー

11

Sanyo Technical Report Vol.30 (2023) No.1

工程省略につ な が る 材 料 技 術 特 集

例えば、時系列データに対する特徴量生成は特徴量エン機械学習技術の紹介とその鉄鋼業への応用事例

工程省略につ な が る 材 料 技 術 特 集

誤的に適用される。例えば、物体の位置や向きが重要でない場合、データ拡張として画像の回転や平行移動を適用することが適切である。
データ拡張は学習前にデータを操作することから、前処理の一環としても捉えられる。しかし、データ拡張の画像処理は、通常、学習前に大規模な学習データセットを作成
せずに実行される。これは、ストレージやメモリの使用量を削減するためである。実際の運用では、エポックごとにランダムに選択された画像処理によってデータ拡張が行われ、学習が繰り返される。その結果、データ拡張は、入力層の前に存在し、特定の処理を確率的に実行する層と見なす

図7 早期打ち切りことも可能である。
タに対する損失が上昇する時点で訓練を停止する手法であ

データ拡張の手法として、基本的な画像処理の他にも。これにより、過学習の兆候が見られる前にモデルのCutout や Mixup などが存在する 40）。Cutout は、画像の一訓練を終了させ、汎化性能を向上させることができる。実部をランダムにマスク（黒く塗りつぶすなど）し、モデルが際には、エポックごとに、検証データで評価を行い、最も画像全体に依存せず特徴を捉えることを促す効果を持つ。

良い検証データに対する損失を持つエポックでのモデルを一方、Mixup は複数の画像とそのラベルを線形に混合し、採用する。

新たなデータを生成する手法である。検査工程での製品のる

37）

ドロップアウトは、深層学習において、訓練時にランダ

図 7 早 期 打 ち 切 り

外観画像や顕微鏡画像を用いる場合、これらのデータ拡張

38）

。これ

手法が有効であるかは検証が必要である。さらに、GAN かにより、ニューラルネットワークが特定のノードに依存せら派生した画像生成モデルによるデータ拡張の報告も存在ず、より堅牢なモデルが構築される。ドロップアウトは、

するが、その方法論は十分に確立されていない 40）。

ムに選択されたノードを無効化する手法である

データ拡張のポリシー（処理方法や強度）を設計するこ推論時には全てのノードを使用するので、アンサンブル学


習の一種とも捉えられる。

とは困難であり、ハイパーパラメータチューニングと同様

バッチ正規化は、各層の出力をミニバッチごとに平均 0、に、データ拡張の探索範囲も広大である。そのため、デー標準偏差 1 となるよう正規化し、学習の安定化と正則化効

タ拡張のポリシーを自動的に最適化する手法も研究されて果をもたらす手法である 39）。これは、モデル内の特徴表現

いるが、一般化されてはいない 36）。鉄鋼業における検査工において平均と分散が寄与しないという事前知識に基づい程などの実用的なタスクにおいては、ドメイン知識を活用ている。バッチ正規化は強力で広く利用される手法である

しつつ、適切なデータ拡張手法を選択し、検証データを用が、バッチサイズが非常に小さい場合や時系列データ（例

いた評価を行うことが求められる。

えば動画フレーム）を扱う際には、平均・分散の推定が安

実用的な面においては、推論時データ拡張（Test Time
Augmentation）は広く有効な手法である 40）。TTA は、学習定せず注意が必要である。

時に用いたデータ拡張手法を推論時にも適用することで、
3.7

データ拡張

モデルそのものは変えずに、モデルの汎化性能を底上げ

正則化はモデルに関する事前知識を用いて、あり得なさする手法である。具体的には、テストデータに対してデー

そうなモデルを学習候補から除外する手法であるが、デー

タ拡張を行い、複数の入力画像を生成する。次に、これら

タ拡張はデータに関する事前知識を利用して、有り得その入力画像に対してモデルで推論を実行し、得られた予測

36）。データ拡張は、表形式

結果を平均や多数決を行い最終的な予測とする。ただし、データを含む様々なデータ形式で利用可能であるが、画像

TTA の効果は訓練時のデータ拡張の効果に依存し、また推データの深層学習において特に重要な役割を果たす手法で論時の計算コストが増加するという実用的には大きなデメある。画像データに対するデータ拡張は、元のデータセッ

リットも考慮する必要がある。

うなデータを増やす手法である

トに対して様々な画像操作を行い、新たな訓練データを生3.8

成することができる。その結果、過学習を抑制し、汎化性

転移学習能の向上が期待できる。主な画像データ拡張手法には、画転移学習は、広範な概念や技術を指す言葉であり、研究

像の回転、平行移動、拡大縮小、反転、明るさや色調の調者によって異なる方法で解釈されることがある 41）。しか36）。これらの操作をどの程度行うかについてし、「新規タスクの効果的な仮説を効率的に見つけ出すたは、特定のタスクやデータセットに依存するので、ドメイ

めに、一つ以上の別のタスクで学習された知識を得て、そン知識を活用しつつ、検証データでの評価をもとに試行錯れを適用する問題」という定義は、広く受け入れられてい整などがある

12

Sanyo Technical Report Vol.30 (2023) No.1

機械学習技術の紹介とその鉄鋼業への応用事例の 学 習 が 可 能 で あ る 43）。InceptionV3 は、Inception モ

は既存のタスクで獲得された知識を新しいタスクに適用す

ジュールによりネットワークが分岐し、異なるサイズのる手法を提案し、汎化性能の向上を目指す。特徴空間にお畳 み 込 み を 行 う 44）。InceptionResNetV2 は、Inception

けるデータの分布が与えられた場合、ドメインが定義されモジュールに残差接続を適用し、深層化が実現されているが、知識の転移元は元ドメインと呼ばれ、転移先は目標

る 22）。MobileNetV2 は、モ バ イ ル 端 末 で の 使 用 に 適 しドメインと呼ばれる。

た、パラメータ数が削減されたアーキテクチャである 45）。

転移学習では、元ドメインと目標ドメインの類似性を仮Xception は、Inception の 改 良 版 で あ り、高 精 度 化 と パ定し、その仮定に基づいて適切な転移学習手法を選択する

ラ メ ー タ 数 の 削 減 が 図 ら れ て い る 46）。DenseNet121、必要がある。元ドメインと目標ドメインが大きく異なる場

DenseNet169、DenseNet201 は、ResNet の 改 良 版 で合、元ドメインのデータを利用することで予測精度が低下あり、ショートカット接続を導入することで、121 層かする負の転移が発生することがある。このため、転移学習

ら 201 層までの深層化が可能となっている 47）。これらのを適用する際には、元ドメインと目標ドメインの類似性をアーキテクチャは異なる特性を持つことから、転移学習を考慮し、適切な手法を選択することが重要である。

行うにもタスクやデータセットに応じて適切なモデルを選択することが求められる。

転移学習手法には、大きくは、事例転移、特徴転移、パラメータ転移の 3 つのアプローチが考えられる 41）。事例転

3.9

移は、元ドメインのデータを目標ドメインのデータとして不均衡データ扱う方法である。特徴転移は、元ドメインと目標ドメイン

ここまで、少ないデータで汎化性能を向上させるためののデータ間で不変な特徴表現を学習することを目指す。パ

技術を解説してきたが、データ量だけでなく、不均衡デー

ラメータ転移では、元ドメインで訓練された学習器のパラ

タも機械学習において重要な問題である。不均衡データとメータを目標ドメインで利用するアプローチである。

は、クラス間のデータ数に偏りがあるデータセットを指深層学習の画像タスクにおいて、パラメータ転移は一般し、多くの実問題ではこのような不均衡が存在する。不均衡データへの対処方法も幾つか提案されている 48）。

的に用いられる手法である。特に、ImageNet のような大規模なデータセットで事前に訓練されたモデル（例えば、不均衡データへの対処として一般的な方法は、オーバーVGG16 など）が、新しいタスクやデータセットへの適用

サンプリングとアンダーサンプリングである。オーバーに利用される。このアプローチでは、事前学習済みの畳み

サンプリングは、少数クラスのデータ数を増加させるこ込み層のパラメータをそのまま使用するか、一部の層につとでクラス間のバランスを調整する手法である。一方、アいて目標ドメインのデータでファインチューニング（微調ンダーサンプリングは、多数クラスのデータ数を減少させ整）を行う。この手法により、データ量が少ない場合でもることでクラス間のバランスを調整する手法である。具体

高い性能が達成されることが期待される。パラメータ転移

的には、表形式のデータにおいては、データセットから少は、画像分類に限らず、深層学習のアーキテクチャを変更

数クラスの事例の行を複製する。画像データにおいては、することで、物体検出やセグメンテーションなどのタスク

少数クラスの事例の画像を複製し、データ数を増やす。表にも幅広く適用されている。

形式データのオーバーサンプリングでは SMOTE49）など

このようなファインチューニングでは、一般的に Modelの少数クラスの事例を合成する手法も開発されている。

Zoo と呼ばれる、事前学習済みモデルのリポジトリが利用

SMOTE では少数クラスの事例に対して、その k 近傍サンされる。Model Zoo では、様々なデータセットで訓練されプルをランダムに選び、選ばれた近傍サンプルとの内挿にた、有名なアーキテクチャのモデルが提供されており、事より新たな事例を生成する。SMOTE は新たなデータを合前学習済みモデルを利用することで、短期間で高性能なモ成しており、データ拡張の手法とも言える。

デルを構築することができる。例えば、Keras は ImageNet

そもそも、不均衡データではテストデータや評価指標ので 学 習 済 み の VGG169）、VGG199）、ResNet50V243）、選択も重要である。データセットが不均衡のままテスト

ResNet101V243）、ResNet152V243）、InceptionV344）、

データに分割して評価すると、多数クラスに対して過剰にInceptionResNetV2
DenseNet121

47）

22）

、MobileNetV2、DenseNet169

45）、Xception

47）

46）

、

、DenseNet201

適合された評価を行うことになる。そのため、正解率の他

47）に、適合率、再現率、F 値などを用いることがある。

など有名アーキテクチャのモデルを提供している。

データに不均衡の対策を施すだけでなく、機械学習アル

これらのアーキテクチャについて簡単に紹介しておゴリズムに不均衡データへの対策を組み込むことも一つのく。VGG16 お よ び VGG19 は、16 ま た は 19 層 の 畳 みアプローチである。具体的には、重み付きクロスエントロ

9）込み層と全結合層を持つ浅いアーキテクチャである 。

ピー誤差のように、損失関数にクラスの重み付けを導入す

ResNet50V2、ResNet101V2、ResNet152V2 は、 残ることで、少数クラスの誤分類に対するペナルティを増加

差接続を使用し、50 層から 152 層の深い畳み込み層でさせることが可能となる 12）。この方法により、モデルは少13

Sanyo Technical Report Vol.30 (2023) No.1

工程省略につ な が る 材 料 技 術 特 集るものの一つである 42）。この定義に基づくと、転移学習で

機械学習技術の紹介とその鉄鋼業への応用事例

工程省略につ な が る 材 料 技 術 特 集

数クラスに対してより敏感になり、全体の分類精度が向上

削除や、新たな特徴量の追加を実施できる。

することが期待される。

機械学習を解釈する技術として、線形回帰は最も理解し画像のセグメンテーションタスクでは、損失関数に重みやすい手法である。線形回帰モデルの各説明変数に対応す付けを導入するアプローチが特に重要である 12）。セグメ

る回帰係数は、その変数が目的変数に与える影響の大きさ

ンテーションとは、画像内の各ピクセルに意味的なクラスと方向を表す。標準化回帰係数は、各説明変数を標準化しラベルを割り当て、画像を複数の領域に分割する処理であた後に計算され、異なる尺度の説明変数間で影響力を比較る。例として、金属組織画像から粒度を測定する際、粒界しやすくなる。ラッソ回帰では、特徴選択の効果によりモをセグメント化することが挙げられる。このタスクでは、

デルの解釈性が更に向上する。ただし、線形回帰では、非粒界のピクセルは他のピクセルに比べて少数クラスとな

線形性や交互作用を捉える能力に限界があることに注意がる。粒界のピクセルを画像中で人為的に増加させることは必要である。また、汎化性能に優れた複雑な機械学習モデ

困難であるため、損失関数に重み付けを行うことで対処がルとは別に、解釈のために線形回帰モデルを用意する必要可能である。

がある。
機械学習の解釈技術には、大局的な手法から局所的な手

3.10

半教師あり学習法まで多数が提案されているが、ここで紹介する手法は機

特定の状況では、少量のデータに対応する手法として、

械学習モデルを問わず適用することができる 51）。大局的半教師あり学習が効果的である 50）。半教師あり学習は、少な手法では、モデルの精度の観点から特徴量の重要度を評

量のラベル付きデータと多数のラベルなしデータを活用価する。例えば、PFI（Permutation Feature Importance）

50）。

では、特徴量をランダムに並べ替えたデータセットでモ

画像データのタスク、特にセグメンテーションにおいて、

デルの予測精度を測定する。並べ替えによる予測精度のデータの取得は容易だが、アノテーションコストが高いと低下が大きいほど、その特徴量は重要であると判断されいう状況があり得る。アノテーションは、データにラベルる。ま た、LOCOFI（Leave-One-Covariate-Out Featureを付与する作業であり、専門知識が求められる場合や手Importance）では、モデルの評価指標に対して、特定の特作業が必要な場合には、コストが大きくなる。ラベルなし

徴量を除いた場合と含んだ場合の差を計算することで、そデータの活用は、この問題を解決する重要なアプローチでの特徴量の重要度を評価する。ステップワイズ法による特ある。

徴量選択は、LOCOFI の結果を利用しているとも言える。

し、機械学習モデルの性能向上を目指す手法である

半教師あり学習には様々なアプローチが存在するが、代より局所的な手法では、感度分析により特徴量の影響を表的な擬似ラベリング手法では、初めに与えられたラベル評価する。例えば、PD（Partial Dependence）では、他の付きデータを用いて予測モデルを学習し、そのモデルでラ特徴量の影響を平均化し、特定の特徴量が予測結果に与え50）。次に、元のラベルる影響を可視化する。PD プロットは、特徴量のある範囲

付きデータセットに新たなラベル付きデータを加え、学習における予測結果の変化を示すため、特徴量と予測結果を再度実行する。このプロセスを繰り返すことで性能向上の関係を把握できる。一方、ICE（Individual Conditionalが図られる。多くの半教師あり学習手法では、信頼度で選Expectation）は、PD と同様に特徴量と予測結果の関係を抜するなどのアルゴリズムを用いて自動的にラベルなし

可視化するものの、他の特徴量の影響を平均化せず、個々データのラベルを推定する。一方で、半教師あり能動学習のデータ点に対して計算を行い、可視化を行う。これによでは、重要と判断されるラベルなしデータを選択し、人間

り、ICE プロットでは、モデルの挙動を個々の事例におけの専門家がラベル付けを行うことで性能向上が期待される特徴量と予測結果の関係として把握することが可能である。これらの手法を適切に適用することで、限られたラベる。ただし、ICE プロットは局所的な個々のデータ点に対ル付きデータを活用しながら、モデルの汎化性能を向上さして計算されるため、複数の曲線が重なり合い、解釈しづせることが可能となる。

らいことがある。

ベルなしデータにラベルを付与する

機械学習モデルを局所的にも大局的にも可視化できる
3.11

機械学習を解釈する技術のは SHAP（SHapley Additive exPlanations）である 52）。

機械学習の解釈可能性を追求する技術である XAI の目的

SHAP はゲーム理論に基づく手法で、各特徴量が予測結果

は、機械学習モデルの理解を促進することである 51）。ただに対してどれだけ貢献しているかを SHAP 値と呼ばれるし、解釈性の向上は性能向上にも寄与する場合がある。解数値で評価する。SHAP 値は各特徴量の寄与度を表してお釈性が高いモデルは、特徴量と予測結果の関係性を明確にり、SHAP プロットでは、事例ごとに SHAP 値と各特徴量示すことができるため、モデルが適切な予測を行っているをプロットすることで、特徴量の影響力と方向を可視化すかどうかの判断が容易になる。このような理解しやすいモることができる。SHAP は非線形性や交互作用を考慮しな

デルとドメイン知識を利用することで、不適切な特徴量のがら、機械学習モデルを問わず、局所的な解釈だけでなく、

14

Sanyo Technical Report Vol.30 (2023) No.1

機械学習技術の紹介とその鉄鋼業への応用事例かったため、熟練技術者から Mg 歩留まり予測において考な手法である。

慮している因子について聞き取りを行った。その結果、熟練技術者は硫黄濃度などの他に、過去直近の Mg 処理の4．機械学習の適用事例

データを参考にしているとの回答が得られた。ただし、具体的にどの因子がどのように影響するのかは形式知化でき

既に機械学習は鉄鋼業でのプロセス制御と検査工程でておらず、暗黙知の状態であった。そこで、熟練技術者か適用が進んでいる。ここでは、著者が関わった研究の中からの聞き取りに基づき、前回杯及び前々回杯の Mg 処理にら抜粋し、プロセス制御の事例としてダクタイル鋳鉄での関するプロセスデータを熟練技術者の暗黙知としてデータ

Mg 歩留まり53）、検査工程の事例として合金鋼とステンレ

ス鋼での破面解析

セットに加えた。

54）を紹介する。

熟練技術者の暗黙知を加えたデータセットでのラッソ回帰の結果を図 8b に示すが、前回杯の Mg 歩留まりと前々

4.1

ダクタイル鋳鉄での Mg 歩留まり53）

工程省略につ な が る 材 料 技 術 特 集

大局的な解釈も提供できるので、解釈性を向上させる強力回杯の Mg 歩留まりの影響が大きい。熟練技術者の暗黙知

Mg 処理は、鋳鉄における代表的な黒鉛球状化処理方法を含めることで予測精度が向上し、熟練技術者の暗黙知でであり、多くの鋳物工場で導入されている。Mg 濃度が不あった Mg 歩留まりに及ぼす因子を形式知化することがで足すると、黒鉛の球状化が進まず、機械的性質が不十分ときた。なお、前回杯・前々回杯の Mg 歩留まりの影響が大なる。そのため、Mg 処理の歩留まりを予測し、Mg 濃度がきいという分析結果は、用いた説明変数には観測できてい下限値以上になるように投入 Mg 量を算出するという管ない因子が含まれていることを示唆している。ここからは

理方法が行われている。Mg 歩留まり（Mg yield rate）は、

機械学習の範疇ではないが、仮説として、データに含まれ熟練技術者が溶鉄湯中の硫黄濃度などのデータをもとに、ていない酸素濃度などの影響が大きいと考察した。

Mg 濃度が下限値以上になるように過剰に Mg を投入する

熟練技術者の暗黙知を加えたデータセットと損失関数にために、その実測値よりも低くなるように経験的に予測している。このような熟練技術者の暗黙知を伝承することは困難である。
そこで、熟練技術者の代わりに人工知能を用いたプロセス制御が求められていた。既に Mg 歩留まりを予測するための機械学習モデルは報告されていた。しかし、実測歩留
まりを下回るように歩留まりを予測するという熟練技術者が行っているタスクを代替することはできていなかった。
そこで、本研究 53）では、損失関数として分位損失を用いることで、実測値よりも低く Mg 歩留まりを予測する機械学
習モデルを提案した。なお、分位損失を歩留まりの管理に適用したのは本研究が初めてであった。
デ ー タ セ ッ ト に は ダ ク タ イ ル 鋳 鉄 管 の 製 造 に お け、
44,969 杯の取鍋の Mg 歩留まりと Mg 処理に関するプロ
セスデータを用いた。プロセスデータには、溶鉄湯の炭素、
アルミニウム、硫黄、チタンなどの濃度や温度などが含まれていた。
まず、データの関係性を理解するために、機械学習を解釈する技術であるラッソ回帰を行った結果が図 8a である。
ラッソ回帰では、正則化パラメータが大きいほど重要度の低い係数が削除されるため、正則化パラメータが大きくても標準化偏回帰係数が大きい変数ほど、影響が大きい説明変数であると解釈できる。また、標準化偏回帰係数が正に大きければ Mg 歩留まりは向上し、負に大きければ低下することを意味する。図から、硫黄濃度（歩留まり低下）と炭素濃度（歩留まり向上）の影響が大きく、Mg 処理の冶金学的な知識と矛盾していないことが分かった。

図 8
しかし、このデータセットでは十分な性能が得られな

図8 熟練技術者による暗黙知を（a）含まない場合と（b）含む場合

熟 練 技
術 者 に よ る 暗 黙 知 を （53) a ） 含 ま な い 場 合 とのラッソ回帰の標準化偏回帰係数（文献より改変引用）。

（ b） 含 む 場 合 の ラ ッ ソ 回 帰 の 標 準 化 偏 回 帰 係 数 （ 文 献53)

よ り 改 変 引 用 ）。
15

Sanyo Technical Report Vol.30 (2023) No.1



機械学習技術の紹介とその鉄鋼業への応用事例

工程省略につ な が る 材 料 技 術 特 集

分位損失を用いた提案手法により、Mg 歩留まりの実測値

者の経験は、言語化できない暗黙知として蓄積され、伝承よりも低く予測する機械学習モデルが構築できた。そのが容易ではない。一方で、熟練した解析者は徐々に引退し際、分位レベルを決定するハイパーパラメータは、精度評ている。これらの理由から、破面解析の初心者を支援し、価指標のコストに対してグリッドサーチを行うことで決定

熟練した解析者の経験を伝承するシステムが求められる。

した。訓練データとテストデータでの精度評価結果を表

CNN を用いた破面分類が報告されているが、先行研究で1 に示す。なお、分位レベル以外のハイパーパラメータのは、合金鋼とステンレス鋼の違いのような材料の違いを考調整には訓練データを 5 分割交差検証で検証を行い、グ慮しておらず、すべての材料を同一の破断面のクラスで分

リッドサーチを用いた。
53)

類していた。熟練した解析者は、材料の違いを暗黙知とし

表 1 訓 練 デ ー タ と テ ス ト デ ー タ で の 精 度 評 価 結 果 。 精

度 評 価 指 標 の コ ス ト は 平 均 絶 対 誤 差 と 不 良 率 よ り 算 出（ 文 献

よ り 改 変 引 用 ）。

て考慮していると考えられる。そこで、本研究 54）では、材
料の種類を考慮した転移学習により、CNN を用いた破面

表1 訓練データとテス‌
トデータでの精度評価結果。精度評価指標のコストは平均絶対誤差と不良率より算出（文献53)より改変引用）。
損 失
関 数

手 法

二 乗
誤 差

線 形 回 帰分 位
損 失

線 形 回 帰分 位
損 失

勾 配 ブ ー ス テ
ィ ン グ

分 位
損 失

ニ ュ ー ラ ル ネ
ッ ト ワ ー ク

分類の高精度化を実現した。そのため、本研究では、他の材料からの学習結果を利用するために、新しい転移学習手

デ ー タ

平均絶
対誤差
(%)

不 良
率

コ ス ト
(%)

訓 練

2.46

0.5106104.57

テ ス ト

2.46

0.5112104.71

訓 練

7.77

0.00909.57

既存手法の破断面の分類では、材料を区別しないため、

テ ス ト

7.84

0.0091

9.66

訓 練

7.70

0.00809.31

元ドメインのみを用いた学習になる。ディンプル、ストラ

テ ス ト

7.77

0.0088

9.53

イエーション、ぜい性疲労破面、へき開破面、擬へき開破

訓 練

7.64

0.00849.33

面、粒界破面、ファンシェープトパターンの 7 クラス分類

テ ス ト

7.77

0.0092

9.62

で、元ドメインのみを用いた分類モデルを図 9a に示す。

法として SSSC（Stepwise Selection of Source Classes）
を提案した。

一方で、材料の種類ごとにそのまま用いた学習を図 9b に
表 1 では、Mg 歩留まりを百分率で表記するため、精度示すが、これは目標ドメインのみを用いた学習となる。提評価指標となる平均絶対誤差とコストも百分率で表記して案手法の SSSC では、元クラスと目標クラスを混合した事いる。二乗誤差を用いた線形回帰では、平均絶対誤差は最例で複数のモデルを学習し、目標ドメインのデータで評価小となるが、ほぼ半数が不良杯となるため、コストは最もを行う。そして、ステップワイズ法により元クラスと目標高かった。一方で、分位損失を用いた場合には、コストをクラスの組み合わせを探索する。

大幅に低下でき、Mg 歩留まりの実測値を下回り、かつ Mg
歩留まりの実測値とよく一致して予測する機械学習モデル

の構築ができた。
構築した機械学習モデルにおいて、テス

トデータでのコストが示すように、勾配ブースティング、
ニューラルネットワーク、線形回帰の順に汎化性能に優れた機械学習アルゴリズムであった。
本研究で構築した勾配ブースティングの機械学習モデルを使用して、鋳鉄管工場で概念実証を行ったところ、機械学習モデルの方が熟練技術者よりも精度評価指標であるコ
ストを低くできた。今後の課題として、構築した機械学習
モデルをプロセス制御の自動システムとして実装することを進めている。
4.2

合金鋼とステンレス鋼での破面解析54）

鉄鋼材料は、多くの製品に使用されており、その寿命は、使用状況や周囲環境によって影響を受け、やがて破損する

図9

ことが避けられない。破壊原因を特定するためには、破断‌（a）元ドメインでの学習と（b）目標ドメインでの学習（文献54)より改変引用）。

面の破面解析（fractography）が必要である。破面解析は、検査工程と同様に、製品の品質を評価し、維持・向上させ

図 9 データセットには、
 （ a ） 元 ド メ イ ン破面解析の経験豊富な専門解析者がで の 学 習 と （ b） 目 標 ド メ イ ン でるための重要なプロセスである。破面解析において、解析のラベル付けした走査型電子顕微鏡
学 習 （ 文 献 5 4 ) よ り 改 変 引 用 ）。（SEM）画像の 1033 枚

者は破断面の模様を解釈し、破壊機構の観点から破面分類の破断面画像を用いた。このデータセットにはドメイン別を行う。これは検査工程と同様に、熟練者による観察と経（ここでは鋼種別）では、合金鋼は 670 枚、ステンレス鋼は験に基づく複雑な知的判断を必要とする作業である。解析

230 枚、銅合金は 133 枚の画像が含まれていた。クラス


16



Sanyo Technical Report Vol.30 (2023) No.1

機械学習技術の紹介とその鉄鋼業への応用事例

工程省略につ な が る 材 料 技 術 特 集別（ここでは破面形態の違い）では、ディンプルは 231 枚、ストライエーションは 212 枚、ぜい性疲労破面は 164 枚、へき開破面は 127 枚、擬へき開破面は 105 枚、粒界破面は 161 枚、ファンシェープトパターンは 33 枚の画像が含まれていた。
用いたデータ量は十分とは言えず、また不均衡データである。そのため、本寄稿で紹介した、様々な技術を用いた。
具体的には訓練データについては 3.9 節で紹介したオー
バーサンプリングにより少数クラスの画像を複製し、デー
タ数を増やしてクラス不均衡を解消した。検証のための検証データとテストデータの事例数はそれぞれ各クラスで 5とした。前処理では画像のリサイズを行った。図 10 には

図11

検証データの正解率と画像サイズ（解像度）の関係を示す‌ステンレス鋼での正解率と元クラス数の関係（文献54)より改変引用）。

が、画像サイズは 360 × 270 が最適であることが分かる。
く、それぞれ、目標ドメインでの学習と元ドメインでの学

正則化手法としては、早期打ち切り、ドロップアウト、バッ
チ正則化を使用し、活性化関数の種類やノード数などのハ
イパーパラメータのチューニングも検証データを用いて行った。データ拡張は訓練データに対してのみ行い、検証習である。元クラス数が 4 もしくは 5 の時に最も高い正解

図 1 1  ス テ ン レ ス 鋼 で の 正 解 率 と 元 ク ラ ス 数 の 関 係（ 文献率を示していた。
元クラスと目標クラスの選択には、両者
54)
よ り 改 変 引 用 ）。

のデータ数の比率が関係しており、目標クラスの訓練デー

データを用いて検証を行い、画像に対してランダムに移タが十分に多ければ、目標クラスが選択されるが、目標ク

動、拡大・縮小、回転、せん断、反転の操作を行った。CNN

ラスの訓練データが少なければ元クラスが選択されていの ア ー キ テ ク チ ャ に つ い て は、VGG16、VGG19、た。

R e s N e t 5 0 V 2 、R e s N e t 1 0 1 V 2 、R e s N e t 1 5 2 V 2 、

表 2 に目標ドメインでの学習、元ドメインでの学習、そInceptionV3、 InceptionResNetV2、MobileNetV2、

して SSSC を用いた時のテストデータの正解率を示す。元X c e p t i o n 、D e n s e N e t 1 2 1 、D e n s e N e t 1 6 9 、



ドメインでの学習は、材料を区別しない既存手法であり、DenseNet201 の候補の中から、検証データでの結果に基合金鋼、ステンレス鋼、銅合金での平均正解率は 92.4%

づき、VGG16 でのファインチューニングを採用した。

であった。目標ドメインでの学習では、材料の種類を考慮
し、材 料 ご と に そ の ま ま 学 習 さ せ た が、平 均 正 解 率 は81.5% であり、元ドメインでの学習よりも悪化していた。
一方で、提案手法の SSSC では平均正解率は 98.7% であり、既存手法から 6.3% 向上していた。
材料の種類を考慮
54)
表 2 テ ス ト デ ー タ の 正 解 率 （ 文 献

よ り 改 変 引 用 ）した転移学習手法である SSSC が、破面分類の精度向上に寄与することが明らかとなった。
表2 テストデータの正解率（文献54)より改変引用）
目 標 ド メ イ

元 ド メ イ ン

提 案 手 法ン で の 学 習で の 学 習SSSC

ド メ イ ン

図10

合 金 鋼

0.933

0.933

1.000

ス テ ン レ ス 鋼

0.720

0.840

0.960

銅 合 金

0.792

1.000

1.000

平 均

0.815

0.924

0.987

本研究の目標ドメインは、合金鋼、ステンレス鋼、銅合

正解率と画像サイズの関係（文献54)より改変引用）。

金の 3 種類に限定されていたが、今後、他の材料でのデータが収集できれば、SSSC による転移学習により、新たな前処理を行ったデータとチューニングされた VGG16 モ

材料でも高い予測精度が期待できる。また、本研究で開発

デルで SCCC による元クラス選択を行った。図 11 に前進したモデルは解析者の育成に既に試験的に利用されてお図法と後退法での、ステンレス鋼での正解率と元クラス数10 正 解 率 と 画 像 サ イ ズ の 関 係 （ 文 献 54)よ り 改 変 引り、今後は、Web サービスとして利用公開を検討してい

用 ）。

る。

の関係を示す。元クラス数が 0 と 7 の時は転移学習ではな

Sanyo Technical Report Vol.30 (2023) No.1

17






機械学習技術の紹介とその鉄鋼業への応用事例

工程省略につ な が る 材 料 技 術 特 集

5．おわりに参考文献

DX（Digital Transformation）とは、企業が AI、IoT、ビッ1）	‌野坂康雄 : 鉄と鋼 , 59（1973）, 557-569.

グデータなどの技術を活用し、業務の改善や新規ビジネス2）	‌大重貴彦 : 計測と制御 , 55（2016）, 228-233.

モデルの創出を行うことである。鉄鋼業においても、DX3）	‌玉置久 , 小林敬和 : 鉄と鋼 , 97（2011）, 315-315.

が注目されているが、DX に類似した言葉にはインダスト4）	‌榊剛史 , 井上昂治 , 山野泰子 , 岩澤駿 , 松原仁 , 杉本

リー 4.0 というのもあった。このようなもっともらしいが

舞 , 谷口忠大 : 人工知能 , 38（2023）, 298-301.

実際には意味が曖昧な用語のことをバズワードという。バ5）	‌榊剛史 , 井上昂治 , 山野泰子 , 岩澤駿 , 杉本舞 , 松原

ズワードはいずれ、その具体的な事例が増えて、抽象概念

仁 , 谷口忠大 : 人工知能 , 38（2023）, 92-95.

が共有されれば、個別の用語に置き換わり、消える宿命に6）	‌足立吉隆 : まてりあ , 58（2019）, 6.

ある。しかし、バズワードには機械学習のような特定技術

7）	‌中島智晴 : 材料 , 69（2020）, 633-639.

の普及期において、その知見を多くの人々が共有するため

8）	‌上杉徳照 : 軽金属 , 73（2023）, 104-111.

の役割がある。そのため、本寄稿を総括するにあたり、DX9）	‌K . Simonyan and A. Zisserman, “Very Deepという言葉を使用することは適切と思われる。

Convolutional Networks for Large-Scale Image

本寄稿では、既に機械学習は、鉄鋼業においてプロセス

Recognition”The 3rd International Conference on

制御や検査工程の自動化や効率化を通じて、実質的には工Learning Representations（ICLR2015）（2015）.

程省略に貢献していることを解説した。ただし、機械学習

10）	‌平田丈英 , 松下昌史 , 飯塚幸理 , 鈴木宣嗣 : 鉄と鋼 ,の活用は、データ数が少ない場合など限定的な状況におい

107（2021）, 897-905.

ては、適切な技術の選択が求められるので、本寄稿では、

11）	‌R. Koenker and G. Bassett: Econometrica, 46

その技術について詳細に述べた。また、データ量が技術以（1978）, 33-50.

上に重要であることを指摘した。

12）	‌O. Ronneberger, P. Fischer and T. Brox: Lect.

機械学習は、多くのデータから一般的な規則を見出す人

Notes Comput. Sci., 9351（2015）, 234-241.

間の行う帰納法を置き換えたものである。従って、無差別13）	‌R. Tibshirani: J. R. Statist. Soc. B, 58（1996）,にデータを収集しても、業務改善につながる機械学習モデ

267-288.

ルを構築することはできない。業務改善に貢献する課題の14）	‌L. Breiman: Mach. Learn., 45（2001）, 5-32.

特定と、その課題に対応できるデータが必要である。適切15）	‌H. Drucker, C. J. C. Surges, L. Kaufman, A. Smola

な課題設定とデータ蓄積を実行できる人材が、DX を成功

and V. Vapnik: Advances in Neural Information

させる上で欠かせない要素である。

Processing Systems, NIPS 1996,（1997）, 155-

そのような DX 人材は機械学習だけでなく情報処理技術

161.

全般を広く網羅しておく必要がある。機械学習モデルによ16）	‌T. Chen and C. Guestrin: Proceedings of the ACM

る予測は、人間の帰納推論と同様に必ず不確実性が存在す

SIGKDD International Conference on Knowledge

るため、完全な精度と説明が要求される場合や問題が単純

Discovery and Data Mining,（2016）, 785-794.

な場合には、ルールベースのアプローチの適用を検討すべ

17）	‌G. Ke, Q. Meng, T. Finley, T. Wang, W. Chen,きである。また、機械学習が対処する課題の要求精度に達W. Ma, Q. Ye and T. Y. Liu: Advances in Neural

しないと予想される場合には、課題設定の見直しが必要とInformation Processing Systems, NIPS 2017,

なる。特に、データ蓄積に関するコストと課題解決による（2017）, 3147-3155.

効果の費用対効果を適切に見積るには、情報処理技術以外

18）	‌L. Prokhorenkova, G. Gusev, A. Vorobev, A.

も含む幅広い知識が求められる。

V. Dorogush and A. Gulin: Advances in Neural

今後も鉄鋼業において、機械学習とその関連する情報処

Information Processing Systems, NeurIPS 2018,

理技術の発展が続くことで、さらなる効率化が期待され（2018）, 6638-6648.

る。そのためには、適切な技術を選択し、活用することが、

19）	‌Kaggle: Your Machine Learning and Data Science

鉄鋼業における持続的な競争力向上につながる。バズワー

Community, https://www.kaggle.com/.

ドに惑わされず、具体的な課題の整理と、必要なデータを20）	‌A. Krizhevsky, I. Sutskever and G. E. Hinton:

蓄積する体制を継続的に整えることが重要である。

Advances in Neural Information Processing
Systems, NIPS 2012, 2（2012）, 1097-1105.
21）	‌O. Russakovsky, J. Deng, H. Su, J. Krause, S.
Satheesh, S. Ma, Z. Huang, A. Karpathy, A.
Khosla, M. Bernstein, A. C. Berg and L. Fei-Fei:

18

Sanyo Technical Report Vol.30 (2023) No.1

機械学習技術の紹介とその鉄鋼業への応用事例

E. Yang, Z. DeVito, M. Raison, A. Tejani, S.

22）	‌C. Szegedy, S. Ioffe, V. Vanhoucke and A.

Chilamkurthy, B. Steiner, L. Fang, J. Bai and

A. Alemi: 31st AAAI Conference on Artificial

S. Chintala: Advances in Neural Information

Intelligence, AAAI 2017,（2017）, 4278-4284.

Processing Systems, NeurIPS 2019, 32（2019）.

23）	‌Y. Gorishniy, I. Rubachev, V. Khrulkov and34）	‌S. F a l k n e r, A . K l e i n a n d F. H u t t e r : 3 5 t h

A. Babenko: Advances in Neural Information

International Conference on Machine Learning,

Processing Systems, NeurIPS 2021, 23（2021）,

ICML 2018, 4（2018）, 2323-2341.

18932-18943.

35）
	‌A. Nazri and O. Agbolade: Int. J. Eng. Tech., 724）	‌N. Morgan and H. Bourlard: Advances in Neural（2018）, 322-325.

Information Processing Systems, NIPS 1989,36）	‌N. E. Khalifa, M. Loey and S. Mirjalili: Artif. Intell.

（1989）, 630-637.

Rev., 55（2022）, 2351-2377.

25）
	‌J. Hestness, S. Narang, N. Ardalani, G. Diamos, H.

37）
	‌L. Prechelt: Lect. Notes Comput. Sci., 7700

Jun, H. Kianinejad, M. M. A. Patwary, Y. Yang and（2012）, 53-67.

Y. Zhou: Deep Learning Scaling is Predictable,38）	‌N. Srivastava, G. Hinton, A. Krizhevsky, I.

Empirically, arXiv preprint arXiv:1712.00409

Sutskever and R. Salakhutdinov: J. Mac. Learn.

（2017）.

Res., 15（2014）, 1929-1958.

26）
	‌A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L.

39）	‌S. Ioffe and C. Szegedy: 32nd International

Jones, A. N. Gomez, Ł. Kaiser and I. Polosukhin:

Conference on Machine Learning, ICML 2015, 1

Advances in Neural Information Processing（2015）, 448-456.

Systems, NIPS 2017,（2017）, 5999-6009.

40）	‌C. Shorten and T. M. Khoshgoftaar: J. Big Data, 627）	‌J. Kaplan, S. McCandlish, T. Henighan, T. B.

（2019）.

Brown, B. Chess, R. Child, S. Gray, A. Radford,41）	‌K. Weiss, T. M. Khoshgoftaar and D. D. Wang: J.

J. Wu and D. Amodei: Scaling Laws for Neural

Big Data, 3（2016）, 9.

Language Models, arXiv:2001.08361（2020）.

42）	‌神 嶌 敏 弘 : 人 工 知 能 学 会 第 二 種 研 究 会 資 料 , SIG-

28）	‌L. Ouyang, J. Wu, X. Jiang, D. Almeida, C. L.

DMSM-A803-06（2009）, 36-43.

Wainwright, P. Mishkin, C. Zhang, S. Agarwal, K.

43）	‌K. He, X. Zhang, S. Ren and J. Sun: Lect. Notes

Slama, A. Ray, J. Schulman, J. Hilton, F. Kelton,

Comput. Sci., 9908（2016）, 630-645.

L. Miller, M. Simens, A. Askell, P. Welinder,44）	‌C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens

P. Christiano, J. Leike and R. Lowe: Training

and Z. Wojna: Proceedings of the IEEE Computer

language models to follow instructions with humanSociety Conference on Computer Vision andfeedback, arXiv:2203.02155（2022）.

Pattern Recognition,（2016）, 2818-2826.

29）	‌D. H. Wolpert: Neural Comp., 8（1996）, 1341-

45）	‌M. Sandler, A. Howard, M. Zhu, A. Zhmoginov

1390.

and L. C. Chen: Proceedings of the IEEE

30）	‌scikit-learn: machine learning in Python, https://Computer Society Conference on Computer Visionscikit-learn.org/.

and Pattern Recognition,（2018）, 4510-4520.

31）
	‌M. Abadi, P. Barham, J. Chen, Z. Chen, A. Davis, J.

46）	‌F. Chollet: Proceedings - 30th IEEE Conference

Dean, M. Devin, S. Ghemawat, G. Irving, M. Isard,

on Computer Vision and Pattern Recognition,

M. Kudlur, J. Levenberg, R. Monga, S. Moore, D.

CVPR 2017,（2017）, 1800-1807.

G. Murray, B. Steiner, P. Tucker, V. Vasudevan,47）	‌G. Huang, Z. Liu, L. Van Der Maaten and K. Q.

P. Warden, M. Wicke, Y. Yu and X. Zheng:

Weinberger: Proceedings - 30th IEEE Conference

Proceedings of the 12th USENIX Symposium on

on Computer Vision and Pattern Recognition,

Operating Systems Design and Implementation,

CVPR 2017,（2017）, 2261-2269.

OSDI 2016,（2016）, 265-283.

48）	‌H. He and E. A. Garcia: IEEE Trans. Knowl. Data32）	‌F. Chollet: Keras, https://github.com/fchollet/

Eng., 21（2009）, 1263-1284.

keras.

49）	‌N. V. Chawla, K. W. Bowyer, L. O. Hall and W. P.

33）
	‌A. Paszke, S. Gross, F. Massa, A. Lerer, J.

Kegelmeyer: J Artif. Intell. Res., 16（2002）, 321-

Bradbury, G. Chanan, T. Killeen, Z. Lin, N.

357.

Gimelshein, L. Antiga, A. Desmaison, A. Köpf,50）	‌Z. H. Zhou: Natl. Sci. Rev., 5（2018）, 44-53.

19

Sanyo Technical Report Vol.30 (2023) No.1

工程省略につ な が る 材 料 技 術 特 集

Int. J. Comput. Vis., 115（2015）, 211-252.

機械学習技術の紹介とその鉄鋼業への応用事例

工程省略につ な が る 材 料 技 術 特 集51）	‌森下光之助 : 機械学習を解釈する技術 , 技術評論社 ,（2021）.
52）	‌S. M. Lundberg and S. I. Lee: Advances in Neural
Information Processing Systems, NeurIPS 2017,（2017）, 4766-4775.
53）	‌福島瑞貴 , 上杉徳照 , 辻川正人 , 堤親平 , 小川耕平 ,澤田健二 , 中本光二 : 鋳造工学 , 94（2022）, 6975.
54）	‌上杉徳照 , 近藤充晟 , 濱田真行 , 喜多俊輔 , 平田智丈 :
材料 , 72（2023）, 376-383.

20

Sanyo Technical Report Vol.30 (2023) No.1