論 文

機械学習を用いたアンモニア合成速度の予測モデル
熱海 良輔
物質工学科（Department of Materials Engineering, National Institute of Technology, Nagaoka College）

Predictive Model for Ammonia Synthesis Kinetics Using Machine Learning
Ryosuke Atsumi
Abstract
Development of a kinetic model is one of botlneck lead time in designing a chemical process. To shorten
the lead time, a rata-driven predictive model synthesis rate was developed using machine leaning. In thisstudy, a multi-layer perceptron (MLP) or support vector machine (SVM) was adapted to the machinelearning model, which reaction rates from reaction condition e.g. temperature and partial pressure ofsubstrates. In this study, the training dataset was synthesized by the Hougen-Watson model for ammonia
synthesis, which is know as one of the most accurate kinetic model for the reaction. The hyperparametersof the above two machine learning model were optimized by grid search. It was found that the MLP withthree hidde layers, 700 nodes per hidden layer and ReLU as the activation function indicated the highest
accuracy, and the SVM with RBF kernel was competitive to the MLP model. From the simulation ofkinetics by the machine learning models, it was found that the models underestimated the reaction rates forhigher temperature. From this result, it was considered that preprocessing data based on temperaturedependence of a chemical reaction is required to improve the accuracy of the models. Temperaturedependence of a chemical reaction generally descrive as Arrhenius law: therefore taking inverse of thetemperature and taking logarithm of the reaction rates in the input data were conducted. Preprocessing theinput data based on the method, it was shown that accuracy of the machine learning models improved.
Key Words : Machine learning, support vector machine, multi-layer perceptron, ammonia synthesis

１．緒言

見や，化学者・化学工学技術者の経験や勘も要求され，一般に反応速度式を構築するためには，多大な合目的的な反応器設計を行うためには，触媒表面時間と労力が要求される．

における反応機構の解明と，それに基づいた精緻なこうした反応速度式の構築に要する経済的・人反応速度式の利用が重要である．反応機構を解明す的・時間的なコストは，化学プロセス開発のリードるためには，触媒評価試験だけではなく，分光測定タイムを増大させる要因となる．当研究室では，新手法を用いた反応場の直接観察，触媒の構造解析，規化学プロセス開発の競争力を高めるために，機械第一原理計算等が必要になる．また，触媒化学の知学習を活用したデータ駆動型の速度論モデルの活用
15が重要であると考えた．また，触媒反応は吸脱着現

ただしKは平衡定数であり，Ci (i = 1, 2, 3)は温度の関象や結合の複雑な組換えを伴い，反応速度式の非線数である．

形性が強くなることがある．こうした複雑な反応速

上記の様な複雑な反応速度式を「代替」する機械度の挙動を，統計モデルにより予測することは困難

学習モデルは，一般に「サロゲートモデル」と呼ばである考えられ，機械学習を利用したモデル構築がれる．しかしながら，反応速度を予測するサロゲー重要であると考えた．物理化学的なモデルを用いず，トモデル構築の手法はまだ確立されていない．

触媒評価試験データのみから任意の反応条件から反本研究では，NH3合成反応速度を例に，機械学習応速度を返す機械学習モデルが現実のものとなれば，モデルを用いたサロゲートモデルを構築した．機械

触媒評価試験の後に反応器設計に取り組み，触媒の学習モデルとして，いわゆる「全結合型ニューラル構造解析や反応場観察を同時並行で行えると期待できる．また，こうした機器分析の結果を触媒開発にネットワーク」とも呼ばれる多層パーセプトロン（multi-layer perceptron, MLP）またはサポートベクフィードバックさせる必要がない場合は，化学プロターマシン（support vector machine）を適用した．

セスの開発において，速度式の構築さえ不要になる

また，入力データの前処理方法が与える影響，機械と考えられる．

学習モデルの最適なハイパーパラメータについても

本研究室では，工業的に重要であり，近年，水素議論した．

貯蔵媒体や非炭化水素系燃料としての利用が注目されているアンモニア（NH3）の合成反応
1.5𝐻𝐻2 + 0.5𝑁𝑁2 → 𝑁𝑁𝑁𝑁3(1)

２．数理モデルにおけるデータ駆動型の速度論モデルの構築に取り組んでいる 1)~3) ．NH3 合成反応の速度式は，1940年

２．１にTemkinとPyzhevが提案したTemkin-Pyzhev式以降，様々な修正モデルが報告されてきた．Temkinらは，

高 精 度 な NH3 合 成 速 度 論 モ デ ル で あ る HougenWatson式(4)を用いて，触媒反応速度データを合成反応(1)においてN2 分子の吸着が律速段階であるとした．

訓練データの合成の立場で，以下の反応速度式を構築した．
𝑟𝑟 = 𝐾𝐾𝐴𝐴 𝑃𝑃𝑁𝑁2 exp(−𝑔𝑔𝑔𝑔) − 𝐾𝐾𝐷𝐷 exp(ℎ𝜃𝜃)

(2)

𝑟𝑟 =

ただし，rは反応速度，PN2はN2分圧，KA，KD，g，hは定数である．また，θは触媒表面のN2分子の被覆𝜃𝜃 = 𝑓𝑓 −1 ln ��𝑃𝑃2
𝑃𝑃𝐻𝐻22 +𝐶𝐶 𝑁𝑁𝑁𝑁3 +𝐶𝐶 𝑃𝑃 𝑃𝑃
𝐶𝐶1 𝑃𝑃𝑁𝑁2
23 𝐻𝐻2 𝑁𝑁𝑁𝑁3(4)ただしCn （n = 1, 2, 3）は温度T [K]の関数であり，率を表しており，以下の式で与えられる．
2
𝐾𝐾𝐴𝐴 𝑃𝑃𝑁𝑁𝑁𝑁33
𝐾𝐾𝐷𝐷 𝑃𝑃𝐻𝐻2

𝐾𝐾2 𝑃𝑃22
𝑃𝑃𝑁𝑁2 𝑃𝑃𝐻𝐻2− 𝑃𝑃 𝑁𝑁𝑁𝑁3
𝐻𝐻21ln 𝐶𝐶𝑛𝑛 = 𝐴𝐴𝑛𝑛 + 𝐵𝐵𝑛𝑛 � −𝑇𝑇

(3)

1700

� + ln 106(5)

Temkin-Pyzhev式は，定数が圧力依存性を持ち，である．ただし，AnおよびBnは触媒に固有の値である ． 本 研 究 で は ， 7.0 MPa ， GHSV （ Gas Hourly

高NH3分圧では反応速度の予測精度が低いという問Space Velocity）10 000 h-1の条件で，反応器直径21.6

題があった．また，式(2)および(3)から分かるように，PNH3 = 0 の場合は反応速度が無限大に発散してmm，触媒層高2 000 mm，炉壁温度673.15 Kの反応器が生産量500 kg-NH3 day-1を達成するように以下のAnおよびBn値を与えた．

しまうため，ラボスケールの触媒評価試験においてNH3 を含まないH2-N2 混合ガスによる実験の解析に

𝐴𝐴−2
� 1� = ��𝐵𝐵14000は使用できないという問題があった．
その後，Temkin自身によるTemkin-Pyzhev式の修𝐴𝐴
18� 2� = ��𝐵𝐵22500

正や，Ozakiら，Nielsonら他の研究グループによる速度式の報告があり，精緻な速度論モデルが開発さ(6)𝐴𝐴1� 3� = ��𝐵𝐵32500

れてきた．Ferrarisらは，気固触媒反応に広く使用いて，Nielsonらの実験データから以下の速度式が合成した訓練データの範囲は，373.15 ~ 573.15 K，全圧3.0 ~ 7.0 MPa，原料中NH3 モル分率0 ~ 0.1，高い反応速度予測精度を有することを報告している．

PH2/PN2比1 ~ 3とし，450点のデータを合成した．

されている工学モデルであるHougen-Watson式を用

𝑟𝑟 =2𝐾𝐾2𝑒𝑒𝑒𝑒 𝑃𝑃
2
𝑃𝑃𝑁𝑁2 𝑃𝑃𝐻𝐻2− 𝑃𝑃 𝑁𝑁𝑁𝑁3
𝐻𝐻2
22 +𝐶𝐶2 𝑃𝑃𝑁𝑁𝑁𝑁3 +𝐶𝐶 𝑃𝑃 𝑃𝑃
𝐶𝐶1 𝑃𝑃𝑁𝑁2
3 𝐻𝐻2 𝑁𝑁𝑁𝑁3
𝑃𝑃𝐻𝐻2

２．２

機械学習モデル
２．２．１ MLPベース機械学習モデル(4)16

MLPを用いた反応速度予測モデルの開発において，かった．

Hougen-Watson式から合成したデータの組（T, PH3,以上のように，反応速度論モデルにおいて重要なPN2, PNH3）について，各状態量の最大値で規格化し，概念であるArrhenius則を参考とし，データ前処理方入力値とした．また，入力データの組に対応する反法に反映することで，反応速度予測モデルが改善す応速度も，反応速度の最大値で規格化し，出力値とることが分かった．

した．
活性化関数は，恒等関数，ロジスティックシグモイド関数，ランプ関数（ReLU）またはハイパボリックタンジェント関数（tanh）を用いた．隠れ層は1 ~ 3，各隠れ層のノード数は10 ~ 1 000の間で変化させ，グリッドサーチにより，各活性化関数に最適なハイパーパラメータを決定した．
２．２．２ SVMベース機械学習モデル
MLPと同様の訓練データを用いて，SVMによる反応速度予測モデルの開発を行った．SVMのカー
ネル関数は，線形，三角，ガウシアンまたはシグモイドカーネルを用いており，ハイパーパラメータはMLPと同様グリッドサーチを用いて決定した．

３．結果と考察３．１ MLPベース予測モデルの性能
図1(a)に，MLPベース予測モデルによる反応速度予測値と，Hougen-Watsonモデルによる反応速度計算値を示す．ただし，MLPの活性化関数はReLUであり，隠れ層3層とし，各隠れ層は700ノードで構成されている．決定係数R2は0.9801であり，反応速度規格値が0.5以上において，機械学習予測値と速度論モデル計算値の乖離が観察できた．
こうした乖離が高い反応速度で観察できたことから，反応速度が増大する高温条件において，反応温度が反応速度に与える影響を適切に評価できていないと考えた．図1(a)で用いたMLPには，規格化した

図１

MLPモデルベース反応速度予測モデル温度を入力値としている．しかし，一般に速度定数による予測値と速度論モデル計算値

はArrheniusの式

状態量の規格値を入力データとした場合
𝐸𝐸

k = 𝑘𝑘0 exp �− 𝑎𝑎 �(b) Arrhenius則に基づいたデータ

(7)

𝑅𝑅𝑅𝑅

前処理方法を適用した場合に従い，反応速度は温度に対して指数関数的に増加する（ただし，k0は頻度因子，Eaは活性化エネルギ

本研究で対象とした反応系では，各成分の分圧をである）．このことから，(7)式に基づき，温度の逆数T-1およびln rの規格値が，入力変数および出力規格化するだけで，機械学習ベース予測モデルによ変数として最適であると考えた．
温度の逆数T-1およびln rの規格値を入出力変数とり高圧条件で反応を進行させる場合は，各成分のフした場合の反応速度予測値と，速度論モデル計算値あると考えられる．また，同様に，希薄溶液では各り十分高い予測精度が得られた．しかしながら，よガシティを計算し，入力データに反映させる必要が2を図1(b)に示す．決定係数R は0.9937に改善し，高成分のモル濃度の規格値を用い，濃厚溶液では活量温部分における予測値と計算値の乖離も観察されな係数の計算が必要になることも予想できる．
17

図2

隠れ層ノード数に対する決定係数の変化(a)1，(b)2または(c)2，Idengity: 恒等関数，Logistics: ロジスティックシグモイド関数，ランプ関数: ReLU，Hyperbolic tangent: ハイパボリックタンジェント関数

係数も0 ~ 0.25の間でしか変化しない．勾配がゼロ

３．２ MLPベース予測モデルの最適化付近の領域が存在するため，一般にロジスティック予測モデルに用いたMLPのハイパーパラメータは，シグモイド関数を活性化関数に持つMLPが多層化すグリッドサーチにより決定した．図2に示すのは，ることで，重み係数の最適化ができない，いわゆる隠れ層のノード数に対する決定係数の変化である．

勾配消失問題が起きる．図2(c)の結果は，典型的な図2の結果から，高い決定係数を得るためには，隠勾配消失問題の例であると考えられる．
一般に，こうした勾配消失問題は，ReLUを用いれ層が1層の場合，どの活性化関数であっても，1000程度のノード数が必要であることが分かる．隠ることで解決することができる．本研究でも，活性れ層数が2層の場合，ReLUを用いたMLPが最も高い化関数にReLUを用いることで，予測モデルの精度決定係数を示した．また，ロジスティックシグモイが改善できたと考えた．

ド関数は，ノード数300以上において比較的高い決

ハイパボリックタンジェント関数は-1 ~ 1の範囲で変化し，微分係数は0 ~ 1の間で変化する．このた定係数を示したが，ノード数500または1000において学習が完了できなかった．隠れ層数3の場合は，ReLUが最も高い決定係数を示し，ノード数700以上

め，ロジスティックシグモイド関数と同様，勾配消で決定係数0.99を得た．他方でロジスティックシグ様に，勾配消失問題は観察されなかった．微分係数

モイド関数では，どのノード数であっても学習が完の範囲が影響していると考えられるが，本研究では了できなかった．

その理由を明らかにすることはできなかった．

失問題が生じると予想できたが，図2の結果に示すロジスティックシグモイド関数以外の活性化関数数が得られた．このため，隠れ層数3層でロジステ３．３ SVMベース予測モデルの性能SVMにより予測した反応速度と，反応速度予測ィックシグモイド関数を用いたMLPモデルが学習をモデル計算値を，図3に示す．訓練データは，MLP終了できなかった理由として，勾配消失が考えられと同様に式(7)に示したArrhenius則に従ってデータる．ロジスティックシグモイド関数はどのような入力変数であっても，0 ~ 1の間でしか変化せず，微分の前処理を行った．図3の結果から，ガウシアン関を用いた場合，隠れ層数が増加するほど高い決定係数では最も高い決定係数が得られることが分かった．
18図3

モデルベース反応速度予測モデルによる予測値と速度論モデル計算値

Linear: 線形カーネル，Polynominal: 三角カーネル，Radial basis function: ガウス関数，Sigmoid: シグモイド関数

また，この SVM の予測精度は MLP に匹敵するものを取り，入出力変数として用いたところ，MLPモデであった．一方で他のカーネル関数を用いた場合，ルによる予測精度が向上することが分かった．

MLP に匹敵するような高い予測精度は得られない

この様な前処理を施したデータを使いグリッドサことがわかった．

ーチを行ったところ，活性化関数ReLU，隠れ層数3，隠れ層数あたり700ノードのMLPにおいて，もっとも高い予測精度が得られることが分かった．また，

４．結言

シグモイド関数では，隠れ層数3において，どのハイパーパラメータでも学習が完了できないことが分機械学習を用いたNH3合成速度の予測モデルの構かった．これは勾配消失問題によるものだと考えた．

築 に つ い て 検 討 し た ． 機 械 学 習 に は MLP ま た は
SVMを用い，訓練データの合成にHougen-WatsonモNotation
K平衡定数デルを利用した．
SVMを用い，訓練データの合成にHougen-Watson

θ

被覆率 [-]

モデルを利用した．訓練データを規格化してMLPでPi

機械学習を行った場合，高い反応速度において予測Ci成分iの分圧 [Pa]Hougen-Watason式の定数値と速度論モデル計算値の間に乖離が観察できた．

Ai

Ci温度依存性を示すパラメータ

これは，Arrhenius則に示されるような，反応速度がBi

Ci温度依存性を示すパラメータ温度に対して指数関数的に増大する傾向を表現でき

k

速度定数ていないためだと考えた．そこで，Arrhenius則に基k0

前指数項

づき，温度の逆数を取り，また反応速度の自然対数

R

気体定数 8.314 J mol-1 K-1

19T

熱力学温度 [K]謝辞：本研究は山口育英奨学会の令和三年度 学術研究助成事業の一環として行われた．ここに謝意を記す．
参考文献
1) Christensen, C. H., Johannessen, T., Sørensen, R. Z., &Nørskov, J. K. (2006). Towards an ammonia-mediatedhydrogen economy? Catalysis Today, 111(1–2), 140–144.
2) Behling, N., Williams, M. C., & Managi, S. (2015). Fuel cells
and the hydrogen revolution: Analysis of a strategic plan inJapan. Economic Analysis & Policy, 48, 204–221.
3) Aziz, M., Oda, T., & Kashiwagi, T. (2019). Comparison ofliquid hydrogen, methylcyclohexane and ammonia onenergy efficiency and economy. Energy Procedia, 158,4086–4091.
4) Jennings, J. R., Catalytic Ammonia Synthesis: Fundamentals
and Practice, New York, Springer Science+Business Media;
1991(2021. 9. 16 受付)

20