ニューラルネットワークを用いた偏微分方程式導出・求解を支援する
視覚的分析小山田耕二 1)

1) 京都大学 学術情報メディアセンター
koyamada.koji.3w@kyoto-u.ac.jp

Visual analysis to support the derivation and resolution of PDEs
using neural networks
Koji KOYAMADA 1)
1) Academic Center for Computing and Media Studies、 Kyoto Univ.
概要
本稿では、ニューラルネットワーク（NN）を使用した点群データからの高精度偏微分方程式（PDE）の導出と解法をサポートするために、視覚分析（VA）アプローチを提案する。
点群データは、データが定義されている時空間座標と、それらの座標に関連付けられている物理データで構成される。 NN では、時空間座標を入力し、物理データを出力し、点群データを近似する関数を回帰する。これにより、特に方程式を解く場合に、偏微分方程式の残差が損失関数になり、教師データはゼロとなる。また、NN 構造の最適化は重要であるが、自動化が難しく、主に利用者に委ねられている。したがって、点群データから PDE導出・求解を行う際には、NN モデルを自動的に構築するプロセスと並行して、人間の関与の重要性を強調する VA を開発する。 VA では、時空間およびパラメータ空間における高度な視覚化技術と、NN における損失関数の画期的な構築技術から構成される。この方法の有効性を確認するために、専門家による偏微分方程式の導出と解法をサポートするための要件を明確にする。

1ータから知見を得る手段として、偏微分方程式はじめに（PDE）の導出に注目されている。PDE は、多変

本稿では、ニューラルネットワーク（NN）を数関数のさまざまな偏導関数の間に関係を表す方使用した点群データから偏微分方程式（PDE）の程式である。点群データとは、複数の時空間位置導出と解法をサポートするために、視覚分析（VA）で定義された物理量を意味する。たとえば、ナビ手法を提案する。VA では、データからの知見創

エ・ストークス方程式は、粘性流体物質の運動を出において、モデル構築を自動的に行うプロセ記述する特別の偏微分方程式である。この方程式

スと並行して、人間関与の重要性を強調する。

を効率よく解くためには、対象とする流体現象に本研究では、VA の構成要素は、点群データ・おいて、移流効果が無視できるのかどうかを判断可視化・NN モデル・知見創出である（図 1 参して、移流項の省略を行う。この判断のために、照）。

取得された流体データから PDE を導出して、移流項を残すべきかどうかを検討することができる。
有限差分法や有限要素法などの伝統的な手法
では、PDE を数値的に求解する場合、偏微分項の評価には局所的な補間を前提にしていたので、遠方の影響を取り込むのが困難であった。メッシュフリー解法を代表する粒子法においては、偏微分項の評価は、着目する点の影響半径で設定される

現在、さまざまな現象から取得された点群デ146球内部という局所情報を利用する[1]。最近は、任意の連続関数を近似できるという普遍化近似定理[2、3]に基づき、時空間モデルとしてニューラルネットワーク(Neural Network: NN)モデルを利用することが多くなっている（図 2 参照）。NN モデ
ルでは、 偏微分項の評価には大域的な近似を用いることとなる。

ける偏微分項の評価が必要であり、時空間離散データを回帰する NN モデルを構築する。そのNN モデルに対して自動微分を適用して、PDE を構 成 す る 。 こ こ で 、 自 動 微 分 (AutomaticDifferentiation: AD)は、コンピュータープログラムで定義された関数の導関数を評価するための一連の手法を意味する[5]。
自動微分（じどうびぶん、アルゴリズム的微分とも）とは、プログラムで定義された関数を解析し、偏導関数の値を計算するプログラムを導出する技術である。自動微分は複雑なプログラムであっても加減乗除などの基本的な算術演算や基本的な関数（指数関数・対数関数・三角関数など）のような基本的な演算の組み合わせで構成されていることを利用し、これらの演算に対して連鎖律を繰り返し適用することによって実現される。自動微分を用いることで偏導関数値を少ない計算量で自動的に求めることができる。
ここでは、深層学習で広く使用されている完本研究では、NN モデルを使った PDE の導出・全接続型 NN の入力変数の 1 階偏導関数を計算求解に注目する。まず、PDE の導出・求解には、する方法について説明する[2]。図 1 は、完全接与えられた離散点における偏微分項の評価が必要

続型 NN の構造を示す。この NN は、入力層とであり、与えられた離散点データを説明する時空出力層で構成され、入力層と出力層の間に隠れ間モデルとして、NN を採用する[4]。離散点デー層がある。 各層のニューロンは、隣接する層タとして必要なのは。点群だけなので、点間接続を表すデータは不要で、PDE 求解としては、メッシュフリーに分類される。のニューロンに完全に接続されるものとする。
番目の層の 番目のニューロン

は、

NN モデル構築は、損失関数を最小化する NNパラメータ最適化計算である(図 1)。ここで、損番目の層のニューロンに接続される。これは次失関数は、点群データと NN モデルにより回帰さのように表される。

れ た デ ー タ と の 平 均 二 乗 誤 差であり、NN モデル誤差と呼ぶ。ここで、は、PDE の定義される時空間で設定される離散点の数を表す。PDE の導出・求解では、NN モデルにおいて、この離散点で候補となる偏微分項を計算し、この偏微分項から構次の式は、この接続プロセスを目的変数まで再帰的に繰り返すことによって得られる。

成される誤差項をどのような NN モデルにどのように組み込むかが高精度化を実現する上で重要である。

2

自動微分について

ここで、

PDE 導出・求解では、与えられた離散点にお147の重みであり、は、ニューロンとからまでは、それぞれ k 番目の層の活性化関数とニューロンの数を表す。シグモイド関数が活性化関数として使用されると仮定する。

番目の層のバイアスは、と設定することにより、重として計算することもできる。重みのみ総数、バイアスの総数

は、を分解することにより、反復手順を構築する。

は、したがって、によって計算される。
は、の合成関数と見なすことができ、その偏導関数は連鎖律を使用して計算される。連鎖律による偏導関数の分解をこの合成関数に再帰的に適用することにより、入力変数の偏導関数を計算する。この手順では、すべての重み、バイアスを格納する配列をそれぞれの連鎖律に従って分解され、その部分式は中間変数の連鎖律によってさらに分解される。次の式は、この分解と表す。

以下では、出力層の単位の 1 階導関数は中間変数に対する入力層を計算する方法を説明する。

プロセスを中間変数まで再帰的に繰り返すことによって得られる。

は、それぞれ、時空間座標を表し、体的には、は、説明変数 を表す。具とな

3 PDE 導出について
これまで、我々は自動微分を使って、与えらる。
1 階導関数計算では、連鎖律を適用して、れた時空間離散データより PDE 導出を行う研究を行ってきた[4]。この研究では、与えられ148モデルを構築する。ここで PDE 誤差を定義する
ために、PDE を左辺=0 の形式にして、左辺を偏時空間離散データを回帰する NN モデルを構築微分項で構成する。NN モデル構築における最して、そのモデルに対して自動微分を適用して、 適化計算時には、右辺がゼロにならないのでこ偏微分項を計算し、正則化回帰方程式
れを PDE 誤差と定義する。
本研究では、NN モデルを用いた求解手法を(Regularized regression equation: RRE) ・厳密解のある PDE に適用する。このような PDEPDE を構成した。NN モデル構築を損失関数のとして、1 次元非定常移流拡散方程式や 1 次元最小化問題と見なし、損失関数に偏微分項から非定常波動方程式を取り上げ、有限差分法などの伝統的な手法による解析結果との比較を行っ構成される新たな誤差項を加えて、各目的関数た(図 5 参照)。
（誤差）を加算し、単一の目的関数を有する最検証実験で用いた 1 次元非定常移流拡散方程適化問題に変換する（図 3 参照）。
式の形式、特長及び設定した初期条件や境界条損失関数としては、説明モデルと時空間離件やそれに基づいて導いた厳密解については、
散 デ ー タ の 誤 差 ： モ デ ル 誤 差 だ け で な く、
[6]を参照してほしい。今後は、次元数を２や３にした場合、他の PDE の場合、また、ナビアRRE 誤差を統合し、NN モデルを構築する。
ストークス方程式のように複数の PDE から構成
NN モデル構築は、損失関数を最小化する NNされる場合などについて、本手法の有用性を確モデルパラメータを最適化する計算プロセスで
認 す る 予 定 で あ る。 本 手 法 と 同 様 の 提 案 があり、この損失関数を複数の誤差から構成するRaissi らより提案されているが、彼らは、伝手法を提案するものである。ここで、NN モデ統的 PDE 求解手法との比較を行っていない
ルパラメータは、層数、層ごとのニューロン数、 [7]。
た離散点における偏微分項の評価が必要であり、ニューロン間の重み、ニューロン毎のバイアス値から構成される。

5 PDE 導出・求解を支援する VA

4 PDE 求解について
PDE 求解においても、PDE 導出同様、NN モデ
ル構築を損失関数の最小化問題と見なし、損失関数に偏微分項から構成される新たな誤差項を加えて、各目的関数（誤差）を加算し、単一の目的関数を有する最適化問題に変換する。 PDE
求解では、特に、NN モデルにおいて、境界条件において、モデル誤差を定義する。境界上で解が制約される境界条件だけでなく、温度場における熱流束に課される条件のように、解の勾配に境界条件が付される場合がある。この場合は自動微分による勾配計算を行って、誤差が定義される。
次に、この損失関数に PDE 誤差を統合し、NN149

本研究では、これまで述べた自動微分・PDE導出・求解技術から構成される VA を使って、PDE 導出・求解誤差がどのような要因に支配されるのかを明らかにする。具体的には、NN モ
デルパラメータ、偏微分項の候補多様性、点群データ数などから構成される多次元データに対する PDE 導出・求解誤差分布を可視化し、専門家による要因分析を支援する。また、時空間偏微 分 項 に 対 し て 、 Empirical DynamicModeling(EDM)[8]を適用して、構成される多次元時系列データから特定されるシステム状態とその遷移を可視化し、偏微分項に関する本質的な組み合わせの探索を支援する。
5.1

粒子レンダリングを利用した点群データ可ど໬సᡂࡋࡓከḟඖࢹ࣮ࢱࢆ౑ࡗ࡚ࠊPDE ᑟฟ࣭ồࡇࡢ◊✲࡛ࡣࠊ᰾⼥ྜ⅔ෆ࡟࠾ࡅࡿࠊ㟁☢ሙゎㄗᕪࢆ᭱ᑠ໬ࡍࡿࣃ࣓࣮ࣛࢱࢆ࡝ࡢ⛬ᗘṇ☜ࢩ࣑࣮ࣗࣞࢩࣙࣥ⤖ᯝ࠿ࡽ㐺ษ࡞㛤ጞⅬࢆタᐃ࡟ࠊຠ⋡ࡼࡃ᥈⣴࡛ࡁࡿ࠿࡜࠸࠺ほⅬ࡛࣮ࣘࢨࡋ࡚ィ⟬ࡉࢀࡓ☢ຊ⥺ࢆᵓᡂࡍࡿⅬ࡟ὀ┠ࡋ࡚ࠊࢫࢱࢹ࢕ࢆᐇ᪋ࡍࡿࠋ

☢ຊ⥺᮰ࢆⅬ⩌ࢹ࣮ࢱ࡜ぢ࡞ࡍࠋNN ࡑࡋ࡚⫼5.4 VA ᢏ⾡ࢆ౑ࡗࡓ㐺⏝᳨ドᬒ᱁Ꮚࢆ౑ࡗ࡚⢏Ꮚಶᩘᐦᗘࢆィ⟬ࡋࡓ㸰ࡘࡢᅗ 4 ࡟ࠊPDE ᑟฟ࣭ồゎࡢࡓࡵࡢ VA ࢲࢵࢩሙྜ࡟ᑐࡋ࡚ࠊ⢏Ꮚࣞࣥࢲࣜࣥࢢྍど໬⤖ᯝࢆ࣮ࣗ࣎ࢻ౛ࢆ♧ࡍࠋ㸱ࡘࡢ࢘࢕ࣥࢻ࢘࠿ࡽᵓᡂィ⟬᫬㛫࣭⏬㉁ࡢほⅬ࡛ẚ㍑ࡍࡿࠋ

ࡉࢀࠊᕥୖ࡛ࡣࠊᑐ㇟᫬✵㛫ෆ࡛ࡢⅬ⩌ࢹ࣮ࢱ

5.2 NN ࣔࢹࣝࢆ฼⏝ࡋࡓ㧗⢭ᗘ࡞ PDE ᑟฟ࣭ồᩘࡢᣦᐃࠊPDE 㑅ᢥࢆ⾜࠸ࠊPDE ᑟฟࡢሙྜࠊゎ೫ᚤศ㡯ೃ⿵ᩘࢆ㑅ᢥࡉࢀࡓ PDE ࡢఱಸ࡟ࡍࡇࡢ◊✲࡛ࡣࠊᑐ↷ᐇ㦂⏝࡟ࠊLoss ࡟ AD ࡛ࡿ࠿ࢆᣦᐃࡍࡿࠋࡲࡓࠊPDE ồゎࡢሙྜࠊቃ⏺

ᵓᡂࡋࡓㄗᕪࢆຍ⟬ࡋ࡞࠸ᡭἲࢆ㛤Ⓨࡍࡿࠋල᮲௳࡛ᣦᐃࡍࡿ㡿ᇦ࡛ࡢⅬ⩌ࢹ࣮ࢱᩘࡢᣦᐃࢆయⓗ࡟ࡣࠊPDE ᑟฟ࡟࠾࠸࡚ࠊⅬ⩌ࢹ࣮ࢱ࠿ࡽ⾜࠺ࠋ೫ᚤศ㡯ೃ⿵࡟ࡘ࠸࡚ࠊEDM ࢆ౑ࡗ࡚NN ࣔࢹࣝᵓ⠏ࡢࡳࢆ⾜࠸ࠊࡑࡢḟ࡟ࠊRRE ࡢィ⟬ࡋࡓ࢔ࢺࣛࢡࢱࢆ஧ḟඖᖹ㠃࡛ྍど໬ࡍࡿࠋ᭱㐺໬ࢆ⾜࠺ᡭἲ࡛࠶ࡿࠋࡇࡢ㸰ࡘࡢᡭἲ࡟࠾

ྑୖ࡛ࡣࠊNN ࣔࢹࣝࣃ࣓࣮ࣛࢱ࡟ࡘ࠸࡚ࡢ᝟࠸࡚ࠊཝᐦゎࢆࡶࡘ PDE ࡟ᑐࡋ࡚ࠊྠࡌⅬ⩌ሗࢆᣦᐃࡍࡿࠋලయⓗ࡟ࡣࠊNN ࡢᒙᩘࡢ⠊ᅖࠊࢹ࣮ࢱࢆ⏕ᡂࡋ࡚ PDE ࢆᑟฟࡋࠊࡑࡢ PDE ᑟྛᒙ࡟࠾ࡅࡿࢽ࣮ࣗࣟࣥᩘࡢ⠊ᅖࠊLoss ࡟㏣ຍฟㄗᕪࢆẚ㍑ࡍࡿࠋ
5.3 ࣃ࣓࣮ࣛࢱ✵㛫࡟࠾ࡅࡿ NN ࣔࢹࣝྍど໬ᢏ⾡ࡇࡢ◊✲࡛ࡣࠊᖹ⾜ᗙᶆࡸḟඖᅽ⦰➼࡟ࡼࡿከḟඖࢹ࣮ࢱྍど໬ᢏ⾡ࢆ㛤ⓎࡋࠊPDE ᑟฟ࣭ồゎㄗᕪࢆ᭱ᑠ໬ࡍࡿࣃ࣓࣮ࣛࢱ᥈⣴ࡢほⅬ࡛ࡢ᭷⏝ᛶࡢホ౯ࢆ⾜࠺ࠋලయⓗ࡟ࡣࠊពᅗⓗ࡟150

ࡍࡿ RRE/PDE ㄗᕪ࡬ࡢ㔜ࡳȞࢆᣦᐃࡍࡿࠋᐇ⾜࣎ࢱࣥࢆᢲࡍ࡜ࡇࡢ᮲௳ࢆྵࡴ python ࢥ࣮ࢻࡀィ⟬ࢧ࣮ࣂୖ࡛ᐇ⾜ࡉࢀࠊୗࡢ࢘࢕ࣥࢻ࡛࢘ࠊィ⟬⤖ᯝ(LossࠊPDE ᑟฟ࣭ồゎㄗᕪ࡞࡝)ࢆྍ
ど໬ࡍࡿࠋྍど໬ࡣࠊ᫬✵㛫࣭ࣃ࣓࣮ࣛࢱ✵㛫で行う。このダッシュボードを専門家に利用してもらい、以下の観点で評価する予定である。
1. 時空間において、点群データと構築されたNNモデルがどの程度一致しているか明らかにできるか。（5.1、5.2）
2. PDEを構成する偏微分項候補・境界条件多様性がPDE導出誤差にどのような影響を与えるか。(5.3)
3. NNモデルパラメータ・点群データ数がLoss、PDE導出・求解誤差にどのような影響を与えるか(5.3)

たとえば、図4右下では、”出力層に向かってニューロン数減少”パターンがLossを小さくすることがわかる。
4. PDE求解誤差について、硬いPDEを使って、特に局所補間と大域近似に関して、伝統的手法と比較する。(5.4) たとえば、図4左下では、粒子レンダリングを使って比較結果を確認できることを示す。
5. PDEを構成する偏微分項とそうでない項との違いをEDMにより明らかにできるか。

6 おわりに本研究では，NNモデルを使ったPDEの導出・求解に注目し、PDE導出・求解誤差がどのような要因に支配されるのかを明らかにするための視覚的分析の要件について述べた。今後は、視覚的分析システムのプロトタイプを開発し、これを専門家に利用してもらい、そのフィードバックを得て、システムの改善に役立てる予定である。

参考文献[1] 室谷他、 “流体シミュレーションにおける粒子法：MPS 法と LSMPS 法の数値解析精度の比較”、 応用数理、 26/2、2016[2] G.
Cybenko 、"Approximations
bysuperpositions of sigmoidal functions" 、Mathematics of Control 、 Signals 、 andSystems 、2(1989) 、303 – 314.
doi:10.1007/BF0255127[3] Liang and R. Srikant、 "WHY DEEP NEURALNETWORKSFORFUNCTION
APPROXIMATION?、" ICLR2017

151[4] K. Koyamada、 et al.、 "Data-driven derivationof partial differential equations using neuralnetwork model 、 " International Journal of
Modeling 、 Simulation 、 and Scientific
Computing、 Vol.12、 No.02、 2021
[5] 自動微分
Wikipedia、
https://ja.wikipedia.org/wiki/%E8%87%AA%E5%8B%95%E5%BE%AE%E5%88%86[6] Convection–diffusion
equation、
https://en.wikipedia.org/wiki/Convection%E2%80%93diffusion_equation[7] M. Raissi、 et al.、 "Physics-informed neuralnetworks: A deep learning framework for solving
forward and inverse problems involving nonlinear
partial differential equations 、 " Journal ofComputational Physics 378 (2019) 686–707[8] Hiroaki Natsukawa、 Ethan R. Deyle、 Gerald
M. Pao 、Koji Koyamada 、George
Sugihara:”A Visual Analytics Approach forEcosystem Dynamics based on Empirical
Dynamic Modeling.” IEEE Trans. Vis. Comput.
Graph. 27(2): 506-516 (2021)