第38回情報計測オンラインセミナー
日時: 2023年5月27日10:30-11:50(JST)

解釈可能AIによるデータ駆動理学の実現へ向けた取り組み
研究室HP：
https://mototakelab.github.io/
最新版スライド：https://mototakelab.github.io/slides/measurement-informatics-seminar.pdf
一橋大学大学院

ソーシャル・データサイエンス研究科
准教授 本武 陽一

1. 自己紹介
2. 解釈可能AIとデータ駆動理学
3. DNN型アプローチによるデータ駆動理学の実現
4. 基底関数型アプローチによるデータ駆動理学の実現
5. まとめと今後の展望

自己紹介

3

福岡県福岡市出身
学歴：
2008/3 東北大学 理学部 物理学科卒業
2010/3 北海道大学 大学院理学院

宇宙理学専攻修士課程修了 指導教官：石川健三 教授（素粒子物理学、テーマ：波束のダイナミクス）
2013/3 東京大学 大学院総合文化研究科 広域科学専攻
修士課程修了 指導教官：植田一博 教授（認知科学、テーマ：脳活動を用いたHAI評価）
2016/3 東京大学 大学院総合文化研究科 広域科学専攻
博士課程修了 指導教官：池上高志 教授（複雑系、テーマ：深層学習、群れ）
職歴：
2016/5 〜 2019/3 東京大学 大学院新領域創成科学研究科

複雑理工学専攻

特任研究員 （岡田真人教授、テーマ：データ駆動科学）
2019/4 〜

統計数理研究所

特任助教
2023/1〜

統計的機械学習研究センター（福水健次教授、テーマ：統計的機械学習）

一橋大学大学院ソーシャルデータサイエンス研究科

准教授（テーマ：データ駆動理学、解釈可能AI、機械学習）「解釈可能AIによるパターンダイナミクスの数理構造抽出と材料情報学への応用」研究代表「革新的セラミックス材料設計のための材料パターン情報学の創成」業務管理者（研究代表）

研究室の紹介4

研究室の紹介5

研究室の紹介+ 修士課程学生

6１名

1. 自己紹介
2. 解釈可能AIとデータ駆動理学
3. DNN型アプローチによるデータ駆動理学の実現
4. 基底関数型アプローチによるデータ駆動理学の実現
5. まとめと今後の展望

データ駆動理学

8

科学（理学）における抽象化と外挿性の威力

現象

武谷三段階論 [武谷 1942, 1966]

実体論

本質論

現象の内挿的モデル化と予測抽象化による大胆な外挿現象のモデル化

気体の分子運動論

一般原理の抽出

エントロピー増大則

dS = dQ/T

蒸気機関

科学的洞察
現象の予測
化学反応速度論

化学産業

原理の転移

化学ポテンシャルμ = ∂F/∂N

Willard Gibbs

データ駆動理学

9

解釈可能AIによる科学ループの実現＝データ駆動理学

現象
大同特殊鋼 HPより

武谷三段階論 [武谷 1942, 1966]

機械学習が得意

人間が得意

実体論

本質論

現象の内挿的モデル化と予測抽象化による大胆な外挿現象のモデル化

一般原理の抽出

磁区構造形成過程

パターン - 磁性特性

磁性材料

解釈可能AI
原理の転移

パターン - 強化機構
NEDO Project Success Story

現象の予測
結晶粒形成過程

http://www.numse.nagoya-u.ac.jp/
P6/kobashi/img/ﬁle20.pdf

構造材料

データ駆動理学

10

データ駆動理学による実験計測の対応づけ

現象

機械学習が得意

人間が得意

実体論

本質論

現象の内挿的モデル化と予測抽象化による大胆な外挿現象のモデル化

一般原理の抽出

磁区構造形成過程

パターン - 磁性特性

数値計算
現実と厳密には一致しない解釈可能AI原理の適用目標とする磁性特性の
実現方法

実験・計測
少数データ

解釈性をどう定義するか？

11

解釈性は絶対的に定義できるものか？
https://www.magnetics.jp/event/topical̲236/

フーリエスペクトルの構造を”解釈できる”のは、計算機のない頃から計測によってスペクトルが観察できたため、元の空間での構造とスペクトルの間の対応関係を
経験的・体験的に会得した結果ではないか？

誰にとっての解釈か？

[Arrieta, Alejandro Barredo, et al., Information fusion, 58, 2020.]▶「解釈性」を一般に定義することは難しい。まずは「解釈」が実現されるプロセスを観測する。

解釈可能AIの体系[Arrieta, Alejandro Barredo, et al., Information fusion, 58, 2020.][Love, Peter ED, et al., arXiv:2211.06579 2022]▶ブラックボックスモデルとホワイトボックスモデルで大別されたアプローチがある12

データ駆動理学における解釈可能AIの体系 13
機械学習による解釈可能AI構築アプローチ
複雑現象

深層ニューラルネット(DNN)型アプローチ
課題：解釈性が低い

ダイナミクス

DNNからの解釈可能な物理情報抽出[Brunton, Steven L.. 2019]

解釈可能な高性能モデル

ベイズ推論

基底関数型アプローチ
課題：表現力が低い

位相的データ分析に基づく
縮約モデル構築[Steven L. Brunton et al., PNAS, 2016]

表現力 解釈性1. 自己紹介
2. 解釈可能AIとデータ駆動理学
3. DNN型アプローチによるデータ駆動理学の実現
4. 基底関数型アプローチによるデータ駆動理学の実現
5. まとめと今後の展望

データ駆動理学における解釈可能AIの体系 15
機械学習による解釈可能AI構築アプローチ
複雑現象

深層ニューラルネット(DNN)型アプローチ
課題：解釈性が低い

ダイナミクス

DNNからの解釈可能な物理情報抽出[Brunton, Steven L.. 2019]

解釈可能な高性能モデル

ベイズ推論

基底関数型アプローチ
課題：表現力が低い

位相的データ分析に基づく
縮約モデル構築[Steven L. Brunton et al., PNAS, 2016]

表現力 解釈性DNN（ブラックス）型アプローチにおける解釈可能AI 16[R. R. Selvaraju et al., IEEE ICCV, 618‒626, 2017][Arrieta, Alejandro Barredo, et al., Information fusion, 58, 2020.]▶理学では最終的には初等関数の組み合わせで法則を表現したい？

DNN（ブラックス）型アプローチにおける解釈可能AI 17[Cranmer, Miles, et al., Neurips2020]○記号回帰によるDNNのsimpliﬁcation

e4

4

e3 e

e1

e5

6

3

1

e2

相互作用

si = (m1, v1, r1, q1, …)(s1, s2)2(s2, s3)
=

e1

e2

力

(s1, ∑ ek)
・・・

v′1

DNN（ブラックス）型アプローチにおける解釈可能AI 18
遺伝的プログラミング○記号回帰によるDNNのsimpliﬁcation

r

v

r
2.2 −
+ (7.0 * cos(v))
(
)
11 )
(
[Wikipedia を元に改編][伊庭研究室 HP

より][Koza, John R., Statistics and computing 4.2 (1994): 87-112.]

DNN（ブラックス）型アプローチにおける解釈可能AI 19○記号回帰によるDNNのsimpliﬁcation[Cranmer, Miles, et al., Neurips2020]

Dark matterが集まったHaloを粒子とみなして、
その質量、相互距離、速度とHaloの中心密度（に関連する以下の量）の関係則を知りたい▶現象をより良く表す新法則を発見

物理学において機械学習モデルを理解する手順

20[step1] 有限のデータ・精度で物理モデルを帰納的に推定した場合に、物理モデルが一意に定まるか（不定性がどの程度あるか）の確認
例：視野角ありの相互作用
M?

F

F

F

左端粒子のみ大質量 or 視野ありの引力相互作用？
[https://www.wallacelages.com/boids.html][step2] 有限データで学習した機械学習モデルから物理的に妥当な情報を抽出するために、解釈手法に事前知識を導入する
例：値域あり

x

y

DNN

x

y

【物理的制約：y > 0】
線形：y = ax + b
1
シグモイド関数：y =1 + exp−(ax+b)[step3] 解釈手法を計測装置だと考えて解釈手法のハイパーパラメー
ターなどを探索しながら知識抽出
例：後ほど、事例紹介で説明します事例紹介
力学系の対称性・保存則の抽出
力学系
力学系
DNN
DNN
（Model simplification）

時系列データ時系列データブラックボックス
ブラックボックス

動画像データからのポテンシャル関数抽出(Local explanations)

学習
学習

物性値
物性値
力学特性
力学特性
次元縮約
次元縮約

学習済みDNN
学習済みDNN
抽出
抽出

相図
相図

【群構造（対称性）】【群構造（対称性）】

エミュレータエミュレータ変換[Y. Mototake, Phys. Rev. 変換
E 103, 2021][S. Tsuji, Y. Mototake, et al., in prep]

解釈・活用可能な物理情報
解釈・活用可能な物理情報
保存則
保存則

21

秩序変数
転移可能知識
秩序変数
転移可能知識材料パターン画像からの力学特性値の推定(Explanation by example)[Y. Mototake, K. Ito, M. Demura, 2022]

事例紹介

Interpretable conservation law estimation
by deriving the symmetries of dynamics
from trained deep neural networks

Yoh-ichi Mototake1
1The Institute of Statistical Mathematics

Phys. Rev. E, 103, 033303, (2021)

22

研究の背景23

非周期的秩序構造を持つ集団運動

群れ現象 磁区構造 高分子構造 交通流
科学者の洞察+ ベイズ推論による縮約

縮約モデル構築
プロセス

縮約モデル

科学者の洞察+ データ多様体の
対称性評価

縮約座標系

大自由度群れ行動縮約モデル

古典的座標系：フーリエ基底 etc

ドメインパターン形成モデル

トポロジカルな特徴量空間

研究の背景24●集団運動が完全に他の運動と分離されている場合に有効な枠組み [澤田 80]

秩序構造を持つ集団運動
液体・固体の音波や熱伝導，重原子核の表面振動 etc.
プラズマ振動

科学者の洞察渦運動

正準力学系としての縮約モデル構築

科学者の洞察[Tomonaga Prog. of Theo. Phys. 1955][Saﬀman, Vortex Dynamics 1992]

正準運動方程式

正準座標系

集団運動モデル

集団座標系（フーリエ基底等）

渦運動モデル

渦の特徴量空間研究の背景25●基底関数の結合によってハミルトニアンを構築▶基底関数が未知の場合には対応が難しい[Michael Schmidt1, and Hod Lipson, Science 2009]

研究の背景●ハミルトニアン系の制約を導入したDNN[G. Samuel, M. Dzamba, and J. Yosinski, NeurIPS 2019]26

研究の背景27●深層学習による縮約モデルの構築

動画像データからのポテンシャル関数抽出[S. Tsuji, Y. Mototake, et al., in prep][G. Samuel, M. Dzamba, and J. Yosinski, NeurIPS 2019]▶ハミルトニアンは基本的にブラックボックス

研究の背景28

非周期的秩序構造を持つ集団運動

群れ現象 磁区構造 高分子構造 交通流
科学者の洞察+ ベイズ推論による縮約

縮約モデル構築プロセス

科学者の洞察+ データ多様体の
対称性評価

縮約座標系

縮約モデル
大自由度群れ行動縮約モデル

古典的座標系：フーリエ基底 etc

ドメインパターン形成モデル

トポロジカルな特徴量空間

ブラックボックスのハミルトニアン推定

研究の目的29

非周期的秩序構造を持つ集団運動

群れ現象 磁区構造 高分子構造 交通流
科学者の洞察+ ベイズ推論による縮約

縮約モデル構築
プロセス

縮約モデル

科学者の洞察+ データ多様体の
対称性評価

縮約座標系

大自由度群れ行動縮約モデル

古典的座標系：フーリエ基底 etc

ドメインパターン形成モデル

トポロジカルな特徴量空間

目的：縮約座標系を探索する物理学者に，その座標系を評価できる情報を提示する

研究の目的

力学系を学習済みのDNNから、DNNがモデル化した物理モデル（座標系+ハミルトニアン）における保存推定を試みる

30

研究のアウトライン

31
31[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]▶提案するフレームワークの目的は、ディープラーニングで物理データを解析することではなく、学習したDNNから解釈可能な物理情報を抽出することである。
▶提案するフレームワークは、Noetherの定理と効率的なサンプリング手法
により、学習済みDNNからダイナミクスの対称性を抽出することで、保存則を推論するものです。
▶提案する枠組みは、時系列データセットの多様体構造とNoetherの定理の必要条件との関係を導き出すことによって開発したものである。
同時期に類似研究がいくつか出版（その前に出版でき引用してもらえました）：[Ziming Liu and Max Tegmark, Phys. Rev. Lett. 126 180604 (2021)][Seungwoong Ha and Hawoong Jeong, Phys. Rev. Research 3 L042035 (2021)][Han Zhang, Huawei Fan, Liang Wang, and Xingang Wang, Phys. Rev. E 104 024205 (2021)]

提案手法の説明のながれ

32

前提確認 （[step1]に対応）

1. ネーターの定理と時系列データ多様体の関係を検討
2. DNNによるデータ多様体のモデル化について検討

手法

3. DNNから系の対称性を抽出する手法の説明
4. 抽出された対称性から保存則を推定する手法の説明[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

提案手法の説明のながれ

33

前提情報 （[step1]に対応）

1. ネーターの定理と時系列データ多様体の関係を検討
2. DNNによるデータ多様体のモデル化について検討

手法

3. DNNから系の対称性を抽出する手法の説明
4. 抽出された対称性から保存則を推定する手法の説明[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

ネーターの定理

34

ネーターの定理：
ハミルトン系の持つ連続対称性と保存則を結びつける定理 [Noether 1918]．

∂H(q, p)∂H(q, p)·
= − pi,= q·i が，
ハミルトニアンH(q, p)と正準運動方程式∂qi∂pi
無限小変換(q′i , p′i ) = (qi + δqij, pi + δpij)に対して不変であるとすると，保存量Gjとの間に以下の関係式が成立する．

(δqij, δpij) =

∂Gj

( ∂pi

,−

∂Gj

∂qi )

[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

時系列データとネーターの定理

35

本研究における力学系時系列データの定義
D := {qtii, ptii, qtii+Δt, ptii+Δt}N
i=1(qt+Δt, pt+Δt)(qt, pt)[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

時系列データとネーターの定理

36

ハミルトン系の対称性
ハミルトニアンの不変性：H′(q, p) ≡ H(q, p)H′(Q, P) := H (q(Q, P), p(Q, P))
正準運動方程式：

qT+ΔT =

∂H(qT , pT )pT+ΔT = −∂pT

ΔT + qT∂H(qT , pT )
∂qT

の不変性

ΔT + pT

D := {qtii, ptii, qtii+Δt, ptii+Δt}N
i=1

力学系時系列データ多様体の対称性
∀E,

=

{

{

qt+Δt, pt+Δt, qt, pt∂H(qt, pt)∂H(qt, pt)
H(qt, pt) = E, pt+Δt = pt −, qt+Δt = qt +
∂qt
∂pt }

QT+ΔT , PT+ΔT , QT , PT

∂H(qt, pt)∂H(qt, pt)
H(qt, pt) = E, pt+Δt = pt −, qt+Δt = qt +
∂qt
∂pt }
[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

時系列データとネーターの定理

37

問題の困難さの緩和：全エネルギーという条件の緩和∀E,=

qt+Δt, pt+Δt, qt, pt{∂H(qt, pt )∂H(qt, pt )H(qt, pt ) = E, pt+Δt = pt −, qt+Δt = qt +
∂qt
∂pt }

QT+ΔT , PT+ΔT , QT , PT{

∂H(qt, pt )∂H(qt, pt )H(qt, pt ) = E, pt+Δt = pt −, qt+Δt = qt +
∂qt
∂pt }

あるエネルギーで等式が成り立つ条件が必要条件

Si :=

{

qt+Δt, pt+Δt, qt, pt∂H(qt, pt)∂H(qt, pt)
H(qt, pt) = Ei, pt+Δt = pt −, qt+Δt = qt +
∂qt
∂pt }

▶ある特定エネルギーEiでの時系列データ多様体Siの対称性を調べることが目標になった！！
[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

深層ニューラルネットと多様体仮説 38
ニューラルネットとデータ多様体
h = (h1, h2, ⋯, hdh)
φ(w in x) = (φ1, φ2, ⋯, φdh), φj = φ

h1
din

[∑
i

h2

]

wij

in
w
( ij xi)x2x1

活性化関数：φ(x)x3(w12, w22, w32)x2
▶ニューラルネットは，区分的な超平面の張り合わせで多様体をモデル化可能．

x3(w11, w21, w31)
x1

[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

ここまでのまとめ

39• 時系列データ多様体Siの座標変換に対する対称性をみることで，保存則がわかる．
Si :={qt+Δt, pt+Δt, qt, pt∂H(qt, pt)∂H(qt, pt)
H(qt, pt) = Ei, pt+Δt = pt −, qt+Δt = qt +
∂qt
∂pt }

• DNNは多様体を超平面の貼り合わせのような形で表現できる．

▶学習済みDNNはSiをモデル化している？
[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

提案手法の説明のながれ

40

前提確認 （[step1]に対応）

1. ネーターの定理と時系列データ多様体の関係を検討
2. DNNによるデータ多様体のモデル化について検討

手法

3. DNNから系の対称性を抽出する手法の説明
4. 抽出された対称性から保存則を推定する手法の説明[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

手法1：対称変換の抽出

41

1 N
2
Esamp[X( ⋅ )] =X(xi) − fDNN[X(xi)]}
{
N∑
i=1

Q( ⋅ , ⋅ ), P( ⋅ , ⋅ ) arg min Esamp [Q( ⋅ , ⋅ ), P( ⋅ , ⋅ )]Q(⋅,⋅),P(⋅,⋅)

を満たす変換Q( ⋅ , ⋅ ), P( ⋅ , ⋅ )の集合として対称変換の集合が得られる
サンプリング問題に置き換え
1N
P (Q( ⋅ , ⋅ ), P( ⋅ , ⋅ )) ∼ exp − 2 Esamp [Q( ⋅ , ⋅ ), P( ⋅ , ⋅ )]{ 2σ}
Z
[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

手法1：対称変換の抽出

42

1 N
2
Esamp[X( ⋅ )] =X(xi) − fDNN[X(xi)]}
{
N∑
i=1

1
N
P (Q( ⋅ , ⋅ ), P( ⋅ , ⋅ )) ∼ exp − 2 Esamp [Q( ⋅ , ⋅ ), P( ⋅ , ⋅ )]
{ 2σ
}
Z
a11
q
A ( p) + A0 = ⋮
ad1

…
⋱
…

a01
a1d
q
⋮ ( p) + ⋮adda0d

変換 Q( ⋅ , ⋅ ), P( ⋅ , ⋅ ) を，線形変換(Q, P)t = A(q, p)tに限定して考える．

1
N
P(a01, ⋯, a11, ⋯, a2d 2d ) = exp − 2 Esamp(a01, ⋯, a11, ⋯, a2d 2d )
[ 2σ
]
Z

[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

手法1：対称変換の抽出

43●ベイズ推論的枠組みによる変換の探索範囲の制約
1
N
P(a01, a02, a11, ⋯, a2d 2d ) = exp − 2 Esamp(a01, a02, a11, ⋯, a2d 2d )
[ 2σ
]
Z
a11
Ax + A0 = ⋮
ad1

…
⋱
…

a01
a1d
⋮ x+ ⋮
adda0d

物理的な制約条件・事前知識 （[step2]に対応）

1
N
P(a01, a02, a11, ⋯, a2d 2d ) = exp − 2 Esamp(a01, a02, a11, ⋯, a2d 2d ) × q(a01, ⋯, a2d 2d )[ 2σ]Zconst .
q(a01, ⋯, a2d 2d ) =
{ 0

for
for

detA = 1
detA ≠ 1▶リウビルの定理（体積保存則）[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

手法1：対称変換の抽出

441NP(a11, a12, a21, ⋯, a2d 2d ) = exp − 2 Esamp(a11, a12, a21, ⋯, a2d 2d )
[ 2σ
]
Z

●交換モンテカルロ法 [Hukushima and Nemoto 1995]
1
N
P(A ) = exp −β 2 Esamp(A l)
[ 2σ
]
Z
l

以下の同時分布からMCMCサンプリング

P(A 1, A 2⋯A L) =L∏

P(A l)

l−1[永田 and 岡田 15][Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

手法1：対称変換の抽出

451NP(a11, a12, a21, ⋯, a2d 2d ) = exp − 2 Esamp(a11, a12, a21, ⋯, a2d 2d )
[ 2σ
]
Z

●交換モンテカルロ法 [Hukushima and Nemoto 1995]（[step3]に対応）[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

手法1：対称変換の抽出

46[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

手法２：無限小変換の推定

47

対称な変換の集合 Da := {(a01, a02⋯, a0 2d, a11⋯, a2d 2d )na}Nn a=1a∂Q (q, p, θ)(δqij, δpij ) = ε i∂θjθ= 0 ⃗∂P (q, p, θ)
,ε i
∂θj

無限小変換

θ= 0 ⃗q
Minvariant ∼ A(θ)( p) + A0(θ) θ ∈ ℝdθ{}
リー群のなす多様体の接空間 TI Minvariant[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

手法２：無限小変換の推定

48

対称変換の集合
Da := {(a01, a02⋯, a0 2d, a11⋯, a2d 2d )na}Nn a=1
aA′(θ) = (a′1(θ), ⋯, a′d′(θ)) := (a01(θ), ⋯, a0d(θ), a11(θ), ⋯, a1d(θ), ⋯, ad1(θ), ⋯, a2d 2d(θ))

f1(a′1, ⋯, a′d′) = 0⋮
fd′−dθ(a′1, ⋯, a′d′) = 0

リー群のなす多様体の陰関数表示
aij の一部を変換のパタメータ θ とする➡

陰関数定理より∂fk(a′1, ⋯, a′d′)
ただし，Jkl =∂blが正則であるとする．

(b1, b2, ⋯, bdθ ) ⊂ A′ ,−dθdθ{ck}d′
:=
A′
∖{b
}
,
l
k=1
l=1

ck = gi(b1, ⋯, bdθ )h1(c1, b1, ⋯, bdθ) = 0⋮
hd′−dθ(cd′−dθ, b1, ⋯, bdθ) = 0[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

手法２：無限小変換の推定

49bをθのかわりの連続パラメータと考えて，無限小変換を推定
∂
|
h
(c
,
b
,
⋯,
b
)
=
0
1
1
1
d
A′
=e
θ
∂bl
I

⋮

∂
|
h
(c
,
b
,
⋯,
b
)
=
0
d′
−d
d′
−d
1
d
A′
=e
θ
θ
θ
∂bl
I

δql
A(bl)
=ε
(δpl)
∂bl

∂a1 1

A=I

A0(bl)q( p) + ε ∂b
l

=ε
A0=0

|A=I

⋯

⋮

⋱

|
∂b A=I

⋯

∂bl

∂a1 d
l

∂ad 1
∂bl

|A=I

⋮

∂ad d

|
∂b A=Il∂a0 1q( p) + ε

∂bl

⋮

∂a0 d
∂bl

|A=I
|A=I

[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

手法２：無限小変換の推定50

サンプリング結果 Db ≡ {(ck, b1, b2, ⋯, bd′θ)na}Nn a=1 を，aĥ k(ck, b1, b2, ⋯, bd′θ; β, γ, d′θ) :=

db

db

∑∑

s0=0 s1=0

⋯

db

∑

s′

sd′ =0γs0s1s2⋯sd′ βs0s1s2⋯sd′ cks0b1s1b2s2⋯bd′dθ = 0
θ

θ

θ

θ

で直交距離回帰して，多様体の陰関数表示を得る．
h1(c1, b1, ⋯, bdθ) = 0⋮
hd′−dθ(cd′−dθ, b1, ⋯, bdθ) = 0
ここで， β は回帰係数, γ は基底選択を表現するバイナリベクトルとする．
γ はベイズ情報量基準（BIC）で決定する．

（[step3]に対応）[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

手法２：無限小変換の推定

51[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

提案手法のまとめ

52[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

結果

53

モデル

[Couzin et.al 2002][Mototake et.al 2015][Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

結果

54

モデル

座標系
RT
D = {q̃(ti)i, p̃(ti)i, q̃(ti + Δt)i, p̃(ti + Δt)i}Ni=1(q̃, p̃) = (q1 − q̄1, q2 − q̄2, p1 − p̄1, p2 − p̄2)
変換行列
a11
1.0 a2100
1.0 a12
a22
0
0
0
0
a22
−1.0 a1200−1.0 a21
a11

a01
q1
a02
q2
p1 + 0.167 a02
p2−0.161 a01[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

結果

55

サンプリング結果
陰関数の回帰結果
22
1.01 a11+ 1.01 a21− 0.01 a11 + 0.00 a21 + 0.00 a11a21 = 1.00
22
1.01 a11+ 1.00 a12− 0.01 a11 = 0.99
1.00 a11 − 1.00 a22 + 0.00 a22 = 0
1.00 a21 − 1.00 a12 = 0

2
21.00 a21+ 1.00 a22− 0.01 a22 = 0.99

22
1.02 a12+ 1.00 a22− 0.01 a12a22 = 1.00

無限小変換の推定結果∂a11

δq = ε

∂a21
∂a12

∂a21
∂a11

δp = ε

∂a21
∂a12

∂a21

∂a21

∂a21

q+ε

∂a21
∂a02

∂a21

∂a21

∂a21

∂a01

∂a21

∂a21
∂a21

−1.01 × 2a21

∂a01

∂a21

p+ε

∂a21
∂a02

∂a21

=ε

=

1.01 × 2a11 − 0.01
−1.00
1.00

0 ε
p
(−ε 0)

A′=eI

1
q =

−1.00 × 2a21A′=eI1.00 × 2a22 + 0.01

0 εq(−ε 0)

A′=eI

先行研究 [Couzin et.al 2002]
で示された結果と一致➡

保存則
Gδ = ε(x1 p2 − x2 p1)[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

議論：非線形変換に対する対称性 56• 原理的には非線形変換にも適用可能.
δql
A(bl)
=ε
(δpl)
∂bl

∂a1 1

A=I

A0(bl)q( p) + ε ∂b
l

=ε
A0=0

∂bl

|A=I

⋯

⋮

⋱

|A=I

⋯

∂a1 d
∂bl

∂ad 1
∂bl

⋮

∂ad d
∂bl

|A=I
|A=I

∂a0 1

q
( p) + ε

∂bl

⋮

∂a0 d
∂bl

|A=I
|A=I

▶いかに変換関数Q,Pを適切に設定できるかが重要[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

議論：非線形変換に対する対称性 57
未知の保存量・対称性，あるいは推定が困難とされる保存量・対称性の推定を実現．
ルンゲ・レンツベクトル

準結晶(q1, q2, q3, p1, p2, p3) → (q̃1, q̃2, q̃3, q̃4, p̃1, p̃2, p̃3, p̃4)

[A. Koga and H. Tsunetsugu, Phys. Rev. B 96, (2017) 214402.]▶高次元に射影した空間上で対称性を持つ一群の系がある。

[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

議論：非線形変換に対する対称性 58
逆二乗則に従う中心力系：
p2
k
H=
+
, k : const .
2m | r |ルンゲレンツベクトルq
A = p × L − mk
|q|
L=q×p
SO(4)のリー代数

以下のような8次元の位相空間への非線形写像によって、幾何学的により明瞭な空間での理論を構築する(q1, q2, q3, p1, p2, p3) → (q̃1, q̃2, q̃3, q̃4, p̃1, p̃2, p̃3, p̃4)

3{Li, Lj} =ϵ L∑ ijk k{Di, Lj} =ϵ D∑ ijk k{Di, Dj} =∑D=

ルンゲレンツベクトルの幾何学的理解

k=1
3

k=1
3

k=1

[H. H. Rogers, J. Math. Phys. 14, 1125 (1973)]

ϵijk Lk

A−2mH[Y. Mototake, Phys. Rev. E, 103, 033303, 2021]

議論：非線形変換に対する対称性 59
ルンゲレンツベクトルとデータ多様体：
p2
k
H=
+
, k : const .
2m | r |q = (q1, q2), p = (p1, p2)
Si :=

{

qt+Δt, pt+Δt, qt, pt

H(qt, pt ) = Ei, pt+Δt = pt −∂H(qt, pt )∂H(qt, pt ), qt+Δt = qt +
∂qt
∂pt }

(q1, q2, q3, p1, p2, p3) → (q̃1, q̃2, q̃3, q̃4, p̃1, p̃2, p̃3, p̃4)

[H. H. Rogers, J. Math. Phys. 14, 1125 (1973)](q1, q2, p1, p2)変換(q̃1, q̃2, q̃3, p̃1, p̃2, p̃3)

[Y. Mototake, April 2022 Meeting, 2022]

議論：非線形変換に対する対称性 60抽出された対称性

q˜3

q˜1
Q̃1
Q̃2
Q̃3
P̃1
P̃2

P̃3)

q˜2

p˜3

p˜2

p˜1

a11, a12, 0 , 0 , 0 , 0a21, a22, 0 , 0 , 0 , 0
0 , 0 , 1 , 0 , 0 , 0=
0 , 0 , 0 , a11, a12, 0
0 , 0 , 0 , a21, a22, 0
0 , 0 , 0 , 0 , 0 , 1

q̃1
q̃2
q̃3
p̃1
p̃2
p̃3)

a12

a22
a11

a11

▶It was suggested that we are possible
to extract the SO(4) symmetry
corresponding to the Runge-Lenz vector.

非線形変換をうまく限定できればルンゲレンツベクトルの推定は実現可能[Y. Mototake, April 2022 Meeting, 2022]

まとめ• 時系列データ多様体から，ハミルトン系の対称性の候補が推定可能であることを示した．

• 学習済みのDNNから，時系列データ多様体の対称性を推定できる可能性を示唆した．

• 保存則の数が増えると，ヤコビ行列が正則でなくなる可能性が高まる等，推定が困難になると予想される．

• 位相空間の次元が増えると，サンプリング法による対称性抽出に困難が生じると思われる．

• 力学系時系列データを学習したDNNから、非線形変換に対応す
る対称性を原理的には抽出可能である

61

1. 自己紹介
2. 解釈可能AIとデータ駆動理学
3. DNN型アプローチによるデータ駆動理学の実現
4. 基底関数型アプローチによるデータ駆動理学の実現
5. まとめと今後の展望

データ駆動理学における解釈可能AIの体系 63
機械学習による解釈可能AI構築アプローチ
パターン
データ

深層ニューラルネット(DNN)型アプローチ
課題：解釈性が低い

具象モデル変数（物理変数）+
パターン時系列

DNNからの解釈可能な物理情報抽出[Brunton, Steven L.. 2019]

解釈可能な高性能モデル

ベイズ推論

基底関数型アプローチ
課題：表現力が低い

位相的データ分析に基づく
縮約モデル構築[Steven L. Brunton et al., PNAS, 2016]

表現力 解釈性

解釈性のある基底関数に求められる要件 64[要件1] 人間の目で基底空間の特徴構造が検出できる（ 可視化として有効である）
例：フーリエスペクトル[https://www.isc.meiji.ac.jp/~be00085/2022ji2/dft/index2.html][要件2] 元の空間での構造との対応関係がわかる
例：フーリエスペクトルと周期構造

NaCl結晶(Wikipedia)[要件3] 特徴量としてなんらかの数学的保証がある
例：フーリエ逆変換による復元保証[産総研・中村壮伸先生との議論を参考に作成]

パターンダイナミクスの位相的データ解析

ランダム

65

秩序的

ランダムな構造

非周期的な秩序構造

NaCl結晶(Wikipedia)

気体の分子運動

統計量

[大林一平

周期的構造

位相的特徴量フーリエ基底平岡先生スライド：「パーシステントホモロジーとその応用」
http://www.math.chuo-u.ac.jp/ENCwMATH/EwM70_Hiraoka.pdf

http://k-hiura.cocolog-nifty.com/

平岡先生スライド：「パーシステントホモロジーとその応用」
http://www.math.chuo-u.ac.jp/ENCwMATH/EwM70_Hiraoka.pdf

数理解析研究所講究録「位相的データ解析の現在」を元に作成]

パターンダイナミクスの位相的データ解析 66
現象

統計量

位相的特徴量フーリエ基底➡現象の違いに応じて見た目が大きく異なる特徴量となっている（[要件1] ）強磁性体磁区構造形成過程のTDA 67
パーシステントホモロジーの概説の概説
Image data
Density distributiont < b1b2< t < d2

b1< t < b2
12

d2< t < d1

1

1

d1< t

Persistence diagram (PD)
d1
d2

α=1.0

1

2

1

Death

v=0.01

Point cloud1(a)
例：ある磁区構造におけるPD（のヒストグラム）

α=2.0

Hole1: (b1, d1)
Hole2: (b2, d2)

v=0.001
generator
b1 b2 Birth(b)パーシステントホモロジー群
t < b1

Image data
Density distributiont < b1b 1< t < b 2

b2< t < d2

b1< t < b2

b2< t < d2

1

1

2

1

2

1

d1< t

d2< t < d1
d2< t < d1

1

1

d1

d1< t
d1

Death

d2
Point cloud

Point cloud

11

2

(a)

(a)

2 11

1

1

Hole1: (b1, d1)

Hole1: (b1, d1)

Hole2: (b2, d2)

d2

Hole2: (b2, d2)

Death

Image data
Density distribution

b1 b2 Birth
b

(b)

1 b2

Birth

(b)

1.ひとつひとつの穴についての図形の増大列の情報を含む→閾値やスケールといったパタメータに応じて変化する
トポロジカルな情報を取得できる
2.逆解析が可能である（[要件2] ）→特徴量空間と元の空間構造の対応関係がわかる
3.安定性定理が成立する（[要件3] ）→入力データの微小な変化に対して安定に振る舞う
4. 計算が容易[(解説）本武 陽一，水牧 仁一朗，工藤 和恵，福水 健次,「位相的データ分析法による材料構造形成過程の分析」, スマートプロセス学会誌, 2021]68パーシステントホモロジー群69

逆解析：消滅方体の中心位置[大林一平, “パーシステンス図の逆問題,” 応用数理, 26-4 (2016), 151-158.]

(a1)

(a2)

(a3)

事例紹介

70

強磁性体系のエネルギー支配因子の高精度推定
v=0.01v=0.001v=0.01v=0.001

α=1.0
α=1.0

[Y. Mototake, M. Mizumaki, K. Kudo, K. Fukumizu, arxiv:2204.12194. (in submit).][本武 陽一，水牧 仁一朗，工藤 和恵，福水 健次, スマートプロセス学会誌, 2021]

α=2.0
α=2.0

高分子ポリマー系の自由エネルギーの高精度推定

α=3.0
α=3.0
[Y. Mototake, S. Yamanaka, T. Aoyagi, T. Ohnishi, K. Fukumizu, NOLTA2020 , 517 - 520, 2020][Y. Mototake, S. Yamanaka, T. Aoyagi, T. Ohnishi, K. Fukumizu, J. Comp. Chem., Japan, 2021]
Force

磁性コロイド磁性乱流・惑星物理

宇宙の
大規模構造

破壊現象

アクティブマター（群れ等）

事例紹介

71

Revealing the Mechanism of Magnetic Domain Formation
by Topological Data Analysis[(解説）本武 陽一，水牧 仁一朗，工藤 和恵，福水 健次,「位相的データ分析法による材料構造形成過程の分析」, スマートプロセス学会誌, 2021][Y. Mototake, M. Mizumaki, K. Kudo, K. Fukumizu, arXiv:2204.12194, (in submit)]

水牧 仁一朗 主幹研究員
高輝度光科学研究センター（JASRI）

工藤和恵 准教授
御茶ノ水女子大学
東北大学

福水健次 教授
統計数理研究所

強磁性体磁区構造形成過程

72

強磁性体の機序解明

StripeLabyrinthSea island structure Labyrinth structure[Kazue Kudo, Michinobu Mino and Katsuhiro Nakamura 07][Katsuaki Sato, 「ようこそ、まぐねの国に」より]

従来、永久磁石の磁区構造が磁気特性の重要な構成要素であることは理解されてきたが、磁区構造と、例えば「保磁力」が具体的にどのように相関するかの説明は「あいまい」である。
[小林 久理眞 教授「磁石の内部磁場分布とMFMおよびMOKEによる表面磁区構造の相関性」より引用]▶磁区構造形成過程の位相的データ解析によって、磁区の幾何構造と物理機序との間の関係性の深い理解を促進する。

強磁性体磁区構造形成過程のTDA 73
現象

統計量

位相的特徴量フーリエ基底[Y. Mototake, M. Mizumaki, K. Kudo, K. Fukumizu, (in submit).]強磁性体磁区構造形成過程のTDA 74
強磁性体系のエネルギー支配因子の推定

(a1)

ϕ(r)
ϕ(r)
E(ϕ(r)) = α d rλ(r) −++ β dr
∫
∫
2
4 )
(
2

4

∇ϕ(r)
2

(a2)
+ γ drd r′ϕ(r)ϕ(r′)G(r, r′) + −h(t) d rϕ(r)
∫
∫

E(ϕ)
(b1)

▶︎系の支配因子を高精度に推定(b2)▶︎逆解析を利用して系の物理的機序を表す縮約モデルを構築[Y. Mototake, M. Mizumaki, K. Kudo, K. Fukumizu, (in submit).]1. 自己紹介
2. 解釈可能AIとデータ駆動理学
3. DNN型アプローチによるデータ駆動理学の実現
4. 基底関数型アプローチによるデータ駆動理学の実現
5. まとめと今後の展望

展望：データ駆動理学の実現へ向けたプロジェクトの推進 76「解釈可能AIによるパターンダイナミクスの数理構造抽出と材料情報学への応用」

材料
材料の組成
材料の生成プロセス

現在のマテリアルズインフォマティクス

材料特性

材料の原子・分子構造

材料特性の時間変化

パターンダイナミクス「革新的セラミックス材料設計のための材料パターン情報学の創成」

NEDO Project Success Story[東京工科大学

香川研究室HPより][東京工科大学

香川研究室HPより]

データ駆動理学における解釈可能AIの体系 77
機械学習による解釈可能AI構築アプローチ
パターン
データ

深層ニューラルネット(DNN)型アプローチ
課題：解釈性が低い

具象モデル変数（物理変数）+
パターン時系列

DNNからの解釈可能な物理情報抽出[Brunton, Steven L.. 2019]

解釈可能な高性能モデル

ベイズ推論

基底関数型アプローチ
課題：表現力が低い

位相的データ分析に基づく
縮約モデル構築[Steven L. Brunton et al., PNAS, 2016]

表現力 解釈性