令和2年12月3日（木）テレビ会議

6．データ科学の動向について
プラズマ・核融合学会年会 インフォーマルミーティング
計算科学研究部会

量子科学技術研究開発機構
本多充1

データ科学とは2

データ科学とは• データ科学、データ駆動科学、データサイエンス etc.
• データを用いて新たな科学的知見を引き出すアプローチ~帰納的演繹的 ~ビッグデータ• 超領域性• 数学、統計学、計算機科学、情報工学…

キーワード
•
•
•
•

機械学習
深層学習
ベイズ理論
データ同化

etc.

https://newswitch.jp/p/17687

3

近年の論文動向（超私見）4プラズマ・核融合分野への応用(LSTM)
Nature 19’

Harvardグループ：LSTMによる、JET&DIII-Dのディスラプション予知

NF 20’
CNN/LSTMによる、TCVのL-D-H遷移の自動検知

5

プラズマ・核融合分野への応用(Bayesian)
PPCF 19’
ベイズ手法を用いた不純物輸送のDとVの分離と妥当性
検証

PPCF 20’ベイズ推定を模擬したNNを用いた分布推定6プラズマ・核融合分野への応用(surrogate)
PoP 19’TGLFの代理モデル構
築のためのデータ生成
から、モデルを使用したシミュレーションまで手がけた論文

PoP 20’
罰則つき学習によるQuaLiKizの代理モデルの開発と応用

7

プラズマ・核融合分野への応用(データ同化)
NF 20’
データ同化手法を用いた、TASK3DによるLHDプラズマシミュレーションの再現性精度の向上

FED 20’原型炉ヘリウム冷却第一壁の流動性喪失事故の模擬精度向上のためのデータ同化

8

現在の取り組み

9

富岳とデータ科学
https://fugaku100kei.jp/fugaku/

計7件

プロジェクトの詳細は次のご講演をご参照ください

10

データ駆動科学的手法を用いたGKV解析
5次元空間(!" , !$ , %, &∥ , &()数値データの画像化• 画像による状態の分類– 線形、非線形、飽和• 飽和までの時刻を予測する• 研究者の経験に基づく調査箇所の決定
à 網羅的な探索による異常検知• 人間には気付かない（気づきにくい）差異の検出• 飽和レベルを予測する• 時系列データによる解析• 保存容量の圧縮…

11CNNと転移学習
Convolutional Neural Network

12

CNNとは
• 畳み込みニューラルネットワーク
Convolutional Neural Network Cable News Network• 深層学習の一分野• 画像認識技術：画像・動画認識、レコメンド、自然言語処理

東大松尾研資料

https://www.atmarkit.co.jp/ait/articles/1901/06/news032.html

13• 画像認識研究のための研究用標準データセット• 1400万枚を超える自然画像を2万種以上のラベルで分類• ILSVRCというコンペでは、訓練データ120万枚、1000ラベルで性能を競う

http://image-net.org/index
https://kotobank.jp/word/ImageNet-2119310

14

Inception v3• 代表的なCNN• パラメータ数は約2,400万• ILSVRC2014で優勝したモデルGoogLeNetをInception-v1として改良を重ねられたモデルで、転移学習に広く応用が進んでいる• 複数の畳み込み層やプーリング層から構成されるInceptionモジュールと呼ばれるマイクロネットワークを重ねている

Inceptionモジュールの概念
https://arxiv.org/pdf/1512.00567.pdf

15

転移学習モデルによる犬猫分類• ImageNetで学習済みのInception v3を用いた転移学習による犬猫分類– TensorFlow 2.3（最新）＋Keras on Jupyter Notebook– ~10 mins on NVIDIA GeForce GTX 1080 Ti– Fine-tune: 元の分類器を削除し、GlobalAveragePooling2D+1024ユニットの全結合層+分類器を結合。249層までを凍結し、250層以降を解凍。Data Augmentation– Kaggleの“Dogs vs. Cats”データ3千(内、テストデータ千）で転移学習– テストデータ（学習に使用していないデータ）に対する正答率99.2%

16

最新の高性能CNN

17

EfficientNet• 2019年最新モデルで、ImageNetを含む5つのデータセットでSoTA• 従来モデルよりパラメータ数が1/8程度• モデルが簡素で、転移学習も容易• モデルの大きさに応じて、EfficientNet-B0からB7まである• MnasNetをベースに、モデルの構造を大きく変えること無く、モデルの広さ（unit数）、深さ（layer数）、解像度（入力画像）を複合モデルス
ケーリングを用いて変化させる• 物体の形をしっかり捉える特徴

https://ai.googleblog.com/2019/05/efficientnet-improving-accuracy-and.html

https://arxiv.org/abs/1905.11946.

18

EfficientNet-B4 vs Inception v3• モデルパラメータ数がInception v3とほぼ同等のEfficientNet-B4
を以下では用いる
EfficientNet-B4

Inception v3

モデルパラメータ数

19,520,098

23,904,035

犬猫分類 (acc)

0.997

0.991

kxky 3クラス分類 (acc)

0.999

0.992

kxky 時刻予測 (mae)0.01600.0213

テストデータに対する検証

ENetv3より速く収束もはや間違えない

ENetv3
注視領域が、より猫の顔にのみ集中するようになる

19

GKVシミュレーションの可視化

CNNを用いたØ 波数空間パターンに基づく3クラス分類a. 線形成長b. 非線形成長c. 飽和

Ø 時刻予測[成田 プラ核学会20ʼ 02Ca03]"̅ =1.4#$

è ahst/gkvp f0.48.eng.(inum in 3 digits)• File type — Ascii• Timing for output — dtout eng• MPI rank for output — rankg == 0
• Total file numbers — (Total run numbers)• I/O unit number in GKV — owem
• Stored data — time, WM , WMky
where,* time: Simulation time t [Lref /vref ] (real)
2* WM : Total magnetic field energy [δrefnref Tref ] (real).
* WMky (0:global ny): ky spectrum of the magnetic field energy [δ

各時刻の特徴的なパターンの機械学習

0.0001

axi tp
GKV/data/gkv-case032/gkvp
f0.55ito2/run/gkv-case032woClbbetanlv3/hst

1e+08"<cat gkvp_f0.55.eng.0*" u 1:35"<cat ../../gkv-case032_woC_lb_beta_box/hst/gkvp_f0.55.eng.0*" u 1:35

10.01

0.0001

1e-06

1e-08

1e-10

"̅ =7.5• File type — Ascii• Timing for output — dtout eng• MPI rank for output — rankg == 0
• Total file numbers — (Total run numbers)• I/O unit number in GKV! — oeng2 !
• Stored data — time, kx ,keng!|φ̃k | ", kx !|φ̃k |2 "ywhere,*!
time: Simulation time t [Lref /vref ] (real)* kx ,ky !|φ̃k |2 ": Squared amplitude of the perturbed electrostatic(real).
!
* kx !|φ̃k |2 "(0:global ny): ky spectrum of the squared amplitud
static potential [(δref Tref /eref )2 ] (real).

1e-06

241e+06

10000

100b.非線形成長2.80èb48"̅ =13"<cat gkvp_f0.55.eng.0*" u 1:2"<cat ../../gkv-case032_woC_lb_beta_box/hst/gkvp_f0.55.eng.0*" u 1:2

hst/gkvp f0.48.men.(inum in 3 digits)

0a. 線形成長#%

hst/gkvp f0.48.wem.(inum in 3 digits)
200.01

非線形計算

1612

• File type — Ascii• Timing for output — dtout eng• MPI rank for output — rankg == 0
• Total file numbers — (Total run numbers)• I/O unit number in GKV! — omen2 !
• Stored data — time, kx ,ky !|Ã!k | ", kx !|Ã!k |2 "where,*!
time: Simulation time t [Lref /vref ] (real)* kx ,ky !|Ã!k |2 ": Squared amplitude of the perturbed electrostati(real).
!
* kx !|Ã!k |2 "(0:global ny): ky spectrum of the squared amplitud
static potential [(δref ρref Bref )2 ] (real).

t/(R /v )162024t/(Raxi/v)
tp"̅èb28"̅ =24線形計算

c. 飽和3229JT-60U [Nakata NF2016]836

hst/gkvp f0.48.dtc.(inum in 3 digits)

61040

èc

21

EfficientNet-B4の有効性• 3クラス分類• 時刻予測cf. [成田 プラ核学会20ʼ 02Ca03]

22

EfficientNet-B4の有効性（続き）
EfficientNet-B4!" = 0.9949

Inception v3!" = 0.9864• 時刻予測において、EfficientNet-B4は高い決定係数!" を示す– Inception v3でも十分高い回帰能力を持っている– 線形フェーズから非線形発展フェーズまで、幅広い時間帯でむら無く予測が可能となっている[成田 プラ核学会20ʼ 02Ca03]

23まとめ• データ科学とは• 近年の論文動向• 富岳とデータ科学• CNNと転移学習• 最新のCNNモデル：EfficientNet-B4• GKVデータの画像化による– クラス分類– 時刻予測（回帰）