大規模データ処理システム最適化 WG

Appendix1 事例
Appendix1.1. 国立天文台

成果報告書 添付資料

国立天文台の観測
データ解析システム2018年11月28日

SS研大規模データ処理システム最適化WG＃１

国立天文台・天文データセンター

古澤 久德

すばる望遠鏡とHyper Suprime-Cam (HSC)（ハイパーシュプリームカム）

u 主鏡8.2mすばる望遠鏡の主焦点80億画素デジカメ
u 104CCDで直径1.5度を撮像
u すばる戦略枠観測：国際共同開発研究
u 広大な撮像画像データを使い宇宙論研究
u 日本/プリンストン大学/台湾

u 独自の解析パイプライン開発
u 国立天文台は解析処理とデータ公開も担当
u 処理済画像と天体抽出情報のDBを公開

観測データとデータ解析の目的

u 複数回のショットによるディザリング観測 （※ショット＝写真を１枚撮る）

à複数枚のデータを足し合わせて …
u CCDの隙間をうめて観測天域をカバーする
u 測定精度の高い画像を作り
u 個々の天体を検出・測定する

HSCの視野データ解析の目的
1. 画像処理と物理情報の較正
1. 個々の検出器（CCD）の感度むら補正
2. 検出器ごとの相対的な位置や明るさ関係を決定する
3. 画像の足し合わせ

2. 天体測定

外部情報

u 信号から天体の座標や明るさの物理量を決める

個々の検出器（CCD）の感度むら補正足し合わせ，較正
（天体の座標・明るさの較正）

足し合わせによる合成画像
これを用いて個々の天体の測定を行う

データ量u 入力：数十～100TB
u 未処理画像ファイル（FITS形式）
u 撮像１ショット〜2GB，一晩300-400GB，月〜7日ｘ5年間

u 出力：500TB〜1PB
u 処理済み画像ファイル，天体測定テーブルファイル
u 解析処理でおよそ10倍に膨らむ

データ解析の構成とスケール感
処理ステージ

処理内容

画像処理１

メモリ

ディスクI/O

作業期間

検出器の感 加減乗除，補間，100—1000
回帰，主成分解度補正
析2-4GB/pcs

入出力が多い2-3wk

較正

検出器の座 最小二乗法・行標・信号強 列演算
度決め>>16 SMP

128GB – 1TB/pcs 入力は高負荷

1-2wk

画像処理２

足し合わせ 画像変換

100-1000

4-8GB/pcs

入出力が比較的 2-3wk
多い

天体測定

天体の検出 畳み込み，測定
アルゴリズム，と測定当てはめ

100—1000

8GB -1TB/pcs

入力と出力時に 5-8wk
やや負荷

u

技術

CPU cores

２か月以内（できれば１か月）にはすべてを終えたい

データ解析の特徴
u CPU・メモリ

u 多コア（ >>100）を要する

u ステージごとにノード当たりコア数とメモリ量の要請が異なる

u ディスク・作業領域

u 解析プロセス中のディスクI/Oが多い

u プロセス・スレッドあたり入出力サイズは数百MB〜数GB
u PBクラスの同時読み書きに強い作業領域が必要

u ほかの特性u ステージ間は同期が必要

u データセット数とステップが多いのでそれなりにたくさんプロセスが発生する

現在のシステムu クラスター１(350core)

ヘテロジニアスなシステム

u ファイルサーバ (Lustre 900TB)
u 計算ノード 20core(64GB) x5 + 20core(256GB)+16core(128GB) + 40core (1TB) x5

u Intel Xeon E5-2690v2@3.0GHz, E5-4627v4@2.6GHz

u クラスター２(1056core)

比較的均質だが古く遅い

u ファイルサーバ (Lustre 1.4PB)
u 計算ノード 48core (512GB) x6 + 48core (320GB) x16
u AMD Opteron 6172 (2.1GHz)

u クラスター３（構築中：一般共同利用も同居）
u ファイルサーバ（GPFS）
u 計算ノードの拡張方針TBD？

構成図

UplinkGbps switch

計算ノード

da01
da02
da03

PBS master
login

…
da20
da21
da22

InifiniBand Switch

MDS

4TB

OSS1
OSS2
OSS3
OSS4
OSS5

170TB
170TB
170TB
480TB
480TB
1.4PB Lustre

使っている技術: システム構築
u 計算機

u x86_64 20—40core /node程度 のu ストレージu HDD RAID6, SAS,FC16

u ファイルシステム
u 無償版Lustre
u 当初同構成でNFSを使っていたが十分な性能が出なかった

u GPFS（クラスター３で導入中）

u ノード間インターコネクト・内部ネットワーク
u InfiniBand QDR40Gbps, FDR56Gbps, EDR100Gbps
u 基本的にIPoIB接続

使っている技術：プロセス管理
u ジョブスケジューラ・バッチシステム
u Torque + バンドル版pbs scheduleru PBS Professional open source版 + バンドル版pbs scheduleru アプリケーションによる分散処理
u MPIによるPythonプロセス単位での計算ノードへの分配

現状の問題１．最適なシステム構成
u 最適なシステム・計算機構成がいまだに不明
u 当たり障りのない中庸の構成でとりあえず走りだしたまま
u アプリケーション側の分散処理取り扱いの未熟さ

現状の問題2．リソース利用効率
u システム内リソースを使い切れていない時間が多い
u 現有のシステムとマッチングが良くない解析ステージ
u ノードあたりのメモリ量などの制約で，解析多重度が頭打ち
u 解析ステージが終わるまでその状態がしばらく続く

u 現有システムでの最適なジョブ割り当ての方法が不明

u 手持ちのリソース内で，どのノードに何プロセス割り当てると一番早いのか

u 使用メモリ量があらかじめわからないプロセス

現状の問題3．ジョブの連続実行と結果評価のオーバーヘッド
u 解析の連続実行の難しさ

u 解析ステージ間のジョブ準備・投入のオーバーヘッド

u結果評価の必要性やdependencyなど全バッチ化の困難

u 解析のFailureなどによる解析の停止と復帰作業

u人力で対応．夜間や長期のプロセスハングアップに気づかない場合などの非効率

u 結果品質評価，解析Failure検知の効率化
u 人力作業による非効率解決したいこと解析ステージを通した最適な計算機システム構成
2. 既存計算機リソースを使い切るプロセス実行手段
1.

現有リソース下でのプロセス割り当ての最適化
u 計算機構成の制限を受けづらいリソース利用のための技術
u3.

解析ジョブ継続支援や自動化のための技術

結果評価・異常検知の効率化・自動化
u 解析Failure・異常からの復帰と後続ステージ実行の自動化
uu

プロセス割り当て最適化や結果評価・ジョブ継続の自動化にはAI・機械学習的なアプローチの調査も視野に大規模データ処理システム最適化 WG

Appendix1.2. 高エネルギー加速器研究機構

成果報告書 添付資料

KEKにおける大規模データ解析上の課題
大規模データ解析システム最適化WG
2018.11.28

SS研 大規模データ解析システム最適化WG

1

A. MANABE

1

高エネルギー加速器研究機構(KEK)••

大型粒子加速器を利用した、素粒子・原子核・物質・生命(蛋白等）科
学の研究。
つくば:
– 電子+陽電子衝突型加速器 Super-KEKBとBelle II 測定器– 粒子曲がるときに発生する放射光を利用した放射光実験施設•東海：– 大強度陽子加速器からの陽子による素粒子・原子核実験– 二次粒子のニュートリノを神岡鉱山まで撃つ、T2K実験– 二次粒子の中性子、ミュー粒子を利用した物質、生命の研究•

国際共同研究 欧州LHC (13TeV), ILC計画(250GeV×2)•

素粒子 現常無敵だが不完全な標準理論からのずれを様々な手段で発見することを目指す
原子核 原子核の特殊な状態を通じて、原子核の性質
や宇宙物理の基礎データを収集
物質、生命 電磁波、中性子、ミュー粒子の多彩な目で、物質内の原子、分子構造を探る••

SS研 大規模データ処理最適化WG

2

A. MANABE

2

計算科学センター
•

•
•

更新停止

•
•
•

目的：
計算機システム・ネットワーク及び情報環境の基盤を整備し、データ解析、計算機利用等の情報環境の利用に関する研究支援を行うとともに、それに関連する研究開発を行う。
実験解析用計算機：中央計算機
10,024cores, 13PB RAID, 70PB tape lib.
理論計算用計算機：大型シミュレーション
1.3PFlops→25年間 6世代に渡り運用。終了
Suiren2,blue: ExaScalerと共同研究。Green500 2017 2nd
世界の高エネルギー研究所に張り巡らされたGRID環境による分散計算機環境ネットワークシステム：つくば、東海研究：
放射線シミュレーション GEANT4
Feynmanダイアグラムの自動計算 GRACEKEKのオンラインデータ収集システム開発

SS研 大規模データ処理最適化WG

A. MANABE

3

3SuperKEKB加速器 と Belle2 検出器
70億電子ボルト（7GeV)の電子と40億電子ボルト（4GeV)の陽電子を衝突

SS研 大規模データ処理最適化WG

4

A. MANABE

4中央計算機システム(KEKCC)
System has already been in production mode since the last September.

K. Murakami (CHEP2016)

SS研 大規模データ処理最適化WG

5

A. MANABE

5

高エネルギー実験コンピューティングの特徴• 一秒あたり~10,000回の衝突現象（イベント）• 衝突毎に計算が独立である。
• ある条件の元に衝突させるためイベントの集まり(RUN)には特徴があるが、順序には特に意味がない。
→並列化は比較的容易い。典型的大量処理• 非常に多量のイベントを処理する。（>10PB/y)• イベントは特徴により適当にまとめてインデックスされれば良い。
• I/O bound であり、CPU bound• データは満遍なくスキャンされたり、一部だけ何度も頻繁に使われたりする。
• 長期間にわたり解析され、解析ソフトウエアは頻繁に変更され、共通ライブラリーは物理業界で保守されている。

SS研 大規模データ処理最適化WG

6

A. MANABE

6電圧、時間差、波形

書き換え頻度大合計ファイルサイズ大

Raw データー

モンテカルロシミュレーションによる

プロダクションジョブ

疑似Raw データー

疑似イベント生成ジョブ

DST データー

エネルギー、運動量、位置、粒子種校正、補償 データー

選択ジョブ
Mini-DST データー

法人ジョブ（比較的少人数が管理）
個人ジョブ（大人数が実行）

ユーザによる物理解析

SS研 大規模データ処理最適化WG

7

A. MANABE

7

磁気テープ

テープライブラリ―

ビッグデータ社会を支える“前世紀のメ
ディア”• テープが棚に保存されており、必要に応じてロボットアームにより、読み書き装置に装てん• 高信頼のデータ保全

磁性体技術の進化：バリウム・フェライト• 日本発のテクノロジー• 10 TB/巻• 現在、5,000巻以上のテープをライブラリで管理• 将来的には、>200 TB/巻の磁気テープ技術も可能

SS研 大規模データ処理最適化WG

8

A. MANABE

8

ディスクとテープで実現する大容量のストレージ

容量単価
アクセス速度
信頼性
用途

磁気ディスク
高い
速い
低い
データ解析

磁気テープ
安い
遅い
高い
長期保存
安いが読み書きが遅い

高いが読み書きが速い

9

SS研 大規模データ処理最適化WG

A. MANABE

9

100

1000

テープ一巻当たりの容量（GB)テープライブラリ総容量(TB)

10

100

1

10

0.1

1

0.01
1990

2000

導入年

2010

0.1
2020

テープライブラリ総容量（PB)

一巻当たりの容量(TB）

KEK テープの変遷
一巻当たりの容量
2年 ~2倍ディスク容量SS研 大規模データ処理最適化WG

10

A. MANABE

10

ディスクとテープで実現する大容量のストレージ

磁気ディスク
コスト

磁気テープ

やや高い

安い
保存に電力不要

アクセス速度始めるのが遅い。
連続読み書きは速い。

速い

ランダムアクセスはほぼできない信頼性

通電しないと低下

管理が必要

用途

データ解析

長期保存
11

SS研 大規模データ処理最適化WG

A. MANABE

11

KEKストレージシステム

12

RAWデータや DSTファイルの管理は階層型ファイルシステム（HSM)により行っている
SS研 大規模データ処理最適化WG

12

A. MANABE

階層型ファイルシステム• 頻繁に使われるファイルは磁気ディスクにキャッシュされる• 使われないファイルはテープにマイグレートアウトされる
変更されないファイルは一回テープに書き込まれるだけ。
変更されたファイルは新たなファイルとして（新しい）テープに書かれる。
• マイグレートアウトされるポリシーはアクセスされない時間や、ファイルサイズなどによりコントロールされる。

SS研 大規模データ処理最適化WG

A. MANABE

13

13

テープライブラリの性質• テープをドライブにセットするに要する時間 ～数十秒
同じテープにあるファイルは一回のテープロードで読め• 巻き戻し・早送りの時間（～数分）
テープに入っている順番で読め• テープ一巻の容量が増大
同じテープに入っている別のファイルは読めない （～数時間）• テープドライブ数には限り、利用のための待ち行列
とりあえずロードしてポジショニングしておくことにも限界

SS研 大規模データ処理最適化WG

14

A. MANABE

14

バッチキューシステム• バッチキューとの兼ね合い– 読み待ちのジョブはディスパッチされていても、開店休業状態– KEKCC で実行されるのは、Belle II実験のジョブだけではない。

SS研 大規模データ処理最適化WG

A. MANABE

15

15

Status of new KEKCC
Storage
Disk:

Compute nodeCPU:Intel Xeon E5-2697v3 (2.6GHz, 14cores) x 2
358 nodes, 10,024 cores, 236kHS06/site
Memory: 4GB/core (8,000 cores)
8GB/core (2,000 cores)

10PB (GPFS, IBM ESS x8 racks)
3PB (HSM cache)Interconnect: InfiniBand 4xFDR (56 Gbps)
Tape:
70 PB (max cap.)

CPU usage: breakdown by groups,
normalized by the total CPU usage per month
CPU usage has been reached 80 - 90 % of total resource

Throughput
100 GB/s (Disk, GPFS), 50 GB/s (HSM, GHI)

Local usage

Almost Belle II

System renewal
Sep. 2016

SS研 大規模データ処理最適化WG

16

A. MANABE

16

ビッグサイエンスを支えるコンピューティング
KEKの実験を支える計算機環境• Belle II 実験、J-PARC 実験など
今や、ビッグサイエンスは、巨大な計算機資源に支えられている。
• データ解析 : 大量のCPU• データ保存 : 高速大容量のディスク装置• ディスク装置に入らない程の巨大データ：テープ装置• 年間 >100 PB以上のデータ量予想
グリッド・コンピューティング• 1サイトだけでは、計算機資源をまかなえない• 国際協力による広域分散処理• クラウドサービスの利用

SS研 大規模データ処理最適化WG

A. MANABE

17

17

学術ネットワークによるデータ共有
常時30GB/秒以上のデータ転送

Tier-0/1の間を結ぶ専用ネットワーク

全てのサイトを結ぶ各国の学術ネットワーク

SS研 大規模データ処理最適化WG

18

A. MANABE

18

まとめ• 高エネルギー加速器素粒子実験では、省電力、拡張性、経済性、保存性の観点から長期データ保存にはテープとテープロボティックライ
ブラリが依然として主流• テープにあるデータを直接 実験解析処理することは困難なため、ディスクに移動して処理を行う。
• ファイルの配置の大まかな管理は人間が行うが、量が膨大であるので、すべてを行うことは不可能。
• 通常のハイロ―ミックスのストレージに増して テープには特有の性質がある。
• ストレージだけで閉じた仕組みだけではなく、ジョブ実行と連携した仕組みが必要。 しかし all in one は望まれない。

SS研 大規模データ処理最適化WG

19

A. MANABE

19

大規模データ処理システム最適化 WG

Appendix1.3. JAXA

成果報告書 添付資料

2019/02/08, SS研WG, 富士通 汐留

Study on Large‐scale Data Analysis
in CFD Workflow at JAXAJAXA/研究開発部門/第三研究ユニット
堤 誠司
1

大規模データに向けたニーズ/シーズ JAXAスパコン(JSS2, 3.4PFlops)を利用した実解析では，1ケース辺り，解析用に約200TB, 可視化用に約45TBのデータ領域が必要．
 次期スパコン(～数十PFlops)では，1ケース辺り，現状技術の外挿で考えると数百～数PBのデータ量と予想され，データの取扱
い・ポスト処理はほぼ不可能になる．
 次期スパコンでの大規模解析に向け，下記の2点に関する研究を実施中．
①  in‐situ/in‐transitによる可視化・オンラインデータ解析技術の開発．
 機械学習を利用した特徴量抽出(縮約モデル)の試行．
②
異常検知というキーワードがあったので．．．

③
 機械学習を利用した再使用ロケットエンジンの故障予知・診断に関する研究も進めている．
2

①HPCシステムにおける
in‐situ/in‐transit可視化技術に関する研究3

Overview of JAXA’s Supercomputer4

Major Components of JSS2
interconnect (InfiniBand FDR)
Lustre FS
7PB

Main computing system(Fujitsu FX100)
3.49PFlops
3240 nods(1M cores)

Pre‐/Post‐processing system(Intel Xeon)
75.2TFlops
200 nodes(2.4K cores)
w/ NVIDIA Quadro K2000

Pre/Post system is a conventional PC cluster having GPUs.
7PB disk space is shared between the Main computing system and
Pre/Post system using the Lustre file system.
Visualization is available without moving the data.

5

Objectives
JSS1(0.1PFlops) 2009‐2014
Computingsysteminternet

ComputingsystemJSS2(3.5PFlops) 2015 now
Pre/Post systeminternet

JSS3( tens of PFlops)
Computingsystem Performance of the JSS3 will hopefully be tens of Pflops.
 How to visualize computational results in the next JSS3?
 In‐situ/in‐transi visualization technique is tested.

6

(Tightly‐coupled) In‐situ可視化
Computingsystemlocal
memoryvolume datainternet

Simulation proc.
Visualization proc.

Advantage Data size does not matter due to Zero‐copy feature.
Disadvantage
 Visualization engine is incorporated into compt. program.
 Hardware resources are shared between simulation and visualization.
7

In‐transit可視化
JSS2
可視化
クライ
アント

Login System

・・・

可視化
サーバ

可視化
サーバ

・・・

internet

Main Computing System(3240 nodes)

・・・

計算プロ
セス

Pre/Post System
Advantage
Compt./Vis. processes are allocated to separate hardware resources.
Disadvantage

 Data‐stating!!
 Complicated!!

8

Design of Implementation ‐ 可視化のやり方 ‐インタラクティブ可視化
 Interactive vis. is required for debugging the program, or analyzing
the flowfield.
 Implementation is not straightforward.
バッチ可視化 In the batch vis., figures and animations are generated in batch.
 Batch vis. is generally performed after debugging and analysis arecompleted.
 Implementation into the in‐situ framework is straightforward.
 Both of the batch and interactive visualizations should be realized
in the in‐situ framework.
 Interactive and batch visualizations are performed back and forth.
9インタラクティブ可視化/バッチ可視化

インタラクティブ可視化

バッチ可視化10

in‐situによるバッチ可視化
Main Computing System

・・・

restartfile
image files

Multiblock
Structured
Overflow2
42M cells

Sim.&Vis.
Rank
・・・ 0..479

JSS2

Implementing the batch in‐situ vis. is simple and easy because thesystem configuration is irrelevant.
計算プロセスの性能低下が無視できない．
例)91Mセル＠京4096コアの自動車空力解析において，libsimを利用したin‐situ可視化では解析時間が30%増加という報告あり##大西ら，数値流体力学シンポジウム, B01‐1, 2018.

11

インタラクティブ可視化に関するHPCの根本的問題
JAXA’s Supercomputer

ソケット通信可視化ク
ライアント

Main Computing System(3240 nodes)

Login System
・・・

可視化
サーバー

internet
・・・

・・・

Pre/Post System
Management line (1GbE, inaccessible)
Interconnect (IB FDR, inaccessible)
Operational line (1GbE, accessible)
12In‐transit可視化の特徴
 計算/可視化プロセスを分離.
 JSS2でGPUをもつプリポストシステムに可視化サーバを割当て．
(計算機リソースの最適化)
 可視化だけでなく，ポスト処理一般で利用可能．
JAXA’s Supercomputer

VisIt
ClientMain Computing System(3240 nodes)

Login System

・・・

Vis.
Procs.
Pre/Post System

Sim.
Procs.
・・・

・・・

internet

13

データステージングミドルウェアへの要求 Writer(計算プロセス)とReader(可視化プロセス)間でdisconnect/reconnectできる必要がある．
 JSS2‐MA(Tofu)とPP(IB)の場合，ヘテロな通信環境を跨ぐ必要あり
JAXA’s Supercomputer

IO nodes・・・

PP

Main Computing System(3240 nodes, Sparc) MA

IB

1GbE
infiniband

Tofu
・・・

・・・

Pre/Post System(PC Cluster, 200nodes, Intel Zeon)

14

ミドルウェア

 In‐situ/In‐transit可視化が可能なミドルウェアには，
Paraview/Catalyst, VisIt/libsim, GLEAN，Damaris，ADIOS，ADIOS2などあり．
 Disconnect/ReconnectはADIOS2/SSTやZeroMQ(Python)で可能．
 大規模並列でのスケーラビリティを考え，本研究ではOak Ridge
National Laboratory (ORNL)が開発中のADIOS2を試行
 ORNL/Georgia Tech./阪大と共同研究中．

15

現状
JSS2にAIDOS2をポーティングした．
簡単なexample(2次元熱伝導方程式)を使い， 以下の3点を確認した．
1. JSS2‐MA，JSS2‐PPで，SST/InSituMPIを使ったTCP通信を確認．
(RDMAはまだ)
2. SSTを使うとReader/Writer間でDisconnect/Reconnectが可能であることを確認．
3. MA‐MA IOノード(Tofu)はInSituMPI, MA IOノード‐PPはSSTを利用してヘテロ通信環境でデータステージングが可能であることを確認．
 実アプリに導入中．実アプリでの動作を確認する予定．
SORA-MA
writer
J#1

InSituMPI

J#2

MPI

reorg

SORA-PP
reader
SST

GIO

PP#1

MPI

PP#2
16

②機械学習を利用した大規模データからの特徴量抽出(縮約モデル)
みずほ情報総研殿との共同研究

17機械学習の分類
回帰

線形回帰，ランダムフォレスト，ガウス過程回帰，etc.

分類

ロジスティック回帰，SVM，
ニューラルネット，etc.

クラスター分析

k平均法(非階層型)，ウォード
法(非階層型),etc.

次元削減

主成分分析(PCA)/固有直交分解(POD)，動的モード分解(DMD), etc.

外れ値検知

ホテリングT2，MT法，etc.

教師あり学習教師なし学習強化学習

Q学習

DQN，etc.

方策勾配

DDPG，etc.

機械学習の分類(注：必ずしもこれだけではない)#上記にスパース推定をトッピングすることが多い．

18

振動燃焼

Pressure, kPa

1800
1700
1600
1500
1400
1300
0

目的

2

4

6

8

10

12

Time, msec

 振動燃焼の発生原因を解明し，予知・制御手法を構築する．
 大規模な時系列データを直接解析することなく，現象を支配する特徴量を事前に抽出する．(→ポスト処理の高速化)

19

(Sparsity‐Promoting) DMD
Re=100, =30deg
平板周りの流れ
流れ方向速度Sparsity‐Promoting DMD#

mode1
(mean)

mode2(カルマン渦，St=0.2)

mode3(高次モード)【長所】流れの支配的な構造を時系列データとして抽出する．
【短所】周期性を仮定しており，間欠的現象には適用できない．
# Jovanovic, and et al., Physics of Fluids, Vol. 26, 2014, 024103.

20大規模な構造の抽出
時系列データHeat Release Rate,
W/m2: 𝑞 𝜔∆𝐻

モード1+モード2(1540Hz)
CH4質量分率時系列データ

CH4質量分率 モード1+モード2(1540Hz)

乱流に起因する細かい変動の中から，振動燃焼に関連する大きな変動が抽出された．
21

まとめ・今後の予定
SS研の視点 DMDを利用し，振動燃焼データから特徴量抽出が可能である
ことが分かった．(ただし，周期的成分のみ)
 将来的にはin‐transit技術と連動させ，オンラインで特徴量を抽出することを目指す．
流体屋の視点 DMDは周期性を仮定していることから， (乱流現象の本質である)非周期現象におけるDMDの適用限界を明らかにする．
 振動燃焼の予知と制御を目指し，縮約モデルの構築を進める．

22

③機械学習を利用した
再使用ロケットエンジンの故障予知・診断＃SS研の活動に直接つながるかは分かりませんが．．．

23

ロケットエンジンの課題とアプローチ
1. データが少ない．特に，異常データ．
2. センサ故障/システム故障の識別．
3. 定常だけではなく，起動/停止過渡状態，制御入力により状態が変化．
4. エンジン個体差，作動点ドリフト．
5. 故障予知・診断に対して現状のセンサ配置・点数の最適化
6. センサ計測値と実現象の乖離．

データ駆動型アプローチ：
モデル化が難しい故障モードの故障予知
モデルベース型アプローチ：
モデル化が可能な故障モードの故障診断と故障データ生成24

データ駆動故障検知手法 (特許化) 二変量の故障検知手法を開発
1. 時系列データから特徴量をそれぞれ抽出by 主成分分析(PCA)
2. 二変量の時系列特徴量から位相面軌道を作る
3. 位相面軌道(2次元平面図形)の非類似度(スカラ量)を評価
by 動的時間伸縮法(DTW) など
4. 非類似度から正常/異常の識別
by クラスタリングor ホテリングT2法などを 特徴
1. センサ/システム故障の識別が原理的に可能．
2. 動的に変化する作動状態でも異常を識別

25

データ
 JAXAにて開発した再使用ロケット技術実証エンジンの地上燃
焼試験データを利用．
 試験シリーズ中に発生したセンサ故障事例に開発手法を試行．
(正常：18ケース，異常：1ケース)

温度, K

ー センサA ー センサB

再使用観測ロケット技
術実証エンジン試験

時間, sec

時間, sec

正常試験データ

故障試験データ
26

適用例
ー センサA ー センサB

①センサA/Bの特徴量をスライド窓＋PCAで抽出異常

正常：18ケース

異常：1ケース

非類似度③位相面軌道形状の非類似度をDTWで評価

異常

正常←試験ケース②センサA/Bの関係を
位相面軌道として試験ケース毎に可視化④試験ケース間の非類似度をクラスタリング

27まとめ・今後の予定
現状 RSRエンジン試験の62個のセンサ，19試験ケースに対して網羅的に適用．( 𝐶 19 36,000 組合せ)
 計算時間：約1日@1コア，並列化により高速化は可能．
 現状の正常標本精度=95.1%
今後 RSRエンジン試験データを利用した実証を進める．
 故障診断に向けたモデルベース診断手法の開発を進める．

28

大規模データ処理システム最適化 WG

Appendix1.4. 統計数理研究所・統計科学技術センター

成果報告書 添付資料

統計的データ解析とスパコン

統計数理研究所 統計思考院
田村義保
SS研 大規模データ処理システム最適化WG
2019年2月8日
富士通株式会社「エグゼクティブB」ルーム

目次
1.
2.
3.
4.
5.

統計数理研究所の計算機
乱数について計算機整備方針
今の計算機
まとめ・その他

2019年2月8日

Yoshiyasu Tamura@ISM

2

古い計算機の話し(1)• 計算機が統計数理の研究に必須のものであることは現在では万人が認めることであろう。統計数理研究所は計算機の利用については常に先進的であったことが次のような記述（原文のまま）からうかがうことができる。
• 「これらの問題に対して我々は、基礎的、理論的な方面
並びに応用的方面より互いに相補いつつ進んで行かな
ければならないと思う。この為には又、各種計算器をも含めた計算技術の研究も必要となるであらう。」（統計数理研究所彙報 第2巻 第1号 1954 『十周年にあたりて』
松下嘉米男）
2019年2月8日

Yoshiyasu Tamura@ISM

3

古い計算機の話し(2)「なお計算機について附言すれば、昨年FACOM415Aが入ったが、これは相関係数の計算に大いに威力を発する単能機である。またFACOM128が程なく入るが、これは各種計算を行うリレー式万能計算機であって、電子管式計算機に比べれば見劣りするが、加減算0.15秒、乗算0.15～0.4秒、除算0.2～1.0秒、トランスファー0.15秒という速度であって、計算能率は飛躍的に向上することになる。」（統計数理研究所彙報 第4巻 第1号 1956 第二、第三研究部の研究概要 青山博次郎）

2019年2月8日

Yoshiyasu Tamura@ISM

4

古い計算機の話し(3)• 「最近、統計数理研究所において新たに乱数作成機がつくられた。これは、放射能のカウント数を計測する方法によっているものである。」（統計数理研究所彙報 第5巻
第2号 1958 石田式乱数作成機のランダム性について
西平美恵子）

2019年2月8日

Yoshiyasu Tamura@ISM

5

古い計算機の話し(4)「27年9月に佐々木達治郎博士が所長に就任されて始めて、研究所が次第に軌道に乗るようになった。佐々木博士が数値計算の権威であって、リレー式であるが高性能の計算機を試作されたことは、まことに記念すべき業績である。」（統計数理研究所彙報 第7巻 第1号 1959 十五周年記念日を迎えて 末綱恕一）

2019年2月8日

Yoshiyasu Tamura@ISM

6

古い計算機の話し(5)• 「プログラム編成の方針は、計算機械を必要とする統計的諸問題を提示し（i)とii)）、それらが数学的にどのようになっているかを示し（iii)）、その上で計算機利用の技術についてのべた。」（統計数理研究所彙報 第7巻 第1号
1959 昭和33年度統計技術員養成所事業概要 内田良男）

2019年2月8日

Yoshiyasu Tamura@ISM

7

古い計算機の話し(6)
統計数理44巻(1996)の特集「計算統計学の発展」『手回し計算機、リレー式計算機の時代から計算機は統計科学の発展に多大な影響を与えて来た。岩崎も指摘しているように(1992)、Karl Pearsonの伝記には卓上計算器の置かれた机に座って仕事をしている
Pearsonの写真が収められている。また、1956年に統計数理研究所にFACOM128というリレー式万能計算機が導入されているが、1957年に発行された統計数理研
究所彙報第5巻には、この計算機を用いて計算を行った論文が6編掲載されている。』
2019年2月8日

Yoshiyasu Tamura@ISM

8古い計算機の話し(7)コンピュータが計算機と呼ばれた時代（株式会社アスキー2005年12月）『日本初の商用計算機として作られたのがFACOM128である。・・・記憶容量は180語、演算速度も、加減算で0.15秒、乗算は0.15～0.4秒、・・・。FUJICと同じ1956年に完成し、1号機は文部省統計数理研究所に、2号機は・・・納入された。』

2019年2月8日

Yoshiyasu Tamura@ISM

9古い計算機の話し（
８）

2019年2月8日

Yoshiyasu Tamura@ISM

10古い計算機の話し（
９）

2019年2月8日

Yoshiyasu Tamura@ISM

11古い計算機の話し（ ）102019年2月8日

Yoshiyasu Tamura@ISM

12古い計算機の話し（
６）

2019年2月8日

Yoshiyasu Tamura@ISM

13古い計算機の話し（ ）112019年2月8日

Yoshiyasu Tamura@ISM

14

前のスパコン（ ）12019年2月8日

Yoshiyasu Tamura@ISM

15

共有クラウド計算システム
前のスパコン（ ）22019年2月8日

Yoshiyasu Tamura@ISM

16

前のスパコン（ ）データ同化
スーパーコンピュータシステム
128ノード2CPU／ノード
10コア／CPU
総主記憶
64TB
世界最大の
共有記憶
を2sets3

1setsはHPCI事業で利用可2019年2月8日

Yoshiyasu Tamura@ISM

17

SGI® UV™ Customers

2019年2月8日

Yoshiyasu Tamura@ISM
18

5,120c2,048c720c
2,560c1,280c1,856c256c
2,048c2,048c2,048c2,048c2,048c1,536c1,536c1,536c1,280c768c
1,024c512c
2,048c1,536c640c
1,024c2,048c
512c
512c
512c
512c

128 TB
32 TB
30 TB
20 TB 32x Xeon Phi
20 TB
14.8 TB 32x Xeon Phi
2 TB
16 TB
16 TB
16 TB
16 TB
12 TB
12 TB
12 TB
12 TB
16 TB
10 TB
8 TB
4
8 TB
7 TB
6 TB
5 TB
4 TB
4 TB
4 TB
4 TB
4 TB
4 TB

前のスパコン（ ）• ISM, Japan• JAMSTEC, Japan• NICT, Japan• The Genome Analysis Ctr.
• Nagoya U., Japan• COSMOS, Cambridge U.
• CBS, DTU• PSC• Johannes Kepler U. Linz
• Poznan U., Poland• U. of Alberta, WestGrid• iHPC, S’pore• Princeton U.
• The Genome Analysis Ctr.
• JAIST, Japan• ICR, Kyoto U., Japan• NIG, Japan• A Large Postal Service• CBS, DTU• LRZ, Germany• Raytheon• Imperial College London• U. Tennessee, NSF, ORNL
• NCSA• ICR, UK• IFS, Tohoku U., Japan• CSIRO, Australia• European Auto

18

18

前のスパコン（ ）統計科学
スーパーコンピュータシステム
４００ノード2CPU／ノード
12コア／CPU
総主記憶
50TB
207TFlops

増設

5120ノード2CPU／ノード
14コア／CPU
合計総主記憶100TB
合計ピーク性能
336.3TFlops
2019年2月8日

Yoshiyasu Tamura@ISM

19

目次
1.
2.
3.
4.
5.

統計数理研究所の計算機
乱数について計算機整備方針
今の計算機
まとめ・その他

2019年2月8日

Yoshiyasu Tamura@ISM

20

省略
ほとんどふれなかったため。

2019年2月8日

Yoshiyasu Tamura@ISM

21

目次
1.
2.
3.
4.
5.

統計数理研究所の計算機
乱数について計算機整備方針
今の計算機
まとめ・その他

2019年2月8日

Yoshiyasu Tamura@ISM

22統計科学スーパーコンピュータシステム
仕様書（平成25年10月21日）
統計数理研究所（以下「研究所」と言う。）の計算機施設は、
昭和60年の大学共同利用機関への改組時から、統計データ
解析センターが運営にあたってきた。平成9年4月1日に、統計
データ解析センターは統計計算開発センターに改組された。
また、平成16年4月1日に研究所は大学共同利用機関法人
情報・システム研究機構の中の1研究所として法人化され、平成17年4月1日に統計計算開発センターは統計科学技術セン
ターに改組された。これ以降の研究所のコンピュータシステムの管理・運営は統計科学技術センター（以下、統計データ解析センター、統計計算開発センター、統計科学技術センター
とも「センター」と言う。）が引き継いでいる。
2019年2月8日

Yoshiyasu Tamura@ISM

23統計科学スーパーコンピュータシステム
仕様書（平成25年10月21日）
昭和60年以降、研究所内の研究者による計算規模の増大や共同利用件数の着実な増加による共同研究者の計算機使用時間の増加などにより各利用者のターンアラウンド時間が長くなってきた。これに伴って所内外の研究者の研究業務に支障をきたすことを避けるために、改組時にはHITAC M280Hを使用していたが、表に示すように高い能力を持った新機種の導入を行ってきた。

2019年2月8日

Yoshiyasu Tamura@ISM

24統計科学スーパーコンピュータシステム
仕様書（平成25年10月21日）
統計的データ解析の中には、大規模な線形演算の占める割合が非常に多いものがあり、ベクトル演算機構を付加することにより計算速度の大幅な向上が期待できる。このため、平
成元年の初代統計科学計算機システムでは、内蔵アレイプロ
セッサ付きのM682Hを、平成6年の第2代統計科学計算機システムではベクトル演算機構を有するS-3600/120を高速・大規模計算を行うために導入した。平成11年の統計科学スー
パーコンピュータシステムでは擬似ベクトル機構を有する
SR8000をこの目的のために導入した。

2019年2月8日

Yoshiyasu Tamura@ISM

25

統計科学スーパーコンピュータシステム
仕様書（平成25年10月21日）
平成16年の統計科学スーパーコンピュータシステムでは、統計科学用ベクトル計算機として、SX-6(12CPU)を導入している。
同時に導入した分散共有記憶型計算機Altix3700は、ベクトル化は困難であるが並列に計算することにより高速化が図れる手法が統計科学の研究の中心となっているために導入している。

2019年2月8日

Yoshiyasu Tamura@ISM

26

統計科学スーパーコンピュータシステム
仕様書（平成25年10月21日）
ギッブス・サンプラー、非線形フィルタリング、ブートストラップ法等、計算統計学の分野の手法を研究し、計算可能な形にするためには、いわゆる並列計算機と呼ばれる計算機が不可欠である。このために、計算統計学支援システムとして平成8年1月に分散記憶型並列計算機（IBM RS/6000 SP）を、平
成12年1月には共有記憶型並列計算機（SGI Origin2000）を、
平成18年1月には分散記憶型並列計算機（HP XC4000）を導入した。さらに、平成13年1月にはパソコンクラスターである
ブートストラップシステム（SGI1200（PentiumIII（800MHz）、512MBメモリー、物理乱数ボード）100台）を導入した
2019年2月8日

Yoshiyasu Tamura@ISM

27

統計科学スーパーコンピュータシステム
仕様書（平成25年10月21日）。このようにセンターではこれまで超大型計算に対する増大する需要を満たす努力を続けてきているが、さらなる大規模な計算を可能にするシステムの導入が統計科学の研究を世界的にリードして行くためには必要である。

2019年2月8日

Yoshiyasu Tamura@ISM

28

統計科学スーパーコンピュータシステム
仕様書（平成25年10月21日）
昨今、ビッグデータやデータ中心科学の重要性が指摘されている。研究所がこの潮流の中心的な研究機関として研究を推進していく必要がある。このような計算を行うためには、共有記憶型と分散記憶型の計算機が共に必要である。大規模主記憶の共有が可能であることにより初めて計算可能な課題も多い。しかしながら、計算量が莫大となるために、個々のCPUに付属する主記憶が比較的少なくても計算は可能であるが、高い並列度が必要な課題も存在するためには分散記憶型並列計算機が適していると考える。

2019年2月8日

Yoshiyasu Tamura@ISM

29

統計科学スーパーコンピュータシステム
仕様書（平成25年10月21日）
統計科学のソサエティだけでなく統計解析を必要とする研究者等に、クラウド環境で研究所の成果を利用できるようにし、成果を社会に還元できるようなシステムであることも重要である。平成24年度補正予算で措置された経費を用いて共有記
憶型計算モデルを計算するためのシステムとしてデータ同化
スーパーコンピュータシステムを、クラウド利用に適したシス
テムとして共用クラウド計算システムの導入手続きをすでに開始している。

2019年2月8日

Yoshiyasu Tamura@ISM

30

統計科学スーパーコンピュータシステム
仕様書（平成25年10月21日）
このため、今回の調達においては、分散記憶型のスーパーコ
ンピュータを中心とするシステムを導入する。このシステムの名称は統計科学スーパーコンピュータシステム（英文名は"
Super Computer System for Statistical Science "とし、以下「本システム」と言う。）とする。

2019年2月8日

Yoshiyasu Tamura@ISM

31

目次
1.
2.
3.
4.
5.

統計数理研究所の計算機
乱数について計算機整備方針
今の計算機
まとめ・その他

2019年2月8日

Yoshiyasu Tamura@ISM

32

統計科学スーパーコンピュータシステム
現有計算機（2018年10月1日)

2019年2月8日

Yoshiyasu Tamura@ISM

33

統計科学スーパーコンピュータシステム
現有計算機（2018年10月1日)

2019年2月8日

Yoshiyasu Tamura@ISM

34

統計科学スーパーコンピュータシステム
現有計算機（2018年10月1日)

2019年2月8日

Yoshiyasu Tamura@ISM

35

統計科学スーパーコンピュータシステム
現有計算機（2018年10月1日)

2019年2月8日

Yoshiyasu Tamura@ISM

36

統計科学スーパーコンピュータシステム
現有計算機（2018年10月1日)

2019年2月8日

Yoshiyasu Tamura@ISM

37統計科学スーパーコンピュータシステム
現有計算機（2018年10月1日)

2019年2月8日

Yoshiyasu Tamura@ISM

38

統計科学スーパーコンピュータシステム
現有計算機（2018年10月1日)

2019年2月8日

Yoshiyasu Tamura@ISM

39

統計科学スーパーコンピュータシステム
現有計算機（2018年10月1日)

2019年2月8日

Yoshiyasu Tamura@ISM

40

統計科学スーパーコンピュータシステム
現有計算機（2018年10月1日)

2019年2月8日

Yoshiyasu Tamura@ISM

41

統計科学スーパーコンピュータシステム
現有計算機（2018年10月1日)

2019年2月8日

Yoshiyasu Tamura@ISM

42統計科学スーパーコンピュータシステム
現有計算機（2018年10月1日)

2019年2月8日

Yoshiyasu Tamura@ISM

43統計科学スーパーコンピュータシステム
現有計算機（2018年10月1日)

2019年2月8日

Yoshiyasu Tamura@ISM

44

統計科学スーパーコンピュータシステム
現有計算機（2018年10月1日)

2019年2月8日

Yoshiyasu Tamura@ISM

45

目次
1.
2.
3.
4.
5.

統計数理研究所の計算機
乱数について計算機整備方針
今の計算機
まとめ・その他

2019年2月8日

Yoshiyasu Tamura@ISM

46

まとめ

統計数理研究所の教員の専門は多岐にわたるが、計算機科学の教育を受けた者はいない。ひょっとしたら、計算科学の教育を受けたものもいない。しかし、スパコン利用者は少なくともMPIでプログラミングはできる。
意外と思われるかもしれないが、数学科出身者も少ない。自然科学、生命科学、社会科学、人文学、医学・疫学の分野のデータ解析を行うために新しい理論・方法を研究している。
大規模データ解析に適した計算システムの導入をいつも目指している。
2019年2月8日

Yoshiyasu Tamura@ISM

47

まとめ

日本で最初の商用計算機が入ったように、常に、時代にあった規模の計算機を入れている。
現在の主な利用目的は、データ同化、地震予測、リスク管理の研究のためであると思っている。AIも研究しているが、あくまでも統計的機械学習であり、時間がかかるのは最適化の部分である。
稼働率の定義はいろいろあると思うが、常に待ちジョブがあることを考えると稼働率は100％であり、CPU稼働率を見ても60%は超えている。
2019年2月8日

Yoshiyasu Tamura@ISM

48

その他

所外の研究者が利用するためには共同研究に申し込めばよい。単に計算機を利用するだけの制度もある。これは、年度末の3月を除けば、いつでも申請可能である。
所内ユーザー、所外ユーザーに差はつけていない。CPUタ
イムでの利用割合は50%：50%くらいである。ジョブ数で言うと、統数研ユーザーの方がはるかに少ない。これは、統数研
ユーザーのジョブの方が大規模であるためである。

2019年2月8日

Yoshiyasu Tamura@ISM

49

大規模データ処理システム最適化 WG

Appendix1.5. 筑波大学

成果報告書 添付資料

サイエンティフィック・システム研究会(20190627)

サイエンティフィック・システム研究会

2019年6月27日
佐藤忠彦（筑波大学）(C)佐藤忠彦， 2019

サイエンティフィック・システム研究会(20190627)

本日の概要データ周りの話題
 POSデータを中心に

活用の視点 消費者を理解する
 ベイジアンモデリングまとめ(C)佐藤忠彦， 20192

サイエンティフィック・システム研究会(20190627)

POS導入店舗数等

出典：インフォメーションシステム研究会調査(C)佐藤忠彦， 20193

サイエンティフィック・システム研究会(20190627)

データに関する整理
 POSデータはGMS，SM，CVS及びDRUGなどの小売業においては100%獲得できる
 いつ，何が，何個，いくらで売れたかについては分かる また，フリークエント・ショッパーズ・プログラム実施小
売業の増大に伴い，POSデータの情報に誰が買ったかという情報を付加したデータが活用可能
 コーザル系のデータの整備はこれから・・・ WEB上の行動データに関しても状況はほぼ同様．
ただし，データの規模は通常の小売業で取得される
ものよりも非常に大きい(C)佐藤忠彦， 20194

サイエンティフィック・システム研究会(20190627)

レコード数（規模感）
大手小売業のID付きPOSデータの場合，レコード数は下記で近似できる（正確にはスキャンの仕方によるが，購買されたJAN数の総和）
 顧客数×1回あたり平均購買商品数×1月あたり
平均来店回数 3000万人×10個×10回＝30億レコード（一月当たり）(C)佐藤忠彦， 20195

サイエンティフィック・システム研究会(20190627)

データの構造PP 1P2

 i, p, t 
銘柄or

クロスセクショナルデータの例であるアンケート調査デー
タの場合，「銘柄」または「ブランド」の層が「質問項目」に置き換わり，「時点」の相がな
い構造をイメージしてもらえ
ればよい

ブランド

T
T 1
T 2

p

相

t
時点

相

3
2
1

1

2

3



i

消費者 or 個人投資家 or相(C)佐藤忠彦， 2019I  2 I 1 I
機関投資家

1

2

3

元は相の「のべ組み
合わせ回数」．この場
合は「３」

6

サイエンティフィック・システム研究会(20190627)

マーケティング・データベースの構造
コーザル・
データ
・日別・単品別 販売状況
（エンド，特売，デモ販，サンプリング）・フロア・レイアウト，棚割

ＰＯＳデータ

ＩＤ付ＰＯＳ
データ

・日別・単品別 売上点数，価格
・ＳＭフロア全カテゴリー

・エンド写真，気温・世帯属性
・日別・単品別 買上点数，価格

商品属性
・商品分類
・メーカー，ブランド
・容量・容器・フレーバー，等

トレンド
何が売れた？

これらのデータは，
通常調査を実施しない限りは入手できない(C)佐藤忠彦， 2019

収集
データ

統合データ

ﾌﾟﾛﾓｰｼｮﾝ
なぜ売れた？

消費者

どういう人が買った？

●トレンド把握●新製品の使用・反復購買把握●アクションと成果の関係把握●事例収集●商品力の把握（ﾌﾟﾛﾓｰｼｮﾝ要因の除去）●ブランド・スイッチとプロモーションの影響●モデル開発と予測

領域
活用方法

7

サイエンティフィック・システム研究会(20190627)

レコード数×販売金額（2017年8月，全体）10億円

プロットは店舗

50万レコード(C)佐藤忠彦， 20198

サイエンティフィック・システム研究会(20190627)

JAN数×1店舗当たり平均販売金額（2017年8月，醤油）

プロットは県(C)佐藤忠彦， 20199

サイエンティフィック・システム研究会(20190627)

JAN数×1店舗当たり平均販売金額（2017年8月，インスタントコーヒー）

プロットは県(C)佐藤忠彦， 201910

サイエンティフィック・システム研究会(20190627)

JAN数×1店舗当たり平均販売金額（2017年8月，スナック）

プロットは県(C)佐藤忠彦， 201911

サイエンティフィック・システム研究会(20190627)

取引データからマーケティングデータへ
 この種のデータは，そのものだけだと単なる取引の結果を示すだけであり，規模が大きくともその使用には限界がある マーケティングデータにするためには，最低限商品マスターを整備する必要があるが，実際にはこの点が最大の問題
 WEB上のデータは，通常の小売データよりも巨大であるが，問題の所在は基本的に同様で様々なメタデータをどう整備するかが最大の問題(C)佐藤忠彦， 201912

サイエンティフィック・システム研究会(20190627)

マイクロマーケティング
 様々な“個”（個人，個別時点など）を強く意識したマーケティング活動を指す
 マスマーケティングに対するアンチテーゼ
 マーケティング目標は“市場シェアの獲得”⇒“顧客
シェアや顧客ロイヤルティの獲得”へ変化

 マイクロマーケティングを高度化するために必要となるもの
 時を得た，個に特化した情報 ↑を“ビッグデータ”から抽出する(C)佐藤忠彦， 201913

サイエンティフィック・システム研究会(20190627)

消費者を理解するとは？
① 意思決定高度化にデータの高度活用を目論む
a. 消費者の行動のメカニズムを類推できて初めて意思決定の高度化のための「消費者の理解」につながる
b. 表層的な結果データの関連性だけでは「理解」と呼べない② 後述するように，「理解」とは真の構造を解明するということを必ずしも意味していない
a. 消費者行動の仮説的役割を担う高次情報を抽出，活用すること→現象を理解する③ これらを可能にするツールが“ベイジアンモデリング”(C)佐藤忠彦， 201914

サイエンティフィック・システム研究会(20190627)

消費者を理解する“ビジネスデータ“をベースにした，継続的な意思決定場面での活用を想定現在持ちうるビジネス現象理解に必要な情報を抽出
知識で，記述「消費者を理解する」＝「仮説を発見する」 能力及び汎化「消費者を理解する」≠「真の姿を解明する」 能力が高いモ
デルを選ぶ

消費者理解のためのプロセス①複数のモデルを立て→②全てのモデルを推定・比較
し→③“この時点”で最も妥当と考えられる構造の特定→④情報の変換→⑤結果の活用→①へ(C)佐藤忠彦， 201915

サイエンティフィック・システム研究会(20190627)

ベイズの定理：事前分布と事後分布•さまざまな情報を分布の形で表現する（統計モデル）•平均値でものごとをとらえることから，分布で対象を表現することへの転換！
対象を表すパラメータが与えられた（指定）されたもとで，それにどれくらいデータがfitしているか

データ分布（尤度関数）

事前分布

ベイジアン・モデリング

データに依存しない，対象に関する情報の確度

p( Y | θ )  p( θ )X：表現したい対象p( θ | Y ) p( Y )
ベイズの定理Y：データ
 p( Y | θ )  p( θ ) p( Y , θ )
同時分布

事後分布

データが生じる確率（データは所与なので，ある値をとる）

我々が取り扱う多くの問題は，多くの場合事後分布に興味がある(C)佐藤忠彦， 201916

サイエンティフィック・システム研究会(20190627)

データの例（来店と牛乳の購買）

消費者こういった行動の背後に存在するメカニズムは？

(C)佐藤忠彦， 201917

サイエンティフィック・システム研究会(20190627)

家庭内在庫量および消費量推定結果(C)佐藤忠彦， 201918

サイエンティフィック・システム研究会(20190627)

まとめ この種の話題では，データの規模に目が行きがちであるが，データの価値を高めるには，自動取得ができないデータをどう整備できるかが最大の問題といえる 個人情報・・・
 データの規模に関しては，もちろん問題ではあるが，クラウド等の技術の進展で，かなり改善
 解析に関しては，予測だけではなく，メカニズム
理解の視点が重要(C)佐藤忠彦， 201919

サイエンティフィック・システム研究会(20190627)

Thank you!
佐藤忠彦（筑波大学）(C)佐藤忠彦， 201920

大規模データ処理システム最適化 WG

Appendix1.6. 大阪大学サイバーメディアセンター

成果報告書 添付資料

W

D
r0

i
”

m

m

•

m

m

m

•

m

m

m

•

m

m

m

l
wz

•

m m

m

m

• U ]1 ccc U]P PZP _NXN a NP W]

•

l

p

p

•

r
v
• CH 246

• v

v
s
w
•
_NXN a[VbR _V e 4eOR ZR VN PR[DR4R[ R bR AR N_PNYR E[VbR _NY
Ca]R P Z]a R ! 4D AEC"
•
A4
!F44"

4 4
•

tvx
• )
• (,

:D

s

w

U ]1 ccc U]P PZP _NXN a NP W] PN RT e _e_ RZMV[

.
g

d

aUel

D

D

nc

D

.

2

2

• V_ _US_NXN a[VbR _V e 4eOR ZR VN PR[DR bR AR N_PNYR E[VbR _NY
Ca]R P Z]a R• GR cR R RNYYe RNTR
O NV[ N AR N 7Y ]_ _e_ RZ• DUR 4 4g _e_ RZ V_ VSSVPaY• FPP 2PR 9PP A44•ADM

RZRZORN[e N]N[R_R ]R ]YR N__ PVN R D2Sa[

I2 : cV U_NXN

DML !zu r" V_ N ONYY _UN]R N]N[R_R _[NPX ZN R S N cURN SY a ON_R ON R
N[ P XR V[ N _]RPVNY Z Y R ]N[ : V_ e]VPNYYe SVYYR cV U ZV[PRVPR P ]a_ ! NX "K(LK)LRZ]a N _P N]_ ! R[XN_a" ]VPXYR TV[TR N[ T RR[ [V [DNX eNXV N R O a_UR cV U NX eNXV_NaPR !_VZVYNG PR_ R _UV R _NaPR" N[ ZNe [[NV_R N[ UR[ _] V[XYR cV U T RR[ YNbR
!N [ V" N[ _UNbV[T_ S VR O [V DUR R N R ZN[e bN VN V [_UR NX eNXV RPV]R S RdNZ]YR] [fa !_ e _NaPR cV U N_UV N[ PV a_ bV[RTN " T ZN N R !_R_NZR N[ bV[RTN _NaPR"bV[RTN R N_UVINXV V_ R VbR S Z eNXa ! s" cUVPU V_ [R S UR P XV[T ZR U _ V[ N]N[R_R PaV_V[RZRN[V[TS e T VYY N[ PN[ OR S a[ V[ UR [NZR_ S UR N]N[R_R PaV_V[R V RZ_ _aPU N_
X [ ZVeNXV N[ VXNeNXV ! UR SNZ a_ _NXN[ V_UR_"
S Z cVXV]R VN

.

U SD H

7 B P GHT

3 B P GHT

44
53 :C (B AXLP( HS HS,(

5C1 FDNHS )2

53 :C B 7 B HS HS(

7 )-0 )- P GHT/0 (),P GHT:DS H TFDNH T DSHG OHO S P GHT
DP F SH P GHT

53 5 RSHTT .

8

F

0

P GHT

53 :C

53 :C B 7 B THS HS

.A

7

P GH

HNNDP 3 , . R SU 54 9PILPL2DPG 4LSHFU S
XLUF,- (0 (P GHT, 6N RT

.

W

i

3 B

(),

4AE

:[ RY HR [ 8 Y -()- !CXeYNXR

RZ e- ( A6N RT) - 8Uf () P R_" d )(0) 837 B)-. . (. A6N RT

4AE:[ RY HR [ 8 Y -()- !CXeYNXR) - 8Uf () P R_" d )RZ e(0) 83

2PPRYR N

F:5:2 DR_YN A(

! F :

"d

sp

-

4AE

:[ RY HR [ AUV .)( !

RZ e

(

8Uf - P R_"(0) 83(4AE
RZ e

7VYR Ce_ RZ
CVfR). A6N RT:[ RY HR [ AYN V[aZ /(, !CXeYNXRv

A6N RT

-D3
u

)
55

2

6H2CPNYR ! a_ R"

( A3

)

8Uf (- P R_" d/

.

me

ce

kd

a

171

8 2 31 1

1 3

BPGHS U H O UU :L H : FDNN " 7S X 7N EDNN "TDMD BPL HSTLU SDRRNHT XLU U H F DNNHP HT I HG FDUL P DPG SHTHDSF

1

18

2

TN[VfN V [• (( CPU

Y_ cV U ( 4R_] [ V[T 8 N aN R CPU• - :[ R]R[ R[ 8 N aN R CPU

Y_Y_• - BR_RN PU :[_ V a R_o

N V [NY• (V[

V[ E_R 7NPVYV VR_

E_R 6 aPN V [ N[ BR_RN PU 7NPVYV VR_• E[VbR _V e VO N e

s
y
v

• )

j • ) E[VbR _V e n9 _]V NY_lt

• G Y A RZVR :[ R [N V [NY BR_RN PU 4R[ R !GA:":[V VN VbR
2PN RZVP :[V VN VbR_
ok
• 4R[ R S 6 aPN V [ V[ VOR NY 2 _ N[ CPVR[PR_• :[_ V a R S

7NPaY e N[ _ NSS- -,C a R[ _• E[ R T N aN R
• 8 N aN R

U ]1 ccc _NXN a NP W] R[ V[ Rd U ZY

(, ),
/ ,

o

n D
•”

U ]1 ccc aUbRZ _NXN a NP W] W] SRN a R U ZY

m

n

n“j
kk

v
•

U ]_1 U _]V NY R[

x

n“j2:
otʼkk

_NXN a NP W]

CRVeN a N N 4U [U RR IaWV[ CUVZVfa 4UVUV DN[VXNcN Nfa[ V fNXV Ca_aZa 5N R
hD cN _ N 7aYYe 2a ZN R 5VNT[ _ VP Ce_ RZ SU
[ VP D RN ZR[ V[ 5R[ V_ ei
DUR UV RR[ U :666 RCPVR[PR 4 [SR R[PR !R _PVR[PR) (." 2aPXYN[

Rc JRNYN[

P ) (.

n

WknC

O

D

• 8 3 8 41
•
•

m m

m

9A4 !9VTU AR S ZN[PR 4 Z]a V[T"
9A52!9VTU AR S ZN[PR 5N N 2[NYe_V_"
m
y

t

•
b_
• C S cN R C NPX• 9N cN R
•
• y w

i

y wogh c

fbn

lo

sj

大規模データ処理システム最適化 WG

Appendix1.7. 慶應大学

成果報告書 添付資料

第1回 SS研 データ x AI ワーキンググループ

分野・地域を超え、共に社会課題に挑む〜Sensing & Design による価値創出〜

神武直彦 Naohiko KOHTAKE, Ph.D. PMP.
慶應義塾大学大学院 システムデザイン・マネジメント研究科 教授
アジア工科大学院 招聘教授
http://www.sdm.keio.ac.jp/

mailto:kohtake@sdm.keio.ac.jp

Background & Experiences

National Space Development Agency of Japan
Department of Space Transportation Systems
Engineer, 1998-2003

Japan Aerospace Exploration Agency
Digital Innovation Center
Associate Senior Engineer, 2003-2009

Keio University
Grad. School of System Design Management
Associate Professor, 2009-

Sony Computer Science Lab. Keio University
European Space Agency Asian Institute of Technology
Interaction Laboratory
Remote Sensing and GIS Group
Grad. School of Media and Governance ESTEC
Research Associate,1996-1998 Project Assistant Professor, 2003-2006 Visiting Researcher, 2007 Visiting Associate Professor, 2013-

Avionics Development for Launch Vehicle
and Launch Operation for H-II/H-IIA Launch Vehicles

Human-Computer Interaction systems

Independent Verification and Validation
for Various Satellites and the ISS

Ubiquitous Computing Systems

Japan Sport Council
High Performance Center
Division Manager, 2016-

Innovative System Designfor Various Social Issues (e.g. Disaster Management)

On-Board Software Design for Satellites

System Design for Sports

世界体操に「自動採点システム」 国際体操連盟が採用決定 富士通と開発

http://image.itmedia.co.jp/l/im/news/articles/1811/22/l_yx_tai.jpg

衛星測位
衛星通信

地球観測

宇宙システム（観測・通信・測位）
観光
気候変動

水資源

Data link

大気汚染
防災

海賊対策

生物多様性

疫病対策
物流

産業展開

陸上交通
資源開発

森林保全
海上交通

携帯電話
ネットワーク

水産資源管理地理空間情報システム

クラウド執筆・出版した書籍（2014年から2018年）

宇宙から見た地球

取り組み事例地球観測International Space Development

マルチGNSS時代の到来
GPS（米国）・GLONASS（ロシア）・Galileo（欧州）・ BeiDou（中国）・
IRNSS（インド）・QZSS/準天頂衛星（日本）

引用：http://gnss.co.jp/resouce_gnss_basic

マルチGNSS時代の到来
The number of SVs in multi GNSS systems in the world&#!
&"!
+,+,./,//
0+-1//
2,,/
34//
56-//
71.8,//+9:;:<=+>1-,//
+8/

&!!
%!
$!
#!
"!
!

"!!' "!&! "!&& "!&" "!&( "!&# "!&) "!&$ "!&* "!&% "!&' "!"! "!"&

宇宙から見た地球
東京における測位実証実験

地球観測

15

Oil Palm Management with Remote
Sensing and GNSS Data in Malaysia

17

Visit terrace area.

Test Multi GNSS signal.

Visit construction site.

Demo on conventional method.

Issues & Requirements• To replace old palms (32 y.o) that is uneconomic
with new quality seedling• To improve palm stand from 115 palms/ha to atleast 130 palms/ha• To improve current yield that is very low (10-19t/ha) to 24 t/ha.
• To prepare infrastructure especially for hilly areafor future mechanization• To compare conventional method of replanting
and ICT-based technique

Concept
Planning

Re-Planting

Managing

Multi-GNSS測位実現性の実証実験








.







.

単独GPS測位

Multi-GNSS測位

RTK測位

表 衛星測位実験の使用機器
機器

使用・用途

個数

1

u-blox EVK-M8T-0

u-blox社製のL1対応のGNSS受信機1

3

2

u-blox付属のアンテナ

Multi-GNSSアンテナ

3

3

Trimble NetR9

Trimble社製のL1+L2C対応のGNSS受信機

1

4

Zephyr model 2 antenna

Multi-GNSSアンテナ

1

5

Lets Note RZ4

u-centerをインストールしたWindows計算機

2

6

u-center/Magnet

データ取得ソフトウェア

2

7

RTKLIB 2.4.2

解析ソフトウェア1

24

宇宙から⾒た地球

地球観測

HiPerV | TOPCON

EK-M8N | u-blox

プロトタイピングによる実証実験
オイルパーム伐採前の平坦地：オイルパーム伐採位置決めプロセス

従来手法

新手法

オイルパーム伐採後のテラス：植樹位置決めプロセス

従来手法

新手法

26

MEET Ms. X• Low income farmer in rural
Cambodia• Heavily dependent of income
from farming

Low income = Low
productivity
Interview at Shem Riap, Cambodia on July 01, 2017.

29

30

スポーツシステムデザイン・マネジメントラボ

http://www.sports.sdm.keio.ac.jp

地球観測

37

Monitoring
Athlete宇宙から見た地球

地球観測© FIFA38

http://number.bunshun.jp/articles/-/824551

OptimEye S5 | Catapult Sports

GL770 | TranSystem● Position Data from GPS (USA) satellite.
● Position Data from GPS, QZSS (Japan), Beidou (China)https://research-highlights.keio.ac.jp/article/89/space-technology-for-a-world-of-problems

宇宙から見た地球

Date  
Y+`%

%

c|~tTauwywTmt}tqqrwyw




owzt

;CO

zw{

z

k|U



k|X

L'

`W

k|Y

7H

`W

k|Z

?7D

`W

k|[

EN

`W

k|\

2-

k|]

:71

k|^

K,G

k|_

/

`W

k|`

38#

[\

k|XW

4

\Y

k|XX

.6

]W

k|XY

BA)

]W

k|XZ

0,&

]W

k|X[

J5"

]W

k|X\

><

(M!9IzVzw{



*PF

Rjq

fwuvQg{t{sw

xzVv

R

z

RfwuvQg{F$$fmjq

fmQat

i\

i[

X



V

V





@

!

iZ


Y_ZZ
YY`]
YY][
Y^[Y
YYWZ
YZW`

ZXU\
Y\U\
Y\UY
ZWU\
Y[U\
Y\U^

YZUY
X`U[
X^
YY
YXU_
Y[U\

_ZR
]`R
]XR
^`R
^_R
__R

YW]
Y^
W
YZY
]]
Z\^

^UZR
XUYR
WUWR
_U\R
ZUWR
X\U\R

X`
Y\
X\
Z]
Y[
Y`

WUYX
WUY_
WUX^
WU[W
WUY^
WUZY

_
Z
W
XX
Z
XY

YWW
X`^
YWW

XZ[
XZ^
XZ^

X[
XY
`

^
]
XX

^
`
XY

X`W
X__

XZZ
XYX

]
Y

XY
XZ

_
]

Y\UZ
Z[UZ
Z^U_
\YU[
[WUY
Z\U\
Z`UX
Z^U^

YYU]
YZU\
YYU_
Y\U`
YYUZ
YXUZ
Y[UY
YXU[

_XR
^ZR
^XR
_XR
^WR
]^R
^]R
]^R

ZYY
YYW
X`Y
ZW_
Y[W
Z[
Y[Y
X]X

X[UYR
X[UYR
`U_R
`U_R
XWUWR
XU]R
XWUZR
^UXR

Z[
Y\
X_
`
Y_
X\
Y\
ZZ

WUZ_
WU\]
WUZ\
WUX\
WU[^
WUY\
WU[Y
WU\\

XY
`
XW
XX
XY
Y
XW
`

YWW
YWW
YWW

X[Y
X[\
X\X

XX
X[
X_

^
]
Z

X^
Y
Y

X`_
YWW
X`W

X[W
XZX
X]\

XX
Y
[

^
Z
XX

Z
Z
Z

]W

YY^Z
X\[\
X`]Z
ZX[X
Y[XX
YXZY
YZ[^
YY]W

`W
`W
`W
[`
]W

Y[][
Y[^Z
YY`X
X^\[
Y[\_

Y^
Y^
Y\
Z]
[X

YW
YY
Y[
YZ
YZ

^XR
^_R
_[R
^YR
^YR

^_
X[`
Z[W
YW]
X`^

YU_R
\U^R
X[U_R
XYUWR
^U_R

YW
ZW
ZY
YY
YY

WUYY
WUZZ
WUZ\
WU[\
WUZ^

[
^
XY
XW
`

X``
X`W
X`[
YWW
X`]

XZ]
XZZ
XZY
X[_
X[\

XY
]
^
X]
]

_
XY
XW
\
^

`
_
XY
Y
Z

epd

`W

Y[X^

Y^

YY

^^R

X^Z

^UXR

Y]

WUY`

^

X`]

XZ[

`

`

XW

bhn

\^

YY\^

[W

YZ

^YR

YWW

`UWR

YY

WUZ`

`

X`_

X[]

XW

]

Z

=

e~|{QZ

il
bm
fb
bhn

`W
`W

 fwuvQg{t{sweVb

S(FXxz(M!9YZZ^

I_WzVzw{X_]

Y[

ラグビーデータ活用の主な効果
宇宙から見た地球
1. 怪我の予防
2. コミュニケーションの誘発••

監督・コーチと選手
選手同士

地球観測

3. コンディショニングマネジメント•

運動・睡眠・食事

4. 各選手に対応したパーソナルトレーニングの立案•システムがある時間連続して作動している確率。

5. 戦略の立案・実施
45

宇宙から見た地球

地球観測

46

宇宙から見た地球

地球観測

47

宇宙から見た地球

53

宇宙から見た地球

地球観測

宇宙から見た地球

宇宙から見た地球スポーツデータみらいデザインラボ
神武 直彦 Naohiko Kohtake, Ph.D., PMP.
慶應義塾⼤学⼤学院システムデザイン・マネジメント研究科 教授

ジョギングデータをスマートウォッチでセンシング

うごく
ドローンを飛ばしてセンシング

プロスポーツ試合のスタッツデータをチェックしる
自分のデータをタブレットで確認して考える

試合データを前に家で親子のディスカッション

はなす
コーチと一緒に
作戦を練る

発展する
スポーツみらいデザインラボ

ラボの活動
オープン
ワークショップ

セミナー

プロジェクト

スポーツデータ活⽤実践の場

ステークホルダ対話の場

場のデザインスケジュール
2018.9
セミナー/2-3ヵ⽉

2018.7
キックオフイベント

オープンワークショップ/半期
プロジェクトミーティング

2019

2018

2020

Artificial Intelligence (AI)AgriTechBigdata

Drone

Fablication

FinTechInternet of Things (IoT)

Mobility as Service (MaaS)

Virtual Reality (VR)まとめ
宇宙から見た地球
1.

2.

高機能で廉価なIoTデバイスを誰もが容易に手にできる時代ü

多様なステイクホルダとの共創（Co-Creation）

üEnd-toEndのリアルタイム性ü

ユーザインタフェース（UI）/ユーザエクスペリエンス（UX）

データも人も容易に国境を超える時代

地球観測ü誰もがユーザであり、カスタマーであり、サービスプロバイダ
üデータの独占化：GAFA（Google, Apple, Facebook, Amazon）
ü他分野連携、地域連携/海外連携（Glocal）、多世代連携

3.

人材育成と事業創出を共に実現するシステムとプロセスへü

データ駆動型価値創出のための人と事業の育成•

ü

アナリスト （Data Analyst） → デザイナー （Designer with Data）
STEM (Science, Technology, Engineering and Mathematics)
72