第1回海中海底工学フォーラム・ZERO
2019年4月12日@東京大学生産技術研究所

AIを用いた台風発生の予兆検出とAIコンペティション開催による予測精度の限界への挑戦
海洋研究開発機構（JAMSTEC）
松岡 大祐

ここをAIに置き換える

台風発生予測Early Stage Dvorak Method (EDM)

Data assimilation + Ensemble Model＋• 専門家が、台風になりそうな領域を雲の空間パターンから“目視で”推定（T数=0, 0.5, 1.0が台風のタマゴ）• T≦1.0以下の領域において、複数モデルを用いた将来予測
Yamaguchi and Koide, 2017

気象モデルは非線形性が強く、初期値依存による影響が大きく現れる

データ同化＋数値シミュレーション（model-driven approach）
による極端現象の長期予測は不確実性が大きい

使用データ気象モデルによるシミュレーション（NICAM）

学習データ（2クラス）(a) TCs and pre-TCs (x50,000)…

(c) JAMSTEC(b) non-TCs (x1,000,000)

Model: NICAM (AMIP-type)
Horizontal resolution: 14km
Period: 1979-2008
Variable: OLR, Sea Level Pressure,Wind velocity, TemperatureTC
tracking…

ポイント・information-richなシミュレーションデータで特徴量を学習（観測データに適用）
・台風ベストトラック（雲画像を使用。平均60時間前から）ではなく、 TCトラッキングアルゴリ
3ズム（気圧、風、温度、渦度を使用。平均107時間前から）による正確なラベリング(c) 気象庁

畳み込みニューラルネットワークによる学習（2クラス分類）
Training data: 100,000 (Positive: 50,000, Negative: 50,000), Test data: 5,000
Batch size: 100, Input: OLR

Implemented by Keras (TensorFlow)

Positive

Negative• ハイパーパラメータ（畳み込みフィルタのサイズ・数、畳み込み層の数、DropOut率）は100数十通りの組み合わせを用いた感度実験により最適化（ただし、畳み込み層は5層まで）• AdamOptimizerを使用• 30 Epoch程度でAccuracy: 90%程度

手法
畳み込みニューラルネットワーク（CNN）を用いたアンサンブル学習・予測
1. Training phase (using 1979-1998)

Training data: 50,000 (positive),50,000 (negative)
Validation data: 5,000
Batch size: 100
Input: OLR
質の良い識別器の重みを大きくする

2. Test phase (using 1999-2008)
最終的な存在確率は、複数の識別器の重み付き平均として定義

1𝑝=1010𝑥𝑖𝑖=1 𝑤𝑖 𝑥𝑖

適当な閾値pthを与え、 p ≧ pthとなる
Target dataをpositiveと予測
5

評価指標
空振り率
𝐹𝐴𝑅 =𝐹𝑃1== 25.0%
𝑇𝑃 + 𝐹𝑃3+1(False Alarm Ratio)

補足率
𝐶𝑜𝑟𝑟𝑒𝑐𝑡𝑙𝑦 𝑝𝑟𝑒𝑑𝑖𝑐𝑡𝑒𝑑 𝑇𝐶𝑠
𝑃𝑂𝐷 =𝐴𝑙𝑙 𝑇𝐶𝑠
2= = 66.7%
3(Probability of Detection)

結果
未学習データへの適用結果（Best case）

pth = 1.0

8/82 = 9.8%••

平均すると捕捉率（POD：Recallと同等）は70-90%、空振り率（FAR：1-Precisionと同等）は60-90%程度
発生2日前、5日前、7日前のタマゴのうち91.2%、77.8%、74.8を検出

新たな挑戦

FAR（空振り率）

Bad
Matsuoka+
PEPS 2018▲ Average▲ North Indian Ocean▲ North Western Pacific▲ North Eastern Pacific

空振り率を限界まで低下させたい！

▲ North Atlantic▲ South Indian Ocean▲ South Pacific◆ JMAGood◆ New experiments

POD（捕捉率）

不均衡データのクラス分類
Class imbalance/Imbalanced classification
不均衡データ（例）Training data: 50,000 (positive) and 50,000 (negative)※1,000,000 negativeが使用可能

Positiveはほぼ当てられる（PODは10年平均80%超）

Test data: 5 (positive) and 132 (negative)
ActualActualPositive
Negative
Predicted
Positive

4(TP)

18(FP)

22

Predicted
Negative

1(FN)

114
(TN)

115

5132

空振りが多いほとんどがeasy
negative example

空振りが多い（FARは10年平均70%超）

imbalanced

分類精度の（一般的な）評価指標
𝑇𝑃 + 𝑇𝑁
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 == 86.1%𝑇𝑃 + 𝐹𝑁 + 𝐹𝑃 + 𝑇𝑁
𝑇𝑃𝑃𝑂𝐷 = 𝑅𝑒𝑐𝑎𝑙𝑙 == 80.0%
𝑇𝑃 + 𝐹𝑁
捕捉率（再現率）𝐹𝑃
𝐹𝐴𝑅 = 1 − 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 == 81.8%
𝑇𝑃+𝐹𝑃
空振り率（=1‐適合率）(𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 18.2%)

性能向上の戦略

目的：FP（空振り）を減らす

 コスト考慮型学習・・・少数派クラスの識別を重視して学習 学習データ量の調整
 Undersampling・・・多数派クラスの学習データを減らす
 Oversampling・・・少数派クラスの学習データを増やす アンサンブル学習 Bootstrap aggregating (Bagging)（例）衛星画像分析コンテスト• 産総研は衛星画像データとタスクを提供• 参加者は「衛星画像からゴルフ場を見つける」というタスクに挑戦「数多くのAIコンペ開催実績」と「9000人のAI技術者リスト」をもつ（株）SIGNATEが、データ加工、システム管理、評価までを一括して行う

JAMSTEC×AI
台風コンペティション

主催：JAMSTEC
データ提供：JAMSTEC、理研、東大スポンサー企業（賞品提供）：NVIDIA、GDEP、アーク情報システム、Cray

JAMSTEC×AI
台風コンペティション

JAMSTEC×AI
台風コンペティション• RecallとPrecisionはトレードオフの関係にある• パラメータを与えて調整することができる（台風が多めに出るようにすれば、Recallは上がる）

Matsuoka et al. PEPS (accepted)

JAMSTEC×AI
台風コンペティション？

• 評価用データの一部を用いた暫定順位がリアルタイムに更新• 最終順位は、評価用データの別の一部から決まる

JAMSTEC×AI
台風コンペティション

JAMSTEC×AI
台風コンペティション

SNS上での反応

・・・・・・

SNS上での反応上位入賞モデル
学習モデル

前処理
（学習時）

前処理
（予測時）

その他

POD

FAR

1

Deep Pyramidal
Residual Networks(Ensemble)• Random crop, cut out,
too bool, standardization
による水増し処理• Negative undersampling• Random crop, randomhorizontal flip, random
vertical flipによる水増し処理• Soft voting時の重みをベイズ最適化より探索

0.80336

0.337592

Wide ResNet+SE block• Random crop, random
rotation, random erasing
による水増し処理• 5 crop×回転4パターンによる水増し処理• ミニバッチを正：負=1:3となるように選択• 損失関数としてfocallossを採用

0.806200.37643

3Shake-shake
ResNet• Random vertical flip,random cropによる水増し処理• 5 crop×左右反転による水増し処理• Randomized Leaky Reluを活性化関数に導入

0.79027

0.38229

4MobileNetV2(Ensemble)• Mixup, pixelShufflerによる水増し処理―• 最良のアンサンブルの組み合わせを探索

0.79245

0.40229―• Bagging（重複なし、Pasting）、Soft votingによるアンサンブル学習• Binary crossentropy

0.815491

0.74205

Deep CNN(Ensemble)

詳細は会場で！

• Negative undersampling(Matsuoka et al., 2018)22

性能向上の結果

FAR（空振り率）

Bad
Matsuoka et al.
PEPS (in pres)▲ Average

空振り率の低下に成功▲ North Indian Ocean▲ North Western Pacific▲ North Eastern Pacific▲ North Atlantic

コンペの成果（＝自分の手柄）▲ South Indian Ocean▲ South Pacific◆ JMAGood◆ New experiments

POD（捕捉率）

おわりに• 気象予測におけるAI（特にディープラーニング）の有効性を示した– 特に人為的に行ってきた処理の自動化• 日々大きく進歩するAI技術の全てをフォローすることは重要であるが難しい– 数十本の関連論文が毎日のようにarXiv上で公開• 優秀なAIエンジニア・研究者をいかに巻き込むか– オンラインコンペティションの開催は、異分野の知見を仕入れつつ、信頼できる協力者を見つけるのに有効