Non-IID
DataSetModel 2Model 1++Model 1

Model 2traintrain

0 1 1 1 42 1 1 1 6
3 1 1 1 8

Node 1encounteraggregate

NewModelaggregate

無線アドホック連合学習～完全分散型の協調的機械学習～

0 2 2 2 5
1 2 2 2 7
3 2 2 2 9

New
Model

Non-IID
DataSetNode 2

東京大学 大学院情報理工学系研究科
准教授 落合秀也, Ph.D.

1

Table of Contents• 機械学習の分散化• Wireless Ad Hoc Federated Learning (WAFL)
• 特徴
• 原理
• 動作の確認（ベンチマーク評価）• 応用と発展• 今後の見通し• まとめ2

Table of Contents• 機械学習の分散化• Wireless Ad Hoc Federated Learning (WAFL)• 特徴• 原理• 動作の確認（ベンチマーク評価）• 応用と発展• 今後の見通し• まとめ3

背景： 機械学習アーキテクチャは中央集権的だった
１．データを1か所に集め、２．Big Data を形成し、３．閉じられたサーバの中でモデルの学習が行われた
画像処理、音声認識などを得意とする。
そこにあるデータが対象となった。
インターネットはデータを運ぶための技術でしかなく、ほぼ無縁と考えられてきた。

4背景: Federated Learning (2017 – by Google, etc.)の登場
Federated Learning: Collaborative Machine Learning without Centralized Training Data

プライバシー規制 (欧州のGDPRなど)を背景に、データを集めずに機械学習を可能にする連合学習 ( Federated Learning ) が提唱された。

https://ai.googleblog.com/2017/04/federated-learning-collaborative.html

ポイント2 ： 学習モデルの合成演算が可能

ポイント1 ： Data を集めずにただ、これはサーバ・クライアント 型だぞ ?! （いまだに中央集権的）➔ 完全な分散システムにしちゃおうじゃないか！

5

無線アドホック連合学習(WAFL) へのアプローチ

サーバ・クライアント型を Peer-to-Peer型にしてみる
１．各ノードは各自が持つデータを使いそれぞれモデル学習を行っている

Data

２．それぞれのノードが出会う

Data

３．出会ったノード間はWi-Fi Ad HocモードやBluetoothなどの近隣無線技術で通信できる

6

無線アドホック連合学習(WAFL)へのアプローチ

サーバ・クライアント型を Peer-to-Peer型にしてみる
１．各ノードは各自が持つデータを使いそれぞれモデル学習を行っている

２．それぞれのノードが出会う
３．出会ったノード間はWi-Fi Ad HocモードやBluetoothなどの近隣無線技術で通信できる
４．お互いに持っているモデルを交換し合成して、新しいモデルとする。

５．これによって、学習が協調的に7行われる。

Non-IID
DataSetModel 2Model 1++Model 1Model 2train

train0 1 1 1 4
2 1 1 1 6
3 1 1 1 8

Node 1

ラベル１のデータが多い

encounteraggregate

NewModelaggregate

協調的な学習がもたらす意味

0 2 2 2 5
1 2 2 2 7
3 2 2 2 9

１．各ホストの持つデータにはクラスの偏りがある例）- ラーメン好きはラーメンの写真が多数- 電車好きは電車の写真が多数
New
Model

Non-IID
DataSetNode 2

ラベル２のデータが多い

２．データを集めて Big Data を形成する場合には、クラスの偏りは中和されたが、集めないとそのような傾向が生まれやすい
Non-IID 特性 と言う。
３．偏りがあるデータで学習を行うと汎用的な判別ができるモデルにならない例) ラーメン好きの端末では、線路の写真をラーメンと判別しやすくなる。

４．それぞれのモデルを合成することで、正しく判別できる汎化されたモデルを生成できる。

8
Hideya Ochiai et. al., “Wireless Ad Hoc Federated Learing – A Fully Distributed Cooperative Machine Learning”, arXiv, 2022.

無線アドホック連合学習(WAFL)

多くのノードとの出会いが汎化モデルの獲得に繋がる
Node 1

Node 2

Node 3

Node 4

1 1 1
1 1 1
1 1 1
2 3 4
Data Set

2 2 2
2 2 2
2 2 2
1 3 4
Data Set

3 3 3
3 3 3
3 3 3
1 2 4
Data Set

Model Exchange
andAggregation
Model

Model

Contact Area
4 4 4
4 4 4
4 4 4
1 2 3
Data Set

Model

Model

偏りのある学習が行われている

1 1 1
1 1 1
1 1 1
2 3 4
Data Set

Model

All the models
are aggregated.

Model

4 4 44 4 44 4 4
1 2 3
Data Set

1 1 1
1 1 1
1 1 1
2 3 4
Data Set

Trajectory of Node 1

ModelContact Area

Contact Area

Model Exchange
andAggregation

出会いによるモデルの合成

Model Exchange
andAggregation

Trajectory of Node 4

汎化モデルの獲得
9

Table of Contents• 機械学習の分散化• Wireless Ad Hoc Federated Learning (WAFL)
• 特徴
• 原理
• 動作の確認（ベンチマーク評価）• 応用と発展• 今後の見通し• まとめ10

無線アドホック連合学習(WAFL) の特徴
1. 第三者(仲介者)を交えずとも学習が可能• 仲間内の問題に第三者を介入させない

2. 権力構造が存在しない• Server-Client型では Server運営組織に権力が集中する• Server-Client型は Master-Slave型に化ける。
• Peer-to-Peer型では対等である。

3. Multi-Vendor環境を実現可能• プロトコルを決めれば誰でも参入できる11

Non-IID
DataSetModel 2Model 1++Model 1Model 2traintrain

0 1 1 1 4
2 1 1 1 6
3 1 1 1 8

Node 1encounteraggregate

New
Model

aggregate

無線アドホック連合学習(WAFL)の原理
WAFL: Wireless Ad Hoc Federated Learning

0 2 2 2 5
1 2 2 2 7
3 2 2 2 9

Node 2New
Model

Non-IID
DataSet12その前に・・・機械学習の仕組み
𝑥, 𝑦 ∈ 𝐷𝑦𝑥𝑦ො = 𝑓(𝑥, 𝜃)

loss𝑦𝜃ҧ ≅ argmin𝜃

σ𝑥,𝑦 ∈𝐷 𝑙𝑜𝑠𝑠(𝑓 𝑥, 𝜃 , 𝑦)𝐷

最適化された 𝜃 を使えば…

𝑥𝜃𝑦ොloss𝑦

この loss を D全体 に渡って最小化するように θ を調整する𝜃 ←𝜃−𝜂∇σ𝑥,𝑦 ∈𝐷 𝑙𝑜𝑠𝑠(𝑓 𝑥, 𝜃 , 𝑦)𝐷(*) θ は モデルパラメータ (1000次元など)

𝜃ҧ𝑥𝑦ො𝑥 に対応する 𝑦 を 十分な精度で予想できる

𝜃ҧ3

𝜃ҧ

6

100発100中であれば精度(Accuracy)100%と言う100発95中であれば精度(Accuracy)は95% 13

WAFLでの学習
4. 繰返し𝜃𝐴𝜃

2. 合成 𝐴𝑦ො𝜃𝐴
2. 合成𝐵
𝐴
𝜃+
𝜃
𝜃𝐵 ←2

𝐵

3. 調整

3. 調整
𝜃 ←𝜃 −𝜂∇𝜃𝐵𝑥

𝐵

𝜃 +𝜃
𝜃 ←2
𝐴ノードB𝑦ො𝐴𝐴

データセット: 𝐷 𝐵
モデルパラメータ: 𝜃 𝐵σ𝑥,𝑦 ∈𝐷𝐴 𝑙𝑜𝑠𝑠(𝑓 𝑥, 𝜃𝐷𝐴

4. 繰返しノードA

データセット: 𝐷 𝐴
モデルパラメータ: 𝜃 𝐴𝑥

0. 物理的な出会い

𝐴, 𝑦)𝜃𝐵 ← 𝜃𝐵 − 𝜂 ∇σ𝑥,𝑦 ∈𝐷𝐵 𝑙𝑜𝑠𝑠(𝑓 𝑥, 𝜃 𝐵 , 𝑦)
𝐷𝐵14

WAFLで学習が成立する仕組み(1/5)：

最小化する θ にたどり着く
盆地のような構造がある

𝐷 𝐴 での最小値

Loss

ノードA単体で学習した場合

ModelParameter
15𝜃WAFLで学習が成立する仕組み(2/5)：

データセットが異なれば最小化する θは異なる

𝐷 𝐵 での最小値

Loss

ノードB単体で学習した場合

ModelParameter
16𝜃WAFLで学習が成立する仕組み(3/5)：

Loss

協調しないとモデルの汎化は不十分
１．DA での最小値はNode A にとっては最適だが、Node B (DB ) には不適

𝐷 𝐵 での最小値

２．DB での最小値はNode B にとっては最適だが、Node A (DA ) には不適

𝐷 𝐴 での最小値➔ モデルの汎化は不十分ModelParameter➔ モデルの汎化は不十分
17𝜃WAFLで学習が成立する仕組み(4/5)：

協調することで双方にとって最適な 𝜃が見つかる

𝐷 𝐵 での最小値➔ 双方にとって最適な点を探索することになる𝐷 𝐴 ∪ 𝐷𝐵 での最小値は、θ 空間上で引き寄せあう働きをする。
（上記の場合は、中点を取る）

𝐷 𝐴 での最小値𝐴𝐵𝜃+𝜃𝜃𝐴 ←2Loss

モデルの合成：

ModelParameter18𝜃WAFLで学習が成立する仕組み(5/5)：

収束の様子・・・２次元での考察
D𝐴 ∪ D𝐵 のLossの盆地モデルの合成結果
𝐴𝐵𝜃+𝜃
𝜃𝐴 ←2は必ずしも、盆地内にあるとは限らない
その後行われる調整、𝐴𝐴𝜃 ←𝜃 −𝜂∇σ𝑥,𝑦 ∈𝐷𝐴 𝑙𝑜𝑠𝑠(𝑓 𝑥, 𝜃 𝐴 , 𝑦)
𝐷𝐴によって、盆地内に引き戻される。

繰り返し行うことによって、双方の共通の盆地にたどり着く𝜃𝐴

𝜃 𝐴 + 𝜃𝐵2D𝐴 のLossの盆地

𝜃𝐵

D𝐵 のLossの盆地

19

Table of Contents• 機械学習の分散化• Wireless Ad Hoc Federated Learning (WAFL)
• 特徴
• 原理
• 動作の確認（ベンチマーク評価）• 応用と発展• 今後の見通し• まとめ
20

無線アドホック連合学習(WAFL)の動作確認
WAFL: Wireless Ad Hoc Federated Learning21

ベンチマーク評価による確認• ベンチマークテストの意義• 標準的であり、再現性がある• 技術特性への理解が深まる• データセット• MNIST を使用• 機械学習モデル

Yann et.al., THE MNIST DATABASE of handwritten digits, 1998.
http://yann.lecun.com/exdb/mnist/• Multilayer Perceptron (MLP) を使用• モビリティ・パターン• 静的なトポロジー構成： 4種• 動的なパターン Random Waypoint Mobility (RWP)： 3種• 動的なパターン Community-Structured Environment (CSE)： 3種• シミュレーション• 1台のコンピュータ内にこれらを定義し、シミュレーションを実行

22

Random Waypoint Mobility

ベンチマーク評価: 実験設定

90% Non-IID MNISTデータセット■ Training用データの分布

Node n は ラベルnがノード内で90%を占めるようにサンプルを保有■ Test用データの分布
全ラベルが均等に出現するものとする (IID) – MNISTの標準テストデータセットを使用(*) IID: independent and identically distributed23

ベンチマーク評価: 実験設定

2𝑥

ReLU
Flatten

2層の全結合ニューラルネットワーク

Linear10128

Linear128784

機械学習モデル𝑦2𝑦ො
Cross Entropy Loss
Adam Optimizer
Learning rate 0.001
Coefficient of Aggregation 1.024

ベンチマーク評価１. 静的なトポロジーでの検証• センサネットワークなどで、ノードが静止しているとき、静的なトポロジーとなる• 4種のトポロジーを想定してWAFLを実行

static_line

static_tree

static_ringstar static_dense25

ベンチマーク評価

テストデータに対する混同行列の変化 @Node 9での様子
static_lineの場合

Epoch 200

Epoch 5000

static_line

Epoch 1

初め、多くのデータを 9 と判定してしまっている

最終的に誤判定は大きく減少

例えば、4を9と誤判定。7を9と誤判定など
26

ベンチマーク評価

精度の推移 (静的トポロジーの場合)
WAFLは従来のFederated Learningと同等の性能を出している

10.0-11.5%の向上
Self-Trainの精度(*) 精度の振動は Optimizer Adamによるもの
27

ベンチマーク評価

２. 動的なパターンでの検証
c0
Node 0c2
c1

Random Waypoint Mobility(RWP)

Node 2Node 1

Community-Structured Environment
(CSE)
28

ベンチマーク評価

テストデータに対する混同行列の変化
Epoch 200

Epoch 5000

rwp0500

Epoch 1

RWP, CSEの場合
Node 9 での様子

cse02

staticの場合と同様の傾向が読み取れる29

ベンチマーク評価

精度の推移 (動的パターンの場合)(a) RWPの場合(b) CSEの場合(*) 精度の振動は Optimizer Adamによるもの
30

ベンチマーク評価: 精度の一覧
Training Method

Accuracy [%]Diff(FL) [%]Diff(Self-Train) [%]WAFL (static_line)

96.337±0.595-0.41911.674

WAFL (static_tree)

95.906±1.196-0.85011.243

WAFL (static_ringstar)

96.110±0.745-0.646

11.447

WAFL (static_dense)

95.643±1.036-1.113

10.98

WAFL (dynamic_rwp0500)

95.389±1.218-1.367

10.726

WAFL (dynamic_rwp1000)

95.230±0.981-1.526

10.567

WAFL (dynamic_rwp2000)

93.659±0.948-3.097

8.996

WAFL (dynamic_cse02)

94.840±0.833-1.916

10.177

WAFL (dynamic_cse04)

95.454±1.288-1.302

10.791

WAFL (dynamic_cse08)

95.560±0.946-1.19610.897Federated Learning

96.756±0.928--

Self-Training

84.663±1.285--

接触機会が多い方が若干高い（学習は途中でありEpochを進めればさらに進むことを示唆）

31

Table of Contents• 機械学習の分散化• Wireless Ad Hoc Federated Learning (WAFL)
• 特徴
• 原理
• 動作の確認（ベンチマーク評価）• 応用と発展• 今後の見通し• まとめ32

無線アドホック連合学習(WAFL)の応用と発展
WAFL: Wireless Ad Hoc Federated LearningPurpleApple

走る (正常)空振り (正常)Big

打撃 (正常)MT-WAFL

アタック (正常)走る (正常)レシーブ (正常)交通事故に遭う (異常)1. Labeling by their own perspective

山で滑落する (異常)2. Model mixture by MT-WAFL
Apple

加速度センサ

加速度センサSmart watch

Smart watch

PurpleBig

3. Multi-Task Execution(1) 自己位置推定(2) ブレーン・ストーマ(3) 異常検知33

WAFLによる自己位置推定モデルの協調学習
１．背景： Wi-Fi の APのRSSI値の表から自己位置推定が可能

２．従来手法の問題点：
すべての地点のRSSI表を作成して集める必要あり
３．WAFLでは、(a) あるノードは 0 の近くのみを計測して学習(b) 別のノードは 9 の近くのみを計測して学習(c) ノード間でモデルを交換することによって、全体を計測したことになる
４．どこに行っても、自己位置を推定できるようになる
34

杉崎勇介, 落合秀也, and 江崎浩. "Wi-Fi の信号強度を用いた自律分散協調学習による広域自己位置推定." 研究報告アルゴリズム (AL) 2022.17 (2022): 1-4.

WAFLによる自己位置推定モデルの協調学習

実験設定

位置ラベル

各位置に1つずつノードが存在、近隣ノードとの通信が行われる状況を想定

ノード間の接続関係

35

WAFLによる自己位置推定モデルの協調学習

実験結果(1/2): ノード8 の 位置推定精度の変化

Epoch 10Epoch 2000

開始時には、実際の位置に対して、誤った場所を多く推定していたが、学習が進むにつれ、正しい場所を推定できるようになった。
36

WAFLによる自己位置推定モデルの協調学習

実験結果(2/2): 各ノードでの位置推定精度の変化

全てのノードで95%以上の精度が得られた

37

WAFLによる多角的認知の統合
Purple１．人々は提示されたものに対して異なる観点の反応をする

AppleBigMT-WAFL

２．これらの反応を統合すればそのチームの考え方に適合した反応モデルが作られる

1. Labeling by their own perspective

2. Model mixture by MT-WAFL
Apple
PurpleBig

3. Multi-Task Execution
38

WAFLによる多角的認知の統合

実験設定

ラベル保有率の分布

X: Fashion-MNIST画像を Rotation および Resize した画像
Y: 画像のクラス(0, 1, …, 9)
Z: 画像のRotation (0, 1, 2, 3)
rwp0500で実験
W: 画像のサイズ (0, 1)

5: サンダル

yz

ラベルY

ラベルZ

ラベルW

Node 0-4

99%

1%

1%

Node 5-71%99%1%

Node 8-91%

1%

99%

1: +90°回転

0: 縮小無し

xw
39

WAFLによる多角的認知の統合

実験結果(1/2): ノード8での認知精度の変化

ノード8 は サイズの認知に特化。
Epochが進むにつれて、クラス(Y)や回転(Z)の認知精度も向上

40

WAFLによる多角的認知の統合

実験結果(2/2): ノード0, 5, 8の認知精度の変化

ノード0 は クラス(Y)の認知に特化。

Node 5 は 回転(Z)の認知に特化。

Node 8はサイズ(W)の認知に特化。

Epochが進むにつれて、多角的に認知精度が向上。
41

WAFLによる表現学習と異常検知

異常検知 Non-IIDの場合

Local Anomaly(そのノードにとっては珍しいが、全体的に見れば珍しくない)

Node 0の持つデータ

Node 1の持つデータ

Node 2の持つデータ

Node 3の持つデータ

Global Anomaly(全体的に見ても珍しいデータ)

検知したいのは Global Anomaly
42

WAFLによる表現学習と異常検知

Global Anomalyを検知するにはEncoder

正常入力

Autoencoder

Encoder

異常入力

Decoder

出力(再構成)Decoder

Autoencoder

出力(再構成)「正常データ入力では精密に再構成する」
よう、ノードのデータ分布の違いを吸収する学習させる。

Global Anomalyの入力に対しては、再構成に失敗する
43

WAFLによる表現学習と異常検知

実験設定

学習データの分布 (99.95% Non-IID)

NodeL0
L1
L2
L3
L4L5L6L7L8L9
Node 0 4736
000000000
Node 105418
00210001
Node 2004779
0000000
Node 31004911
001100Node 400014733
00000
Node 5000004343
1000
Node 60001004712
000
Node 710101025046
00
Node 8100000104714
0
Node 90000000014751

Total
4736
5422
4479
4914
4734
4344
4713
5051
4716
4752

例えば、Node 8単体(WAFLなし)で学習した場合のテストは：Encoder

正常入力

Decoder

Autoencoder

出力となることが期待される
44

WAFLによる表現学習と異常検知

実験結果(1/2):
ノード8でのAutoencoderの再構成の変化
1. Self-Train直後の WAFL (epoch 0) では
0 ～ 9 の どの入力に対しても 8 となっている
2. WAFLの epochが進むにつれて他ノードのモデルが合成され、0 ～ 9 の どの入力に対しても近い結果を出力している。
rwp0500で実験
45

WAFLによる表現学習と異常検知

実験結果(2/2):
Autoencoderの再構成の変化(@Node 3)
1. Self-Train直後の WAFL (epoch 0) では
どの異常入力に対しても 3 となっている
2. WAFLの epochが進むにつれて他ノードのモデルが合成されるが、どの異常入力に対しても不明な結果を出力している(期待通り)。

46

WAFLによる表現学習と異常検知

異常検知の性能(@Node 0)(*) 今回は解説していない Anomaly Score Threshold に関する研究を適用した結果。

1. Self-Train直後では、0 以外のサンプルはほぼ異常と判断
2. Epoch 100では 異常データも正常と判断
3. Epoch 1000以降では正常 or 異常を正しく捉えられるようになっている

47

Table of Contents• 機械学習の分散化• Wireless Ad Hoc Federated Learning (WAFL)
• 特徴
• 原理
• 動作の確認（ベンチマーク評価）• 応用と発展• 今後の見通し• まとめ
48

Open Research Questions (Open Issues)• MNISTはシンプルなデータセット・・・• 一般的な画像/映像についてはどうなの？
• 文章についてはどうなの？
• 音声についてはどうなの？
• IoT や 産業界のデータについてはどうなの？
⇒ センサとセットにできないか？

• コンピュータなどのログについてはどうなの？
⇒ セキュリティ監視ができないか？

• 生成 (GANなど) についてはどうなの？
• Multi-Domain Adaptation (Out-of-Distribution) についてはどうなの？
• WAFLのセキュリティについてはどうなの？
• 実装はどうなるの？
• プロトコルはどうなるの？
• 運用はどうなるの？
49

まとめ• 完全な自律分散型の協調的機械学習-- Wireless Ad Hoc Federated Learning (WAFL) の紹介• WAFLの特徴• 中央集権的な機構が無く、すべてのノードは対等• プロトコルさえ決まれば、マルチベンダー・システムとして動作しうる• 現在の研究ステージ• 純粋なベンチマーク評価• 応用を意識したベンチマーク的な評価➔ いずれも Promising な結果を出している• 今後の研究課題• 多様なアプリケーションへの展開・評価• 実装、運用、プロトコルの設計、標準化一緒に活動できる仲間を探しています。
50