20192066
過去なし

エッジ AI に向けた無線環境における分散機械学習手法の開発
研究代表者

杉 村 大 輔津田塾大学 学芸学部 情報科学科 准教授

1 はじめに
深層学習の利活用に関する検討が世界的に進められている．深層学習では，数百万を超えるパラメータにより構成される識別器を訓練することでビッグデータの特徴を解析する．これらのパラメータを適切に学習することで高精度な処理を実現できるが，そのためには大量かつ多様性に富んだ学習データの確保が重要である．深層学習応用に関する現行の議論の多くは，あらゆるモノやユーザのデータをクラウド等のサーバへ集約し，それらを解析する形態を前提としたものとなっている．このようなクラウドへのデータの集約を前提とした深層学習では，多くのユーザから大量のデータを回収する必要があるという性質上，以下のような二つの問題が考えられる：・バックボーン回線の通信負荷増大，・クラウドからのデータ流出に代表されるデータ提供者のプライバシー問題．
深層学習の産業応用への期待が広がる一方で，上記問題，特にプライバシー面での懸念が実用において障壁の一つとなっている．
これに対し近年，分散機械学習と呼ばれる技術が注目されてきている．各端末においてローカルな学習を行い，学習したモデルパラメータを他の複数の端末と共有および更新を行う．このような手順を繰り返すことにより，機械学習の学習速度向上および構築される識別器の識別性能向上を実現する．従来の機械学習では，計算機一台またはクラウド単独での実行を想定しており，確率的勾配降下法(SGD: Stochastic Gradient
Descent)のような数理最適化手法を用いて識別器を構築する．これに対し分散機械学習では，並列・分散型の SGD [1]，[2] に基づき，広域ネットワーク上に存在する複数の端末の計算能力を活用することにより，一台の計算機処理に比べ効率的な学習を行うことができる．また各端末の学習データの開示を必要としない．
これにより，データ提供者のプライバシーを確保したビッグデータ解析の実現が期待できる．
分散機械学習に関する検討の多くは，Federated Learning [3] に代表されるように，集中制御サーバを備えるシステムを仮定している．一方，このようなサーバを用いず，近隣の端末同士が自律分散的に協調することで識別器を構築することも可能である．完全分散型にすることで，車車間ネットワークでの画像認識や災害環境における環境認識のような，固定インフラの仮定が難しい環境への深層学習応用の活発化が期待できる．このような背景から，本研究では完全分散型に着目した検討を行う(以降，これを分散機械学習と表記する)．
分散機械学習では，端末でのローカル機械学習とその学習結果（モデルパラメータ）の共有を繰り返す．
しかしながら，深層学習により構築される識別器が有するモデルパラメータ数は数百万，数千万オーダーである．識別器の軽量化を目指し提案された MobileNetV2 [4] でも 300 万程度のパラメータを必要とし，その情報量は決して少なくない．そのため，無線環境で分散機械学習を実施する場合，距離減衰やフェージング
といった通信路の影響に伴い，モデルパラメータ共有時の通信時間が増大する．これにより，学習全体に要する実行時間性能が極端に劣化する恐れがある．
そこで本研究では，無線環境での分散機械学習を高速化するための通信パラメータ設計法を検討する．具
体的には，モデルパラメータ共有時の送信レート制御を許容した際，通信時間と学習性能にトレードオフが生じる点に着目する．帯域幅や送信電力が定数で与えられる場合，複数端末へ確実にモデルパラメータを共有するためには，低レートでの送信を行えばよい．これによりモデル共有ごとの学習精度改善の効率を確保できる．一方，通信時間が増大するため，実行時間の観点では学習精度特性が劣化することが考えられる．
送信レートを上げればモデルパラメータ共有に要する通信時間を短縮できるが，この場合モデル共有が可能な範囲が狭まる．これにより，モデル共有ごとの学習精度特性は劣化する(図 1)．本研究では，これらの関係を踏まえ，分散機械学習の実行時間高速化手法を検討する．具体的には，ネットワーク密度に関する指標
を制約条件とした通信時間最小化問題として定式化する．ネットワークトポロジに対する組合せ最適化および凸最適化に基づく解法により，各端末の送信レートの適応化を行う．これにより，無線環境における分散
機械学習の実行時間性能の改善を実現する．

1

20192066
過去なし

図 1 分散機械学習の学習特性に対する送信レートのトレードオフ：(a) 高レート送信（疎なネットワークトポロジ）;(b) 低レート送信（密なネットワークトポロジ）；(c)ネットワークトポロジの違いによる分散機械学習の実行時間特性の数値計算例．

提案手法による学習の実行時間特性は，深層学習を用いた画像認識タスクを対象とし，計算機シミュレー
ションにより評価する．距離減衰係数やデータのサンプル条件，制約とするネットワーク密度といったパラメータを変化させた評価を通して，無線環境における送信レート制御により学習を高速化できることを実験的に示す．

2 システムモデル
最初に，本研究で取り扱うシステムモデルについて説明する．通信路モデルを定義した後，分散機械学習
における学習方法および通信プロトコルについて説明する．
2-1 通信路モデル
通信路モデルを定義する．通信距離𝑑 [m]における瞬時受信電力を𝑃 𝑑

𝑃Tx 𝐺 𝐺mW と表す．ここで，𝑃Tx [mW] は送信電力，𝐺 はアンテナ利得，𝐺 はマルチパスフェージングによる利得である．𝐺 は独立
同分布 (i.i.d.: independent and identically distributed)のレイリーフェージングに伴う期待値 1 の指数分布に従い，1 回の通信の間で一定とする．また，𝑑 [m] は参照距離，𝜖は距離減衰係数である．送信電力𝑃Tx [mW]，帯域幅𝐵 [Hz]，および平均雑音電力𝑁 [mW/Hz] は端末間で一定であるとし，𝑃Tx ,𝐵,𝑑 ，𝜖 および𝑁 は端末間で既知とする．以上の仮定のもと，通信距離𝑑における瞬時通信路容量𝐶 𝑑 [bps] は，他者からの信号干渉がない場合，𝐶 𝑑

𝐵 log

1

bps と表すことができる．また，各端末は適応変調によって自身の送信レートを制御できるものとする．ある端末の送信レートを𝑅 [bps]とした際，𝐶 𝑑
あるとき，通信成功であるとする．

𝑅で2-2 学習プロトコル
本研究で取り扱う無線環境における分散機械学習のプロトコルについて説明する．本研究では，協調確率的勾配降下法 (C-SGD: Cooperative SGD) [2] に基づいた学習方法の設計を行う．C-SGD は，単独での SGDや並列 SGD，分散 SGD といった確率的勾配降下法に関する種々のアルゴリズムを統合した SGD アルゴリズムである．C-SGD は，分散機械学習におけるネットワークトポロジや 1 回のローカル学習における学習回数といったパラメータを一般化して表現可能であるため，扱うパラメータを調整することにより，集中制御サー
バの有無によらず適用可能である．
学習を行う端末の台数を𝑛とする．𝑖番目の端末は学習データ数|𝒟𝒾 |のデータセット𝒟𝒾 ，および𝑁次元のモデ
ルパラメータベクトルを持つ．ここで，𝒙 のデータサイズは𝑀 [bit] であり，端末間で一定である． 加え220192066
過去なして，各端末が有するモデルパラメータベクトルは，同一の初期ベクトル𝒙 で初期化されているものとする．
分散機械学習における目標は，相互のデータセットに対する損失関数が最小となるよう，各端末のモデル
パラメータベクトルを最適化することである．この問題は次式のように定式化することができる:

min𝒙 ,𝒙 ,⋯,𝒙

1𝑛

E ∼𝒰 𝒟𝒾 𝐹 𝒙 ; 𝜉・・・ 1

ここで𝜉はあるデータサンプルであり，𝜉 ∼ 𝒰 𝒟𝒾 はデータセット𝒟𝒾 から一様分布に従ってデータ 1 つをサンプリングする操作を表す．また，𝐹は損失関数を意味する．
C-SGD では，次の操作を損失関数の値が収束するまで繰り返すことで式(1)の問題を解く: (i) 端末ごと独立に SGD を𝜏回実行し，自身の識別器を更新する．(ii) 更新したモデルパラメータベクトルを，通信路を介して周辺端末と共有する．(iii) 周辺端末から受信したモデルと自身のモデルを合成し，最新のモデルパラ
メータベクトルとする．
分散型 SGD に関する議論(例えば [2]，[5])では，学習におけるモデル合成の処理を平均化行列𝑾を用いて表現している（ここで，平均化行列𝑾は，条件𝑾𝟏 𝟏(𝟏は，全ての要素が 1 である𝑛次元ベクトルである)を満たすものとする）．先行研究によると，学習精度の理論的特性は𝑾の固有値を用いて評価できることが示されている．このような知見に基づき，送信レートの影響を評価するために，学習プロセスをネットワークト
ポロジの隣接行列および平均化行列によりモデル化する．
前述の通信路モデルに基づき，𝑾の各要素𝑊 を次式で表す:
𝐴

W

∑

𝐴

,

1 𝑖𝑓 𝐶0𝐴

𝑅 or 𝑖 𝑗otherwise・・・ 2

ここで，𝑅 は𝑖番目の端末の送信レート，𝜂は学習率である．𝐴 ∈ 0,1 は𝑖番目の端末が送信した情報が𝑗番目の端末で受信されたか否かを表す．さらに，各要素が𝐴 で与えられる行列𝑨を隣接行列として定義する．𝐶はこれらの端末間の瞬時通信路容量である．
学習回数𝑘が𝑘 mod 𝜏 0を満たすとき，端末間でモデル共有を行う．平均化行列𝑾を用いると，𝑘 1回目に得られるパラメータベクトルは，𝑿
𝑮𝑾 𝑿∇𝐹 𝒙 , ; 𝜉 , , ∇𝐹 𝒙 , ; 𝜉 , , ⋯ , ∇𝐹 𝒙 , ; 𝜉 ,𝜂𝑮 とモデル化できる．ここで，𝑿𝒙 , ,𝒙 , ,⋯,𝒙 ,

,

である．

(1) モデルパラメータ共有時の通信プロトコル
モデルパラメータ共有時の通信プロトコルについて述べる．各端末は，互いの位置関係を予めビーコン信号および GPS によって共有済みであるものとし，かつ時間同期が可能であるとする．学習開始に先立ち，送信レートベクトル𝑹
𝑅 , 𝑅 , ⋯ , 𝑅 を最適化する．
学習プロセス開始後，モデルパラメータを共有する通信フェーズにおいて，各端末は送信レート𝑅 [bps]で自身の最新のモデルパラメータベクトルを周辺端末へマルチキャストする．この際，一度にマルチキャストできる端末台数を 1 台とし，時分割に従って端末番号順にマルチキャストを行うものとする．パケット中のデータ情報のサイズ𝑀がヘッダ情報と比較して十分大きい場合，1 回の通信フェーズで全端末が通信を終えるまでに要する時間は𝑡com

∑

𝛥𝑡com

s と表すことができる．ここで，Δ𝑡com は定数であり，各通信

後の待機時間を表す．この値を適切に設定することで，時間同期のずれや上位レイヤの影響に起因する通信遅延といった実装上の誤差要因に対応することができる．なお，端末間で相互に通信開始及び終了時間の把握を可能とするため，フェージング等により通信が失敗した場合においても再送は行わないものとする．また ACK/NACK による受信結果のフィードバックも設けないものとする．

3

20192066
過去なし

図 2 分散機械学習のプロトコル（𝜏 4，𝑛 4）．
各端末は対象となる無線環境に適応するように自身の送信レートを設定する．設定した送信レートに基づき，各ノードは，損失関数の値が最小になるまで次の二つの手順を繰り返す：(1) 端末ごとでモデルパラ
メータ更新（ローカル機械学習），(2) 更新されたモデルパラメータを端末間で共有・平均化．

(2) 学習全体のプロトコルおよび実行時間
上記システムモデルを踏まえた分散機械学習のプロトコルの例を図 2 に示す．なお，𝑡cal [s/loop] をロー
カル学習 1 ループに要する計算時間とする．実際は，計算時間は端末ごと，および実行回ごと不均一である．
そのため，全ノー ドがが𝜏𝑡cal [s] で 1 フェーズ分のローカル学習を終えると仮定した場合，ネットワーク
全体での同期にずれが生じる恐れがある．そこで，時間同期確保のため，計算時間に対しても待機時間に関する定数Δ𝑡cal [s] を導入する．各端末は𝜏ループ分のローカル学習を行った後，1 回の学習フェーズの時間
が𝜏𝑡calΔ𝑡cal となるよう待機する．これにより，端末間での時間動機のずれといった計算における実装上の不確定性にも対応することができる．これより，𝜏回の学習と 1 回の通信に要する時間は𝑡com

𝜏𝑡cal

Δ𝑡cal

とモデル化する．

3 送信レートと学習精度の関係
本章では，無線環境における送信レートの違いが学習精度へ与える影響について議論する．C-SGD の学習
繰り返し回数に対する勾配ベクトルの二乗ノルムの期待値の収束特性に関する理論結果が，Wang らにより示されている [2]．この結果は，本特性が平均化行列𝑾の固有値に依存することを理論的に示している．無線環境においては，送信レートによってネットワークトポロジの隣接行列が変化するため，本学習特性が送信レートに依存すると考えることができる．そこで，Wang らの解析結果を無線環境に適用することで，送信レートの学習特性への影響を観察する．

4

20192066
過去なし

Wang らの解析では以下の仮定を置いている:(1) |∇𝐹 𝒙∇𝐹 𝒚 |
𝐿 |𝒙 𝒚| (𝐿: 𝐹のリプシッツ定数)，(2) 𝐹 𝒙𝐹inf ，(3) E |𝒙 𝑔 𝒙∇𝐹 𝒙 (𝑔 𝒙 : 𝒙の勾配)，(4) E |𝒙|𝑔 𝒙

∇𝐹 𝒙 |(5)𝜆max |𝜆 𝑾 |, |𝜆 𝑾 |(6) 𝜂𝐿

5𝜂 𝐿

𝛽 |∇𝐹 𝒙 |𝜆 𝑾

𝜎(𝛽,𝜎 : ミニバッチサイズに反比例する非負の定数)，1 (𝜆 𝑾 : 𝑾の固有値のうち𝑛番目に大きな値)，1．

これらの仮定に加え，端末間でデータサイズは等しく，全てのデータは i.i.d.に従うものとする．
以上の条件のもと，各端末のモデルパラメータベクトルの初期値が同一のベクトルで与えられる場合，𝐾回学習した後の勾配の二乗ノルムの期待値の上界は次式で与えられる:E

1
𝐾|∇𝐹 𝑿 |

2𝐹 𝑿
𝐹inf
𝜂𝐾

𝜂𝐿𝜎
𝑛

1 fully synchronized SGD

𝜂 𝐿𝜎

1
1

𝜆
𝜏
𝜆

1

・・・ 3

2 network error

この式は，勾配の二乗ノルム特性が，次の 2 つの要因の和に依存することを意味する：(1)全端末が相互に接続されており(𝑾𝟏𝟏 / 𝟏 𝟏 )，かつ𝜏 1である SGD の特性，(2)ネットワークトポロジ起因の誤差特性．
このうち要素(1)は，𝐾と𝑛が十分大きい場合に 0 と近似できることから，達成可能な勾配の二乗ノルムの最小値は𝜆に依存する．ここで，𝜆は，全ての端末が相互に接続されている際に 0，接続が途切れるほど 1 に近づく性質を示すことに注意する．すなわち，𝜆は，ネットワークトポロジの疎密を表していると考えることができる．このことから，式(3)に示される学習特性は，ネットワークトポロジの密度に依存しているといえる．
送信レートの影響を確認するため，無線環境において送信レートを調整した際のトポロジ密度と，式(3)より評価した学習特性の評価を行った．ここでは𝑛 6の端末を 500m 四方のエリアにランダムに配置し，位置1とした．その他のパラメータは，𝐺1,を固定した．送信レートは全端末一律で𝑅とし，簡単のため𝐺
𝑃Tx

1 [mW], 𝑁

10[mW/Hz],𝐵

1.4

10 [Hz], 𝜖4とした．図 3 左図に， 𝜆に対する送信レート

𝑅の影響を示す．なお，𝜆とネットワーク密度の関係を確認するため，|𝑨|/ 𝑛 𝑛 1 により求められるネット
ワーク密度も同時に評価した（|𝑨|は隣接行列𝑨中の全要素の総和である）．通信距離は𝑅を大きくとるほど短くなる．そのため，ネットワーク密度は𝑅に依存して小さくなる．一方で，𝜆は𝑅が大きくなるほど 1 に近づいていることがわかる．このことから，𝜆の値を用いてネットワーク密度の低さを測ることができる．
次に学習特性に対する送信レートの影響を評価した．図 3 右図に，学習回数を𝐾

1,100, 𝐾 → ∞と変化させた際の式(3)の数値結果をそれぞれ示す．この図において，𝑦軸の値は図 3 左図に示した数値シミュレー
ション結果で得られた𝜆を式(3)に代入することで得た．この数値結果より，𝐾が大きくなるほどネットワー
クトポロジの影響が大きくなることがわかる．例えば𝐾 → ∞において，送信レートが大きくなるほど学習特性が劣化することが確認できる．しかしながら，その影響は顕著なものではなく，𝑅を 6Mbps から 3Mbps へと半減させても𝑦軸の値の変化は10 オーダー程度であり，非常に小さいことがわかる．一方で，𝑅を小さくとるほどモデル共有に要する通信時間が増大することが見て取れる．このことから，学習の実行時間特性が劣化する恐れがあると考える．

4 送信レート適応化による分散学習の高速化
前章での議論より，学習特性改善に対してネットワークトポロジを密に形成することは必ずしも効果的ではないことがわかった．一方で，送信レートは通信時間特性に直接影響を及ぼすため適切に設定することが重要である．これを解決するために，分散機械学習における送信レート設計を，ネットワーク密度を制約条

520192066
過去なし

図 3 設定する送信レートの影響に関する数値シミュレーション結果例（左図：ネットワーク密度（青線）と𝜆（黒線）に対する影響; 右図：学習特性に対する影響）件とした通信時間最小化問題として定式化する．これにより，学習特性を担保しつつ通信時間特性の向上を実現する．
4-1 最適化問題の定式化
前章で示したように，𝜆の値からネットワーク密度の低さを測ることができる．加えて，𝜆は隣接行列𝑨より一意に定まるため，各端末の位置関係および送信レートベクトルの候補から計算することができる．そこ
で，無線環境における分散機械学習のための送信レート最適化を次のように定式化する:
min 𝑡com

・・・ 4a𝑹

s.t. Pr 𝜆𝑅𝜆target ⋂𝑆 𝐺, 𝑣𝑉10 ∀𝑖𝑝out ・・・ 4b
・・・ 4c

ここで，𝜆target は区間(0, 1)の定数であり，達成可能な学習精度の所望値や学習条件によって定めるパラメー
タとする．また，𝐺𝑉, 𝐸 はネットワークトポロジを表現する有向グラフであり，𝑉𝑣 , 𝑣 , ⋯ , 𝑣 は端末の集合を表す．𝐸は辺の集合であり，2 つの端末𝑣 ,𝑣 が𝐶
𝑅 を満たすとき，𝐺はこれらの端末間の辺を含む．また，𝑆 𝐺, 𝑣 は有向グラフ𝐺において端末𝑣 からの有向路が存在する端末の集合を出力する操作を意
𝑉とは，対象のネットワークトポロジが強連結であり，味する．即ち，制約条件(4b)における⋂ 𝑆 𝐺, 𝑣
分散機械学習時，各端末の学習結果が相互に行き渡ることを意味する．また𝑝out はトポロジの所望特性に対するアウテージ確率を意味する．フェージングによるトポロジ変動の影響を制限するため，本パラメータを導入する．
4-2 問題(4)の解法
制約条件(4b)を閉形式で表すことができないことから，問題(4)の解を一度に得ることは困難である．そこ
で，本問題を次の 2 ステップに分割して解く:(a)フェージングの影響を無視した上でのトポロジ設計,(b)設
計したトポロジの確率的保護を制約とした通信時間最小化．ステップ(a)は端末間の通信路容量行列に基づく組み合わせ最適化，(b)は凸最適化による解を得ることができる．以下，各ステップの詳細について説明する．

620192066
過去なし(1) フェージングの影響を無視したトポロジ設計
ここでは𝐺
1とし，トポロジの確率的変動要素を除いた条件での最適なトポロジ設計を行う．この場合，問題(4)は次式のように表すことができる：

min

𝑀
𝑅

Δ𝑡com

・・・ 5as.t.

𝜆𝜆target ,・・・ 5b𝑉,・・・ 5c𝑹mean

𝑆 𝐺, 𝑣𝑅0 ∀𝑖・・・ 5d

ここで𝑹mean𝑅 , 𝑅 , ⋯ , 𝑅 は𝐺
1のときの送信レートベクトルである．
1のときの端末間の通信路容量行列𝑪mean を定義する．この行列は，要素𝐶 がこの問題を解くために，𝐺1のとき𝑖番目の端末が𝑗番目
端末 𝑖 -𝑗 間の通信路容量であり，端末の位置関係に応じて一意に定まる． 𝐺
𝐶 とすればよい．このことから，𝑹mean の候補は，各要素を𝑪meanの端末へモデル共有を行うためには，𝑅の各行の対角成分以外から 1 つを選ぶことで構成することができる．すなわち，問題(5)は最大候補ベクトル数が 𝑛 1 となる組み合わせ最適化問題とみなすことができる．本研究では，𝑪mean に対する全数探索により本問題を解き，最適な隣接行列𝑨target を得る．
具体的な手順は以下の通りである．各候補ベクトルに対し隣接行列𝑨を計算し，それが上記制約条件を満たすかどうか評価する．条件を満たす場合，通信時間𝑡com を計算し，それが最小となる候補ベクトルを解とする．なお，グラフが強連結であるかの判定には深さ優先探索に基づいたアルゴリズム [10] を用いる．
(2) フェージングを考慮した通信時間最小化
次に，𝑨target で得たトポロジ中の全辺の通信が同時に成功する確率が1 𝑝out 以上となることを制約に，通信時間最小化問題を解く．これにより得られた結果を最適な送信レートベクトルとする．この問題は次のように表すことができる：

min
𝑹

𝑀
𝑅

s.t.

𝑝S 𝑅 , 𝛾𝑅・・・ 6aΔ𝑡com

1𝑝out ,0 ∀𝑖・・・ 6b・・・ 6c

ここで𝑛 は𝑖番目の送信端末に接続している受信端末の台数であり，𝑛∑𝐴1である(𝐴 は𝑨target 中の各要素を意味する)．また，𝛾 は𝑖番目の送信端末とそれに接続する𝑙番目の受信端末間の単位周波数あたりの平均信号対雑音電力比(SNR: Signal-to-Noise power Ratio)であり，𝛾る(𝑑 はこれら端末間の通信距離を意味する)．また，𝑝S 𝑅 , 𝛾

Txと表現することができは，𝑖番目の送信端末がレート𝑅 で送信した

際，それに接続する𝑙番目の受信端末が復調に成功する確率を意味する．周波数非選択性レイリーフェージン
グ環境において，瞬時 SNR

𝐺 𝛾 は平均値𝛾の指数分布に従う．この点に注意すると，𝑝S 𝑅 , 𝛾
7

は次式によ

20192066
過去なし

り求められる：𝑝S 𝑅, 𝛾

Pr 𝑅

𝐵 log

1

𝐺𝛾
𝐵

exp

𝐵
1
𝛾

exp

𝑅 ln 2
𝐵・・・ 7

これを制約条件(6b)に代入し，両辺の対数を取る．各制約条件の両辺を整理することで，問題(6)を次のように書き直すことができる：
𝑀
𝑅

min
𝑹

s.t. ln 1
𝑅・・・ 8a

Δ𝑡com
𝐵
𝛾

𝑝out

1

exp

𝑅 ln 2𝐵0 ∀𝑖0,・・・ 8b・・・ 8c0において凸最適化問題となる．本研究では，本問題を凸最適化ライブラリである CVXPY
本問題は，𝑅
1.1.1 [6]を用いて解く．なお，ソルバは Splitting Conic Solver [7] を採用する．

5 実験
5-1 評価内容
画像認識タスクにおける計算機シミュレーションにより，提案手法の効果を検証した．本評価では，𝑛 6の端末を 500 [m] 四方内にランダムに配置した際の，学習精度の実行時間特性を評価した．学習対象には
Fashion-MNIST データセット [8] を用いた．これは，衣類に関する 10 種類の画像全 7 万枚を収録した画像認識ベンチマーク用のデータセットである（このうち学習データ 6 万枚，検証データ 1 万枚）．各画像は単一チャネルであり，画素数は28 28 [pixel] である．また，1 画素あたり 8 ビットの情報量を有する．
本実験では，学習データ全 60000 枚を𝑛分割して各端末へ分配した．識別器には，文献 [9] で公開されている畳み込みニューラルネットワークを用いた．本識別器は，畳込み層とプーリング層のペア 2 層と 4 層の全結合層からなる．モデルパラメータの大きさは，32 ビット浮動小数点表現の場合𝑀 47210816 [bit] である．
学習の実行時間を評価するためには，端末上でのモデルパラメータベクトルの更新に要する計算時間と，モデル共有に有する通信時間の双方が必要である．そこで本実験では，計算時間は𝑡cal
𝑡cal0とし，通信時間はΔ𝑡com

0とした．学習はバッチサイズ 1, 𝜏

0.01 [s/loop] ，Δ1000とした上で合計 200000 回繰り返した．学習 5000 回ごとに，検証データ 1 万枚を用いて各端末が所有するモデルの検証精度を評価した．得られた検証精度を端末間で平均化し，その値を，その時点での検証精度とした．その他のパラメータは，𝑃Tx
1.0, 𝐺

1.0,𝐵

1.4

10 [Hz],𝑁

10[mW/Hz], 𝑝out

0.50とした．

以上の評価を独立に 10 回試行し，その結果を繰り返し回数ごとに平均化することで，実行時間および学習回数ごとの検証精度の推移を検証した．
提案手法は Python 3.7.6 を用いて実装した．機械学習処理は PyTorch 1.5.1 を，送信レート最適化処理
は凸最適化ライブラリ CVXPY 1.1.1 を用いた．使用した計算機の OS は Ubuntu 18.04 LTS である．

8

20192066
過去なし

表1

200000 回学習後の平均検証精度特性

5-2 評価結果
はじめに，学習データを重複のない無作為抽出(i.i.d.)に従って各端末へ分配した際の学習特性を評価した．
表 1 に，提案手法による学習を 200000 回繰り返した後の平均検証精度特性を示す．なお，この表には併せて後述の non-i.i.d.環境における特性もまとめた．表 1 より，学習回数の観点では𝜆target を小さく取り，ネッ
トワークを密にするほど精度が得られることがわかる．
次に，𝜖 4.0, 3.0における実行時間特性を，それぞれ図 4(a)，(b)に示す．なお，参考のため次の 2 つも評
価した: (i) 全端末が相互に接続されており，通信遅延がない場合(“Ideal cooperation”), (ii) 全て端末が独立に学習する場合(“Individual training”)．学習回数特性と異なり，ある目標精度𝑧(例えば 0.88)を達成するまでに要する実行時間は，𝜆target を大きく取った方が短く済むことがある結果となった．これは，𝜆target
を小さく取った際，トポロジを密に取るために各端末の送信レートを下げ，通信時間が増大したためである．
一方，図 4(b)に示す𝜖 3.0における実行時間特性は，学習回数特性と同様，𝜆target を小さくとるほど性能が良いことがわかる．これは，ネットワークトポロジを密に取る際の送信レートの低下の影響が大きくないためと考えられる．
次に，所望精度𝑧の達成に要する実行時間特性を評価した．𝜖 4.0における特性を図 5(a)に，𝜖 3.0における特性を図 5(b)に示す．図 5(a)より，𝜖 4.0においては，ほぼ全ての𝑧について，𝜆target を大きく取るほど学習を高速化できることがわかる．一方𝜖 3.0においては，図 4(b)と同様，𝜆target を 0.1 から 0.3 程度と小
さく取ることで学習を高速化できた．
以上より，適切な𝜆target の値は距離減衰係数𝜖に依存することがわかる．具体的には，𝜖 4.0のような減衰係数が比較的高い環境においては，達成可能な学習精度の多少の劣化を許容しても，𝜆target を高く設定し通信時間短縮を図ることが有効である．一方，距離減衰係数が小さい場合は，𝜆target を小さく設定し，学習回数あたりの精度改善の効率を向上させることが有効である．
端末間で学習データに偏りがある環境(non-i.i.d.)について議論する．第 3 章で記した Wang らの C-SGD の解析結果は，i.i.d.環境を想定したものである．そのため，non-i.i.d.環境において適切な𝜆target の設計指針が異なる可能性があることに注意されたい．本評価において，各端末は全 10 ラベルのうち一部のラベル内の画像(例えば 3 ラベル)のみを学習に用いる．ここで，サンプリング対象とするラベルは端末ごと無作為に選択する．選択ラベルに対応する学習用画像から60000/𝑛枚を無作為抽出し，それらをその端末が持つ学習データセットとする．
表 1 より，サンプリングラベル数が少なくデータの偏りが強くなるほど，達成精度が低下することが確認できる．また，同ラベル数内では，i.i.d.環境と同様に𝜆target を小さく取るほど精度が改善されるが，その効果はデータの偏りが強いほど顕著であることがわかる．これは，周辺端末と協調することで未観測ラベルに対する知見を共有することができたため学習精度が改善したと考えられる．
次に，ラベル数 3 における𝜖 4.0および3.0での実行時間特性を，それぞれ図 6(a)(b)に示す．i.i.d.環境と異なり，いずれの𝜖においても，𝜆target を小さく取り学習回数辺りの精度を改善するほど高速に学習できた．

920192066
過去なし

図 4 i.i.d.環境における平均検証精度特性（左図：(a) 𝜖 4.0; 右図：(b) 𝜖 3.0）

図 5 i.i.d.環境における𝜆target の影響（左図：(a) 𝜖 4.0; 右図：(b) 𝜖 3.0）

図6

non-i.i.d.環境における平均検証精度特性（サンプリングラベル数 3）（左図：(a) 𝜖 4.0; 右図：(b) 𝜖 3.0）

10

20192066
過去なし

図7

non-i.i.d.環境における𝜆target の影響（𝜖

4.0）

図8

non-i.i.d.環境における𝜆target の影響（𝜖3.0）

最後に，non-i.i.d.環境における𝜆target の設計指針を議論するため，所望精度𝑧達成に要する実行時間を評価した．𝜖 4.0における𝜆target の影響を図 7 に示す．ここでは，サンプリングラベル数を 3, 5, 7 とし，それぞれ図 7(a)(b)(c)にまとめた．なお，ラベル数に応じて十分学習させた後に達成可能な精度が大きく異なる
ことから，所望精度の大小はラベル数ごとに異なる．そのため，ラベル数ごとに異なる𝑧を採用した．
𝑧が低い場合，i.i.d.環境と同様，𝜆target を 0.7-0.9 程度とすることが望ましいことがわかる．一方，ラベ
ル数が少なくなるほど，大きな𝜆target では達成可能な精度が低く，所望精度を達成できない場合があった．そのため，データの偏りが高く所望精度が低くない場合，𝜖 4.0においても𝜆target を 0.1 から 0.3 程度に取ることが望ましいと考える．また，𝜖 3.0における評価結果を図 8 に記す．i.i.d.環境と同様，𝜆target を小さく取ることが望ましい結果となった．
以上の解析結果より，non-i.i.d.環境においては，𝜆target の設計指針は距離減衰係数に加え，サンプルの分
布の偏りの強さにも依存することがわかった．偏りが弱い場合は，i.i.d.環境と同様の設計指針でよいと考えられる．一方，偏りが強い場合は，距離減衰係数によらず𝜆target を小さく設定し，学習回数辺りの学習精度1120192066
過去なし

を向上させることで，高速な学習を実現することができる．

6 おわりに
無線環境における分散機械学習の高速化を目的とした送信レート制御の定式化およびその解法を示した．
画像認識を対象とした計算機シミュレーションにより，本研究で新たに提案したネットワークトポロジの密度を制御するパラメータ𝜆target の設定が，学習時間特性に大きく影響を与えることを実験的に評価した．
評価実験を通じて，距離減衰係数や学習データの条件に応じて𝜆target を適切に設定し，ネットワーク密度に制約を与えた上での送信レート制御を行うことで，高速に所望の学習精度を達成できることを確認した．距
離減衰係数が小さく遠方の端末とも比較的高速に通信できる場合や，non-i.i.d.環境のような他端末との協調による繰り返し回数あたりの学習精度改善効果が高い環境では，𝜆target を小さい値に設定し，ネットワーク
トポロジを密に設計することが望ましい．一方，それ以外の環境，例えば i.i.d.環境かつ距離減衰係数が大きい環境においては，𝜆target を大きい値に設定し，ネットワークトポロジを疎に設計する．これにより，繰り返し回数あたりの学習精度の多少の精度低下を許容しつつ通信時間を短縮した方が実行時間特性は改善される．
以上の解析結果より，無線環境での分散機械学習においては，ネットワーク密度に着目した通信設計が重要であるといえる．

【参考文献】[1] M. A. Zinkevich et al., “Parallelized stochastic gradient descent,” in Proc. NeurIPS, vol. 2, pp.
2595-2603. 2010.
[2] J. Wang and G. Joshi, “Cooperative SGD: A Unified Framework for the Design and Analysis ofCommunication-Efficient SGD Algorithms,” in Proc. ICML Workshop, 2019.
[3] B. McMahan et al., “Communication-Efficient Learning of Deep Networks from Decentralized
Data,” in Proc. AISTATS, pp. 1273-1282, 2017.
[4] M. Sandler et al., “MobileNetV2: Inverted Residuals and Linear Bottlenecks,” in Proc. IEEE
CVPR, pp. 4510-4520, 2018.
[5] X. Lian et al., “Can Decentralized Algorithms Outperform Centralized Algorithms? A Case Studyfor Decentralized Parallel Stochastic Gradient Descent,” in Proc. NeurIPS, pp. 5330-5340, 2018.
[6] S. Diamond and S. Boyd, “CVXPY: A Python-embedded Modeling Language for Convex
Optimization,” J. Mach. Learn. Res., vol. 17, no. 83, pp. 1-5, 2016.
[7] B. O'Donoghue et al., “Conic Optimization via Operator Splitting and Homogeneous Self-Dual
Embedding,” J. Optimiz. Theory. App., vol. 169, no. 3, pp. 1042-1068, 2016.
[8] H. Xiao et al., “Fashion-MNIST: A Novel Image Dataset for Benchmarking Machine Learning
Algorithms,” in arXiv, 2017. [Online]. Available: https://arxiv.org/abs/1708.07747[9] Pankaj, “Fashion MNIST with PyTorch (93% accuracy),” [Online]. Available:
https://www.kaggle.com/pankajj/fashion-mnist-with-pytorch-93-accuracy[10] R. Tarjan, “Depth-First Search and Linear Graph Algorithms,” in Proc. SWAT, pp. 114-121, 1971.

1220192066
過去なし

〈発
題

名

Network-Density-Controlled
Decentralized
Parallel
Stochastic
Gradient Descent in Wireless Systems
Rate-Adapted Decentralized Learning
Over Wireless Networks
無線環境における送信レート適応化に基づく分散機械学習の高速化

表

資

料〉

掲載誌・学会名等IEEE International Conference
on Communications

発表年月2020 年 6 月

IEEE Transactions on Cognitive
Communications and Networking

2021 年 4 月（早期公開）

電子情報通信学会無線通信研究会

2021 年 7 月（発表予定）

13