特集ン
デジタルツイコンピューティング

変化する現在，持続する未来

交通制御

分散学習

デジタルツインでモビリティ群を賢く制御する──分散深層学習がもたらす未来の可能性
デジタルツインを介した集合知形成 ･ 協調制御の最新研究について紹介します．サーバ群や IoT（Internet of Things）機器群に分散して蓄積されたデータや分散した制御系を学習可能なデジタルツ
インを介して協調利用することを考えています．これにより，個ではなく群を効率良く制御したり，分散して観測したデータを使って集合知モデルを形成し，全体の系を最適化することが可能になります．本稿では，デジタルツインを介して交通網やデータセンタ網を賢く制御する研究プロジェクトについて報告します．にわ丹羽

けんた

健太

NTT コミュニケーション科学基礎研究所成することが期待されています．本稿

and Wireless Network）構想によりでは，私たちが行ってきた学習可能な究極に高度化された ICT がもたらすモ

スマートフォンやスマートスピーカ

デジタルツインを介して交通網やデー

ビリティ社会のコンセプトとして，信を通じた音声によるシステム操作等のタセンタ網を賢く制御する研究プロ

号機のない街を自動運転車群が相互に機械学習の恩恵を一般の人が利用するジェクトについて報告します．

通信をしながら自律走行し，衝突するはじめにことが当たり前になってきました．次世代の機械学習に関する大きなイノベーションの可能性として，「個」でシグナルフリーモビリティ
プロジェクト

ことなく輸送時間を短縮する未来のモ
ビリティの姿，「シグナルフリーモビリ
ティ」が示されています（図 1 ）．シはなく，通信で連結された「群」を協将来，ICT の高度化により，ヒト・グナルフリーモビリティの実現に向け調して制御・推論することで大規模なクルマ・インフラが高度に協調し，安た第一歩として，私たちは，シグナル系全体（例えば交通網，データセンタ全・効率的な移動を提供する高度協調フリーモビリティを実現するための分網，エネルギー網）を最適化したり，型モビリティ社会の実現が期待されて散制御・推論問題に取り組んでいます（1）．

分散蓄積されたデータから集合知を形います．IOWN（Innovative Optical

シグナルフリーモビリティでは，車IOWN構想のシグナルフリーモビリティが実現すると…
（信号機のない街を自動運転車が自律走行．衝突することなく輸送時間を極限まで短縮）

現在（信号機を使った交通制御）

2019年12月発表された IOWN 構想のコンセプト動画より抜粋（Mobility by IOWN, NTT oﬃcial https://www.youtube.com/watch?v=4fo_kEYrY6E）

図1

シグナルフリーモビリティのイメージ

2022.845

特集

変化する現在，持続する未来全体のシステム：サイバーフィジカルシステム
サイバー空間デジタルツイン
車

車

車

車
車

車

（少し先の未来の）全体/群の最適状態を予測グラフ（ノードとエッジで構成）で表現することにより，時間経過や多様な空間を表現できる

車

車

フィードバックループ
フィジカル空間

デジタルツインで予測した最適状態に近づくように制御
実世界システムデジタルツイン上で少し先の未来の状態を予測し，それに近づくように実世界の交通を制御する
フィードバックループをリアルタイムで繰り返します．

図2

46

デジタルツインを介した交通制御のイメージ群から収集したデータをデジタルツイジが描かれています．状態予測に至るンで解析し，衝突することなく移動時までのデジタルツインの演算は複数ス

播，後向き伝播）は，常微分方程式間を短縮するための交通全体の最適状テップに分かれています．デジタルツ（ODE：Ordinary Differential Equa-態（各車の速度や位置）を予測して制イン上では，実世界で収集されたデーtion）＊ 1 で表現されていて，それを各御します．このデジタルツイン上の状

タ（周囲状況を模した画像データ等）

車の演算や近接車間の通信によって実態予測系のモデル化，およびデータ駆を蓄積し，一定以上の車間距離を保つ施できるように分散・離化することで動型でそのモデル学習する方式を確立

ように斥力を課すための情報を計算し特殊なニューラルネットワークすることが研究課題です．本研究でて近接車間の通信を介して交換されま（CoordiNet）として定義し，デジタは，図 2 に示すように，各車（ノード，す．その情報を使ってぶつからずに目ルツインの演算を具体化しました．前

黄色の頂点で表示）とそのつながり的地点に近づくための各車の状態を予向き伝播（図 3（a））では，デジタル（エッジ，緑色の辺で表示）で構成さ測します．なお，この一連の処理（前ツイン上のデータを解析して車群の最れるグラフを用いて，デジタルツイン向き伝播）は，各車で実施可能な分散適状態（速度や位置）を予測し，交通の状態予測系をモデル化しました．

型の演算と近接した車間の通信を繰りを制御するフィードバックを繰り返し時々刻々と変化する複雑な交通制御を返すことで実施できるように設計されます．後向き伝播（図 3（b））では，単純な部品（各車の状態予測・制御とています．演算や通信といった処理がデジタルツイン上に蓄積されたデータ近接車間の通信）の組合せで表現する分散化されていることから，ネットワーを使って，平均速度を向上するようにことがそのねらいです．

ク 負 荷 の 少 な い IoT（Internet of

交通制御モデルを最適化します．

次に，車の状態予測に関するデジタThings）機器群の協調制御を体現しルツインの演算について説明します．ているといえるでしょう．さらに，状図 3 に，実世界システムとデジタルツ態予測系に含まれる学習可能なパラインが相互にフィードバックしながら，メータを最適化することで，平均速度車群の最適状態（速度や位置）の予測を向上させるような効率的な交通制御と制御を時系列的に発展させるイメーモデルを学習できます（後向き伝播）．

2022.8

なお，この 2 種類のフロー（前向き伝

提案法（CoordiNet）を使って実＊1

常微分方程式：流体，気象等の連続的な物
理事象は常微分方程式で表現されることが多い．今回，実世界システムとデジタルツインが相互に作用しながら交通制御するという複雑な事象を表現しました．

特集

提案法
時間t0

斥力を課したぶつからない状態遷移を表現した常微分方程式を解く

tK

t2

t1（a）前向き伝播 制御・推論
蓄積
デジタルツイン車
車

フィード
バックループ車車車車車車車車車車車車斥力
時間遷移（状態遷移）

車

目的方向へ向かうように状態変数h（速度・位置等）を更新

評価関数（平均速度）

実世界システム

斥力

状態予測

通信

ぶつからないように距離を保つ制約を状態変数h速度・位置等 に課しながら前向き伝播ODE制御/収集（b）後向き伝播（モデル訓練）
平均速度を向上する交通制御モデル訓練を表現した常微分方程式を解く

平均速度を向上するように，交通制御モデルθ を更新
後向き伝播ODE

時間遷移（モデル訓練）

図3

デジタルツインを介した交通制御における時系列処理を表現したニューラルネットワーク（CoordiNet）

並列に実施
予測・制御フェーズ

訓練された交通制御モデルを使って，リアルタイム（0.1 ～ 0.2秒ごと）に状態予測と制御を交互に実施
デジタルツイン（状態予測モデル）

モデル訓練フェーズ

非リアルタイム（数時間 ～ 1 日）にシミュレーションを多数回実施し，そこで取得した多様な交通状況を想定したデータを使って交通制御モデルを更新
シミュレーションラウンド 1

シミュレーションラウンドR
実世界にはない仮想道路の走行

デジタルツイン（状態予測モデル）

フィードバックループ

フィードバックループ

フィードバックループ
台数や初期位置を変更して走行
30台

実世界システム

図4

40台

50台

デジタルツイン（観測モデル）

今回構築したシグナルフリーモビリティシステムを構成する 2 種類のフェーズ

装したシグナルフリーモビリティのシミュレーションを行うことで，多様な通制御モデルを使って，デジタルツイ

ステムは，図 4 に示すように予測・制交通状況を模したデータ収集を可能にンとフィードバックしながら実世界の御フェーズとモデル訓練フェーズの 2します．このデータを使って交通制御交通を制御します．構築したシステムつで構成されます．モデル訓練フェー

モデルを学習することにより，多様なでは，リアルタイム（おおよそ0.1〜0.4

ズでは，デジタルツイン上で多様な交交通状況でもぶつからずに効率良く走秒ごと）に各車の状態予測と制御が行通状況を想定したシミュレーションを行することが期待されます．なお，こわれました．

多数回実施し，交通制御モデルを最適のモデル訓練フェーズは，膨大な計算モデル訓練フェーズ（図 4 右）にお化します．実世界にある道路だけでな量を必要とするため，非リアルタイムける実験結果の一部を図 5 に示しまく，仮想空間上に構築した道路に，車（数時間〜 1 日）に行われます．一方，す．提案法では，シミュレーションをの台数や初期位置を変えて配置してシ予測・制御フェーズでは，学習済の交繰り返すとともに安定して平均速度が2022.8

47特集

変化する現在，持続する未来向上しました．最大値が1.0になるよ

Simulation of Urban Mobility ＊ 2 ）点手前で停滞する状況が頻繁に起きてうに速度を正規化した評価実験で，ラを比較方式として性能を調査しまし

しまい，提案法ほどの平均速度は得らンダムに初期化した学習前の時点ではた．学習可能な方式については提案法れませんでした．

0.64であったのに対して，学習後にはと同様にシミュレーションを介して学学習後の交通制御モデルを使って，0.90まで向上しました．これは，シミュ習しました．例えばグラフニューラル予測・制御フェーズ（図 4 左）を実施

レーションを介したデータ収集により，ネ ッ ト ワ ー ク の 一 種 で あ る GATするためのシステムを構築しました．

交通制御モデルの学習を効率的に進め（Graph Attention Networks） を

図 6 に示すように，各自動運転ミニることができた恩恵だと考えられま用いた場合，車が衝突してしまったり，カーには，位置情報を計測するためのす．一方，状態遷移に斥力を課さない平均速度が安定して向上しませんでしビ ー コ ン， 計 算 す る た め の GPU，一般的なニューラルネットワークや交た．また，SUMO を用いた場合は，

Wi-Fi 通信モジュール，左右独立に制通 シ ミ ュ レ ー タ（SUMO：

ぶつかることはなかったですが，交差御可能なモーターが搭載されていま＊3

す．Wi-Fi を介してサーバや他の車と提案法（CoordiNet）比較した方式（計 5 種類）

通信し，ぶつからずに全体の輸送時間を短縮する状態をデジタルツインで予提案法：CoordiNetv.s.

斥力が課されずぶつかっているので点線とした（R1）GAT（斥力なし，学習可）

測し，10〜20台の自動運転ミニカーをリアルタイム（おおよそ0.1〜0.4秒ごと）（R2）CoordiNet（斥力なし，学習可）に制御することができました．デジタ（R3）CoordiNet（斥力あり，学習不可）

ルツインで予測された状態のように，（R4）Native SUMO（学習不可）

ぶつからずに走行している様子を実験（a） モデル訓練による平均速度の変化（方式別）

15パターンのシミュ
レーションの平均30台

hav = 0.64

50台

hav = 0.67

的に確認しました．

非同期分散型の連合学習
プロジェクト

学習前
正規化平均速度（最大 1.0）
hav = 0.64
学習後

学習後

学習後

hav = 0.92

hav = 0.86

シグナルフリーモビリティでは，シ＊2

学習後（R=500）
正規化平均速度（最大 1.0）
hav = 0.90

＊3
学習前（ランダムに初期化）と比較して，約40%の平均速度向上（b） モデル訓練による平均速度の変化（提案法 道路別）

図5

モデル訓練フェーズ実験の評価

デジタルツインSUMO:フリーの交通シミュレータで，世界的にITS 分野の研究者で利用されています．
https://www.eclipse.org/sumo/よりダウンロード可能．
GAT: Graph Neural Networksの一種で，ノードのつながりの重要度について適応的に更新しながら状態変数を更新する特徴を持ちます．ただし，交通制御等への応用のために提案された方式ではありません．

実世界システム

フィードバックループ

図6482022.8

自動運転ミニカーを使った予測 ・ 制御フェーズ実験の様子

特集

1（分散型ネットワーク），2（統計的偏りのあるデータ）の説明

1. 任意のネットワーク構造でノードを接続

データ
セット 1

2. 各ノードの保有データは統計的偏りあり

データ
セット 2

3. 非同期通信を許可

データ
セット 3
ノード# 3

ノード# 1

ノード# 23.（非同期通信）の説明学習アルゴリズムは，以下 2 種類の処理を交互に実施：各ノード内での計算処理：エッジごとに非同期通信（変数の交換）

更新時間

提案アルゴリズム

round 1 （K=8）

round 2 （K=8）

ノード# 1
ノード# 2
ノード# 3

ノード#N

図7

非同期分散型の連合学習の問題設定

ミュレーションで得られたデータを 1に耐性のあるアルゴリズムを構築したつのサーバ上に集約して運転制御モデことが特徴です（図 7 ）．

ルの学習を行っていました．しかし，今後，ヒトやモノのデジタルツインを今後の展開介して全体の系を協調していく世界で今後，基盤となる数理をさらに発展

は，データを 1 個所に集約するのではさせるとともに，ネットワークを介しなく，デジタルツインごとに分散蓄積て全体系を性的制御する応用事例を増されたデータを用いて補助情報を交換やし，群全体の最適制御によるデジタするだけで，集合知が形成される未来

ルツインコンピューティング社会の早になるでしょう．

期実現に貢献します．

ノード数やエッジ数（デジタルツインの数やそれらの通信接続数）が大きく，巨大なネットワークグラフで演算が行われることを想定して，非同期分散型の連合学習の研究を進めています．従来研究では，接続しているノード間でモデル変数を交換して平均化しながら合意形成をとる連合学習則（2）が多用されていますが，私たちが提案した方法

は，①非同期分散通信を（3）〜（5）許容でき ，②計算サーバ間のモデルの合意形成に関する制約を課すなど，計算サーバ間の統計的なデータの偏り

the primal-dual method of multipliers for
optimisation over centralised networks，” IEEE TSIPN, Vol. 8, pp. 228-243,
2022.

■参考文献

（1） https://www.kecl.ntt.co.jp/openhouse/2022/exhibition̲01.html（2） B. McMahan, E. Moore, D. Ramage, S.
Hampson, and B. A. y Arcas: “Communication‒eﬃcient learning of deep networks fromdecentralized data,” Proc. of AISTATS
2017, pp. 1273‒1282, Fort Lauderdale,
U.S.A., May 2017.
（3） K. Niwa, N. Harada, G. Zhang, and B.
Kleijn: “Edge-consensus learning: deeplearning on P2P networks with nonhomogeneous data,” Proc. of KDD 2020, SanDiego,U.S.A.，pp. 668‒678, August 2020.
（4） K. Niwa, G. Zhang, B. Kleijn, N. Harada, H.
Sawada, and A. Fujino: “Asynchronous decen tral ized optimization with implicit
stochastic variance reduction,” Proc ofICML 2021, July 2021.
（5） G. Zhang, K. Niwa, and B. Kleijn: “Revisiting丹羽 健太
NTT の掲げる IOWN への 1 つの提案として分散自律学習について研究を進めています．シグナルフリーモビリティはコンセプチュアルな事例ではありますが，こうした事例を通じて，IOWN の早期実現に向けて盛り上げていきたいと考えています．

◆問い合わせ先NTT コミュニケーション科学基礎研究所
協創情報研究部
知能創発環境研究グループ
TEL 0774-93-5020
E-mailcs-liason-ml

2022.8hco.ntt.co.jp

49