2デジタルツインの活⽤• 現実世界と仮想世界を⾼度に統合するデジタルツイン技術への期待• センシングデータをクラウド上のAIで分析して仮想世界にマッピング• 現実のモノやシステムの継続的な監視と最適化が可能

Adaptability evaluation of
distributed video analysis system
in dynamic environments
based on gene regulatory networks• トラヒック量の増⼤によるネットワーク負荷への影響が問題視[4]• デジタルツインの普及に伴いリアルタイムの映像分析処理が⼤量に発⽣Ø 消費電⼒の急増
Ø リアルタイム性に⽀障

センシング(映像データ・センサデータ)

⼤阪⼤学 ⼤学院情報科学研究科

マッピング

現実世界

クラウドサーバ

情報ネットワーク学専攻 村⽥研究室

仮想世界( デジタルツイン )井上 誠志郎情報の共有制御

図︓サイバー・フィジカルシステム[4] D.M. Bot ´ın-Sanabria, A.-S. Mihaita, R.E. Peimbert-Garc ´ıa, M.A. Ram ´ırez-Moreno, R.A. Ram ´ırez-Mendoza,and J.d.J. Lozoya-Santos, “Digital twin technology challenges and applications: A comprehensive review,” Remote Sens.,
vol.14, no.6, pp.1–25, March 2022.

1

3

エッジサーバによる負荷分散• エッジコンピューティング技術[5]研究の⽬的• データ発⽣源の近くに配置されたエッジサーバに処理を移⾏• ネットワーク全体のトラヒック量や消費電⼒を軽減• 遺伝⼦制御ネットワーク (GRN: Gene Regulatory Network) を利⽤した分散型映像分析システムの動的環境における適応性の評価• 効率的な運⽤には動的制御が必要• 求められるサービス品質やシステム利⽤状況を考慮して動的に処理を割り当てる必要がある• 計算性能と処理遅延のトレードオフを考慮

アプローチ• GRN の数理モデルによる遺伝的アルゴリズムの拡張⼿法の提案

精度重視のユースケース

無線ネットワークIoT デバイス群

バックボーンネットワーク• ⽣物の遺伝⼦間の相互作⽤が形成するネットワーク構造• 進化によって過去の環境を記憶した構造を獲得する

処理A• 拡張⽅式に基づいた分散型映像分析システムの動的制御

処理B• GRN が記憶した環境を想起することで適応性が向上することを⽰す

処理C
処理B

4

研究の⽬的とアプローチ

処理A

処理C

速度重視のユースケース
エッジ

端末

クラウド

図︓エッジコンピューティングによる処理分散[5] W. Shi, J. Cao, Q. Zhang, Y. Li, and L. Xu, “Edge computing: Vision and challenges,” IEEE
Internet of Things J., vol.3, no.5, pp.637–646, Oct. 2016.

5

映像分析システムの最適化モジュール• アプリケーションは⼆つの性能要件を設定して映像分析処理を要求• 処理遅延︓映像分析にかかる E2E (end-to-end) 遅延• 分析精度︓各デバイスにおける精度の処理割合による加重平均• 制約条件︓処理遅延 !! " と分析精度 #!
!* " = $ !*+ " + $ !*. " ≤ !*012 , ∀) ∈ ++∈- !
.∈/ !
デバイスの処理遅延 ネットワークの伝送遅延• 映像分析に利⽤するデバイス (端末/エッジ/クラウド) の設定を制御• 処理割合︓デバイス毎に割り当てる処理の量を決定• AI モデル︓精度や処理効率が異なるモデルから選択

処理割合: 20 %AI モデル: 4番

カメラ

システムの変化を監視・利⽤可能な帯域幅・伝搬遅延・デバイスの情報

解の評価値

GRN を⽤いた最適化⼿法

映像分析
アプリケーション端末-*+ / / * ≥ ,04.
, ∀) ∈ +*デバイスにおける分析精度の加重平均

システムのモニタリング
導出した解,* = $ ,

3!"

+∈- !

• リクエストに応じてシステム状態を監視しながら消費電⼒を最適化
映像分析リクエスト• 遅延制約• 精度制約6

組合せ最適化問題の定式化

処理割合: 50 %AI モデル: 7番

処理割合: 30 %AI モデル: 4番

エッジサーバクラウドサーバ

図︓最適化モジュールの動作例• ⽬的関数︓システム全体の消費電⼒ $(")
1 " = $ 1

• 個体の適合度 '+.

" + $ 1 "+∈- !
.∈/ !
デバイスの電⼒消費 ネットワークの電⼒消費2 = −1 − 4 $ !*012 − !* − 5 $ ,* − ,04.
*
消費電⼒

*∈5
処理遅延のペナルティ項*∈5
分析精度のペナルティ項

セッションの集合!

"!" , "!# セッション s におけるデバイス d とネットワーク n の処理遅延"!$%& アプリケーションが設定した処理遅延の上限値"$'!

映像分析 AI %_&^' の分析精度

アプリケーションが設定した$$()!
分析精度の下限値(!

セッション s が利⽤するデバイスの集合(端末/エッジ/クラウド))!"デバイス ' に割り当てる処理割合の重み%!"デバイス ' で稼働する映像分析 AI の種類• 実測値に基づいた推定モデル[11]を利⽤してネットワークの伝送遅延と消費電⼒・デバイスの消費電⼒の算出[11] H. Shimonishi, M. Murata, G. Hasegawa, and N. Techasarntikul, “Energy optimization of distributed video
processing system using genetic algorithm with bayesian attractor model,” in Proceedings of 2023 IEEE 9thInternational Conference on Network Softwarization (NetSoft), Jun. 2023, pp. 35–43.

7

解の符号化
• 分散処理の処理割合とAIモデルの選択を符号化• ⽣物の進化を模倣して組合せ最適化問題の解を探索する⼿法• セッション ( に関する制御情報を配列で表現• 環境変動後の再探索にかかる時間が課題!!" ∀# ∈ % ! , '!" ∀# ∈ % !

• 進化が進むにつれて多様性が失われる• 1度の変異での個体の変化が⼩さいため、収束状態からの再探索に時間を要する/ ︓セッション ) が利⽤するデバイスの集合 (端末/エッジ/クラウド)-*+ ︓デバイス 6 に割り当てる処理量の重み
7*+ ︓デバイス 6 で稼働する映像分析 AI の種類*• 配列の値を２進数表記に変換した配列を最適化する対象として扱う

親集団+ = g # g$ g % g & g ' g (システム制御情報に変換[ 010 101 011 100 111 100 ]遺伝型① Fitness の計算[ 2 5 3 4 7 4]

[ 2 5 3 4 7 4])!" ︓処理量② 選択*!" ︓AIの種類

淘汰

次世代に保存処理割合︓20 %AI モデル︓4番

処理割合︓50 %AI モデル︓7番

処理割合︓30 %AI モデル︓4番

端末エッジサーバ

クラウドサーバ③ 遺伝的変異⼦集団
カメラ+ = g # g$ g % g & g ' g (図︓遺伝的アルゴリズムの流れ

図︓符号化の例

遺伝⼦制御ネットワーク (Gene Regulatory Network: GRN) 9

GRN による遺伝的アルゴリズムの拡張• ⽣物の遺伝⼦間の相互作⽤が形成するネットワーク構造• GA の拡張⽅法• GRN の特性

• 遺伝型の⼩さな変異が表現型を⼤きく変異させる• 特定の表現型を発現しやすい構造に進化する (過去の環境の記憶)

Fitness の評価には GRN モデルの発現過程を経て得られた表現型を利⽤

2.

遺伝的変異を遺伝型または表現型のいずれかに適⽤• 表現型の⼤きな変異を環境変動時の制御⽅法の切り替えに利⽤• 適した制御⽅法を記憶することで既知の環境に⾼速に適応可能

システム制御情報に変換

発現過程を経て表現型を⼤きく変異

表︓定数、変数の定義
意味

設定

相互作⽤の影響の⼤きさ

1.0.%

発現パターンの減衰率0.2/

シグモイド関数tanh-∗

発現過程の計算回数10.#.

− B; ?4 (A)9:6∗

パラメータ - による * - が表現型となる[ ,0 ,1 ,2 ,3 ,4 ,5 ]

Ø GA を複数回実⾏して⾒つかった準最適解を選択 (セッション数: 4)

BC

0.10679

29.84230.06512

55.64740.09143

30.241

10.12866

38.83320.14595

46.16130.04433

34.15740.09747

46.97410.04957

50.33220.08061

27.67430.0700735.05840.13463

55.633

記憶させた表現型[7,0,0,3,0,5
0,0,7,1,5,1,0,0,7,2,3,7,0,0,5,1,1,5][0,0,5,3,2,4,0,0,6,1,4,5,6,0,0,4,3,3,0,0,6,1,2,5][7,0,0,4,2,5,0,0,6,3,5,0,0,0,5,0,6,4,0,0,7,0,1,6][14] R. A. Watson, G. P. Wagner, M. Pavlicev, D. M. Weinreich, and R. Mills, “THE EVOLUTION OF PHENOTYPIC CORRELATIONS AND“DEVELOPMENTAL MEMORY ”,” Evolution, vol. 68, no. 4, pp. 1124–1138, 04 2014. [Online]. Available: https://doi.org/10.1111/evo.12337

12

適応性の評価⽅法• GRN を⽤いる場合と⽤いない場合で３通りの環境変動への適応性を評価• 評価１︓アプリケーションが切り替わる場合

Ø ⼤きな環境変動への適応性を評価
Ø アプリケーションは GRN が事前に学習したものから周期的に切り替わる• 評価２︓帯域幅が変動する場合

Ø ⼩さな環境変動への適応性を評価• 評価３︓学習時に想定していないアプリケーションにおいて帯域が変動する場合
Ø 未知の環境の場合に適応性がどのように変化するか検証

表︓性能要求と学習させた表現型 (セッション数: 4)

2[ ,0 ,1 ,2 ,3 ,4 ,5 ]図︓GRN による拡張• 三つのアプリケーションの性能要求を既知の環境として事前に設定• それぞれの性能要求における有利な解を選択してGRNに学習

52.828

表現型空間

⼦集団• GRN の学習設定

精度制約︓%

⼩さな変化によって周辺を探索

GRN による発現過程

表現型空間• 同時に複数の記憶を保持することができる

0.05115b. 表現型の変異[ g 0 g1 g 2 g 3 g 4 g 5 ]• 既存の学習アルゴリズム[14]を利⽤して表現型を学習

遅延制約︓s淘汰③ 遺伝的変異
いずれか⼀⽅の変異を適⽤

遺伝型空間

11

システム環境を記憶した GRN の作成

1② 選択
次世代に保存a. 遺伝型の変異?4 0 = 94

A/ = 0# 0$ 0% 0& 0' 0(① Fitness の計算

8 = 96 , 97 , … , 9. ( −1 ≤ 98 ≤ 1)

セッション

a. 遺伝型の変異︓発現過程を経て多くの表現型を変異させ記憶の想起を促す
b. 表現型の変異︓想起した表現型の周辺を探索する
1. Fitness の評価に表現型を利⽤[ 2 5 3 4 7 4]

GRN の隣接⾏列 $: 遺伝⼦間の正負の相互作⽤を表現&!! … &!"⋱⋮$= ⋮&"! … &""
表現型 * = +! , +# , … , +" : 遺伝型と隣接⾏列の乗算により算出

要求Ø 適した表現型を記憶した GRN を利⽤することで、有利な解が導出されやすくなる親集団

GRN の数理モデル
遺伝型 #: 遺伝⼦発現の初期パターン

∗

101.

• 動的なシステム制御における GRN への期待?4 A + 1 = ?4 A + B7 C $ D49 ?4 A

8

遺伝的アルゴリズム (Genetic Algorithm : GA)• 適応性の指標• 環境変動の発⽣から基準の解の発⾒に要する時間

Ø 評価1: GRN に記憶させた準最適解の発⾒Ø 評価2, 3: 制約条件を満たす解の発⾒ (帯域の変動によって解空間が変化するため基準の解を変更している)• 環境変動の発⽣から 10 秒後と 180 秒後の解の適合度の⾼さ (評価2, 3)
表︓ネットワークの設定

アクセス
ネットワーク

バックボーン
ネットワーク

10~50 %@A&
(25 %@A&)

10~500 %@A&(250 %@A&)

伝搬遅延

10 C&

10 C&

1ビットの送信電⼒

193 × 10*+ )60 × 10*+ W

帯域幅(変動を想定しない場合)

1フレームあたりのビット数

470 K@LM

表︓デバイスの設定

端末CPU

エッジサーバCore i7-8700T

GPU GeForce GTX1070
Model

クラウドサーバCore i9-10940X Xeon GOLD 6226R×2
RTX A5000

Tesla T4×2

表︓選択可能な映像分析 AI モデルと性能""%!"

Accuracy: N'!

FLOPS: O'! ,YOLOv3-tiny

33.1 %

5.6 B{0,1,2}

YOLOv355.3 %

65.9 B{3,4,5}

YOLOv3-spp

60.6 %

141.5 B

{6,7}

13

評価 1 の結果: アプリケーションが変化する状況• GRNによる記憶の想起によって⾼速に解が発⾒されることを確認• 提案⼿法が制約条件を満たす解を短時間で発⾒しており、適応性が改善• 準最適解を発⾒するまでの時間に⼤きな差• 環境変動の発⽣から次の変動までの60秒以内に準最適解を発⾒した回数はシステム規模の拡⼤とともに⼤きく差が開いた• ⼤規模システムにおける提案⼿法の有効性が期待される
表︓環境変動発⽣から準最適解の発⾒までの時間
GAGRNGA• 環境変動の発⽣から⼀定時間経過時の適合度の⽐較においてもGRNが優位
表︓環境変動発⽣から制約条件を満たす解の発⾒時間
GA

表︓環境変動の発⽣から60秒以内に準最適解を発⾒した回数
セッション数14

評価 2 の結果: 帯域幅が変動する状況

GRN

表︓環境変動発⽣から⼀定時間経過時の適合度の⽐較
経過時間

GAが優位

GRNが優位同じ

平均値

119.94 秒

91.86 秒

10 秒

7 / 5032 / 50

11 / 50

中央値

180 秒

179.49 秒

180 秒

10 / 50

24 / 50

16 / 50

GRN

平均値

49.2 秒

0.21 秒190/90

90/90

中央値

60 秒

0.06 秒274/9090/90

419/9090/90

図︓60秒ごとの環境変動を10セット実施した場合の適合度の推移 (セッション数は4)まとめと今後の展開

15

図︓提案⼿法(GRN)およびGAの適合度の推移• 帯域幅を180秒の時間間隔で49回ランダムな値に変更• 性能要求は事前に設定した要求Aで固定

まとめ• いずれの評価指標においても、GRN より GA の適応性が⾼い• GRN の数理モデルを⽤いた GA の拡張⽅式を提案• GA が多くの帯域幅に共通で適合度が⾼い解を発⾒しているがGRN は発⾒できていない場合が多い• 三つの環境変動を想定して適応性を評価• 既知の環境下において環境変動に対する適応性が向上• 未知の環境においても解の構造が捉えられれば適応性が向上• 記憶の想起のために解探索性能が低下

今後の展開

16

評価結果: 未知のアプリケーションが利⽤される状況• 提案⼿法では表現型の変異を適⽤する個体数が GA よりも少ないため親集団の個体の周辺を探索する性能が低下した• シミュレーション開始〜5度⽬の環境変動までは GRN が⾼速に適応• 環境変動から10秒経過時と180秒経過時の適合度の⽐較において GRN が優位• 記憶した複数の表現型が最適化問題で共通の解構造を捉えたためと考えられる
表︓環境変動発⽣から制約条件を満たす解の発⾒時間• さらに複雑な環境変動への適応性を評価• 環境変動に合わせて GRN が⾃律的に学習する⽅式を検討

GA• GRN の学習過程を最適化⽅式の進化に組み込む

5度⽬の変動まではGRNが⾼速に適応

図︓提案⼿法(GRN)およびGAの適合度の推移。
• 帯域幅を180秒の時間間隔で49回ランダムな値に変更• 性能要求にはGRNに学習させたものと異なる要求値を設定

GRN

平均値

19.502 秒

72 秒

中央値

0.051 秒

0.891 秒

表︓環境変動発⽣から⼀定時間経過時の適合度の⽐較
経過時間

GAが優位

GRNが優位

10 秒

331 / 500

118 / 500

180 秒

331 / 500

63 / 500