デジタルツインの活⽤

2• 現実世界と仮想世界を⾼度に統合するデジタルツイン技術への期待• 全ての⼈やモノがつながり様々な情報が共有される• 現実のモノやシステムの継続的な監視と最適化が可能• デジタルツインの構築

遺伝⼦制御ネットワークを⽤いた
分散型映像分析システムの消費電⼒最適化⽅式• センシングデータをクラウド上のAIで分析して仮想世界にマッピング• デジタルツイン上の情報に基づき現実世界を制御• トラヒック量の増⼤によるネットワーク負荷への影響が問題視[4]• デジタルツインの普及に伴いリアルタイムの映像分析処理が⼤量に発⽣Ø 消費電⼒の急増
Ø リアルタイム性に⽀障

⼤阪⼤学 ⼤学院情報科学研究科 村⽥研究室

センシング(映像データ・センサデータ)

井上 誠志郎, ⼭内 雅明, ⼩南 ⼤智, 下⻄ 英之, 村⽥ 正幸
s-inoue@ist.osaka-u.ac.jp

マッピング

現実世界

クラウドサーバ

仮想世界( デジタルツイン )情報の共有制御

図︓サイバー・フィジカルシステム[4] D.M. Bot ´ın-Sanabria, A.-S. Mihaita, R.E. Peimbert-Garc ´ıa, M.A. Ram ´ırez-Moreno, R.A. Ram ´ırez-Mendoza,and J.d.J. Lozoya-Santos, “Digital twin technology challenges and ap- plications: A comprehensive review,” RemoteSens., vol.14, no.6, pp.1–25, March 2022.

1

エッジサーバによる負荷分散

3

分散型映像分析システム最適化への取り組み• エッジコンピューティング技術[5]• システム消費電⼒の動的な最適化を組合せ最適化問題に定式化[8]• 求められるサービス品質やシステム利⽤状況を考慮して動的に処理を割り当てる必要がある• 遺伝的アルゴリズムによる動的な最適解の探索• データ発⽣源の近くに配置されたエッジサーバに処理を移⾏• ネットワーク全体のトラヒック量や消費電⼒を軽減• 制約条件︓処理遅延 / 分析精度
• ⽬的関数︓システム全体の消費電⼒• 制御対象︓処理の分散割合 / 利⽤するAIモデル• 計算性能と処理遅延のトレードオフを考慮
5G / B5G
無線ネットワーク

IoT デバイス群• アプリケーションごとの性能要件の変化• 最適化対象のシステムが⼤規模

精度重視のユースケース

アクセス
ネットワーク

処理A

バックボーン
ネットワーク

処理B
処理C
処理B

4

処理A

処理C

速度重視のユースケース

カメラエッジ

端末

端末

エッジサーバクラウド

図︓映像分析システムの動的な最適化[8] H. Shimonishi, M. Murata, G. Hasegawa, and N. Techasarntikul, “Energy optimization of
distributed video processing system using genetic algorithm with bayesian attractor model,” Proc. ofIEEE 9 th Int. Conf. Netw. Softwarization (NetSoft), pp.35–43, June 2023.

[5] W. Shi, J. Cao, Q. Zhang, Y. Li, and L. Xu, “Edge com- puting: Vision and challenges,” IEEE
Internet of Things J., vol.3, no.5, pp.637–646, Oct. 2016.

遺伝的アルゴリズム (Genetic Algorithm : GA)

クラウドサーバ

図︓システム構成例

5

研究の⽬的とアプローチ

6• ⽣物の進化を模倣して組合せ最適化問題の解を探索する⼿法

研究の⽬的• 遺伝的操作を加えて新たな個体を⽣成• 分散型映像分析システムの環境変動に対して⾼速に適応可能な最適化⼿法の提案と評価• 解の評価値により適応度を決定し、適応度の⾼い個体を集団に残す• 選択︓集団から親となる個体を決定• 交叉︓親個体の遺伝⼦に操作を加えて新たな個体を⽣成• 突然変異︓新たに⽣まれた個体にランダムな変化を加える

アプローチ• 遺伝⼦制御ネットワーク (GRN: Gene Regulatory Network)の数理モデルを応⽤した⼿法の提案• GA の課題• 解の多様性が維持されない

1. 初期収束︓局所解に収束する2. 環境変動の影響︓変動後の解探索に時間がかかる• 研究対象のシステムは環境変動が頻発するため多様性を維持する必要がある
適切な解の発⾒① 初期個体の⽣成② 個体の評価③ 選択• 分⼦進化の中⽴説 (⾃然淘汰とは無関係な突然変異が多様性を維持) を応⽤• GRN がネットワーク構造に過去の環境を記憶する特性• 記憶した環境の想起により⾼速な適応を実現
GRN が制御する細胞発現空間による変換

細胞 1 の遺伝⼦④ 交叉

図︓遺伝的アルゴリズムによる解探索⑤ 突然変異進化を繰り返すa細胞 1 の遺伝⼦に対応する発現型 a細胞 2 の遺伝⼦
細胞 3 の遺伝⼦

cb細胞 2 の遺伝⼦に対応する発現型 b細胞 3 の遺伝⼦に対応する発現型 c

図︓GRN の遺伝⼦制御イメージ

現在の環境に適した細胞が⽣物上に発現

分散型映像分析システム[8]7• 端末・エッジサーバ・クラウドサーバから構成されるシステム

システム最適化モジュール8• 映像分析に利⽤するデバイス (端末/エッジ/クラウド) の設定を制御• 処理割合︓デバイス毎に割り当てる処理の量を決定• AI モデル︓精度や処理効率が異なるモデルから選択• アプリケーションは⼆つの性能要件を設定して映像分析処理を要求• 処理遅延︓映像分析にかかる E2E (end-to-end) 遅延• 分析精度︓各デバイスにおける精度の処理割合による加重平均• 映像分析処理のリクエストに応じて動的に最適化
処理A

Case1: 精度重視

カメラ
Case2: 速度重視

• 遅延制約︓20 ms• 精度制約︓30 %映像分析処理のリクエスト• 遅延制約• 精度制約処理B• 遅延制約︓150 ms• 精度制約︓70 %

処理C

アクセス
ネットワーク

映像分析
アプリケーション

バックボーン
ネットワーク端末

エッジサーバ

処理A

処理B

GRN を⽤いた最適化⼿法

処理割合︓20 %AI モデル︓4番

クラウドサーバ

端末

カメラ

組合せ最適化問題の定式化

9"デバイスにおける分析精度の加重平均10• 配列の値を２進数表記に変換した配列を最適化する対象として扱う• ⽬的関数︓システム全体の消費電⼒ $(")

1 " = $ 1" " + $ 1% ""∈$!

解の符号化! ! ︓セッション " が利⽤するデバイスの集合 (端末/エッジ/クラウド)#!" ︓デバイス $ に割り当てる処理量の重み%!" ︓デバイス $ で稼働する映像分析 AI の種類

ネットワークの伝送遅延

最適化対象

%∈&!

デバイスの電⼒消費

ネットワークの電⼒消費[ 010 101 011 100 111 100 ][ 2 5 3 4 7 4]

2 = −1 − 4 $ !!'() − !! − 5 $ ,! − ,'+%!
!∈,

処理遅延のペナルティ項!∈,-!" ︓処理量

分析精度のペナルティ項"︓セッションの集合##$ , ##% ︓セッション s におけるデバイス d とネットワーク n の処理遅延##&'( ︓アプリケーションが設定した処理遅延の上限値"))! ︓映像分析 AI *#$ の分析精度)&*%︓アプリケーションが設定した分析精度の下限値#+ # ︓セッション s が利⽤するデバイスの集合 (端末/エッジ/クラウド),#$ ︓デバイス - に割り当てる処理割合の重み*#$ ︓デバイス - で稼働する映像分析 AI の種類

処理割合︓50 %AI モデル︓7番

処理割合︓30 %AI モデル︓4番

端末

エッジサーバクラウドサーバ

図︓符号化の例

11• GA における個体の評価に GRN を応⽤• 標準的な GA では遺伝型を直接システム制御⽅法に変換して評価• GRN の発現過程を経て遺伝型を表現型へ変換
Ø 記憶の影響で有利な表現型が現れやすくなる

標準的な GA
表現型

6!" ︓AIの種類

処理割合︓20 %AI モデル︓4番

カメラ

提案⼿法

遺伝型

クラウドサーバ(!. ∀* ∈ , ! , .!. ∀* ∈ , !

%∈&!

,! = $ ,*! -!" / / ! ≥ ,'+%, ∀) ∈ +!

• 個体の適応度 'エッジサーバ• セッション ) に関する制御情報を配列で表現!! " = $ !!" " + $ !!% " ≤ !!'() , ∀) ∈ +"∈$!

処理割合︓30 %AI モデル︓4番• 分散処理の処理割合とAIモデルの選択を符号化• 制約条件︓処理遅延 !! " と分析精度 #!

デバイスの処理遅延

処理割合︓50 %AI モデル︓7番

図︓最適化モジュールの動作例

図︓システム構成と要求例"∈$!

システムの監視・ネットワーク状態
・デバイス情報解: システム制御⽅法

GRN の数理モデル[10]12• 個体は遺伝型と GRN の隣接⾏列を保持• 遺伝型 7︓遺伝⼦発現の初期パターン
7 = 8- , 8. , … , 8% ( −1 ≤ 8/ ≤ 1)
• GRN の隣接⾏列 =︓遺伝⼦間の正負の相互作⽤を表現>-- … >-%⋱⋮== ⋮>%- … >%%• 遺伝型と隣接⾏列の乗算により表現型 / " = 1/ " , 10 " , … , 11 "12 0 = 42を算出

1

GRN を応⽤したGA
遺伝型

12 " = 12 " + 60 7 8 923 12 "GRN の発現過程

表現型

解: システム制御⽅法
GRN の記憶の影響で分布に偏りが存在

図︓遺伝型から解への変換過程− 65 12 (")

34/• パラメータ " による / "∗∗を⽤いて適応度を算出[10] A. Wagner, “Does evolutionary plasticity evolve?,”
Evolu- tion, vol.50, no.3, pp.1008–1023, June 1996.

表︓定数、変数の定義
意味

設定

7+相互作⽤の影響の⼤きさ

1.07,

発現パターンの減衰率0.28

シグモイド関数tanh9∗

発現過程の計算回数10提案⼿法の評価

13• GRN による記憶と最適化問題における環境変動後の新しい解の発⾒に要する時間の関係性を検証

GRN の事前学習• シミュレーションで⽤いる三つの環境における解を記憶• 標準的な GA (SGA: Simple GA) で求めた解Ø 007007, 600200, 070070• 評価⽅式1.

事前に GRN に表現型を記憶

2.

記憶を持つ GRN が解探索に要する時間を評価

14• 表現型の発現に偏りを確認

Ø シミュレーション環境における解を学習• ランダム⽣成した 1万個の遺伝型から発現する表現型の分布を評価• 29.9 % の確率で記憶させた表現型が発現

Ø GRN を⽤いない標準的な GA (SGA: Simple GA) と⽐較

Ø 表現型の組み合わせ総数は 2#$ であり⾼確率と⾔える• シミュレーション設定• ⼩規模のシステムを想定して環境を設定

⾚︓記憶させた表現型
⻘︓その他の表現型

Ø デバイス数︓端末・エッジ・クラウドそれぞれ１つずつ
Ø セッション数︓１• 環境変動の設定• 処理遅延︓20-150 ms の範囲から設定• 分析精度︓20-70 % の範囲から設定

要求 遅延制約︓s 精度制約︓%

SGA による解記憶させた表現型A

0.0891459.245 %[0,0,7,*,*,6–7][0,0,7,0,0,7]

B0.0341424.271 %[6,0,0,0–2,*,*][6,0,0,2,0,0]58.271 %[0,7,0,*,6–7,*][0,7,0,0,7,0]C

0.07214解の発⾒に要する時間の⽐較

15• 変動後の環境で新しい解の発⾒に要した時間を評価

表現型

図︓ランダム⽣成した遺伝型から発現する表現型の分布[9] R.A. Watson，G.P. Wagner，M. Pavlicev，D.M. Weinreich, and R. Mills, “The evolution of phenotypic correlationsand “developmental memory”，” Evolution，vol.68，no.4, pp.1124–1138，Dec. 2014

まとめと今後の展開

16• ⽣物の適応進化メカニズムを応⽤することで、システムの環境条件の変動に対して適応⼒の⾼い最適化⽅式を提案• 提案⼿法による適応⼒の向上を検証• GRN を⽤いた場合は継続的かつ安定的に発⾒Ø 環境変動に対して⾼速に解が発⾒されることを確認
Ø 継続的かつ安定的に解の発⾒が可能であることを確認• わずかな世代で解を発⾒• 解の発⾒までの計算時間にばらつきが少なく安定的• 計算時間の平均値に約８倍の差を確認
Ø GRN: 32 ms
Ø SGA: 254 ms

B
C

• まとめ

• 世代数による評価• 計算時間による評価

頻度

A発現頻度

表︓利⽤した処理要求とSGAで求めた解Ø ⼀定の時間間隔で処理要求がA~Cに変化• 計算時間の平均値に約８倍の差を確認• 今後の展開

頻度

GRN

GRN

SGA

SGA

• 問題が⼤規模な場合の適応可能性の検証• 環境変動に合わせてGRNを⾃律的に学習させる⼿法の検討
Ø GRN の学習過程を最適化⽅式の進化に組み込む• 未知の環境への適応⼒の検証

Ø 過去の記憶の組み合わせにより新たな表現型を⽣み出す GRN の特性を活⽤

計算時間

世代数

(a) 世代数を計測(b) 進化計算の計算時間を計測

図︓環境変動直後から解の発⾒に要する時間の分布

⼆つの表現型の記憶

17• シミュレーションで⽤いる⼆つの環境における解を記憶• 標準的な GA (SGA: Simple GA) で求めた解GRNを適⽤したGAにおける適応度の推移• 200 世代ごとに交互に要求を切り替えた場合の適応度の推移を評価• 変動後の環境における最適解を即座に発⾒Ø A: 007007
Ø B: 600200• 三つの環境で切り替える場合は時間を要するケースも確認• 記憶の数が増えたことにより最適解を発現する確率が低下• 表現型の発現に偏りを確認• ランダム⽣成した 1万個の遺伝型から発現する表現型の分布を評価• 約 50 % の確率で記憶させた表現型が発現
A

適応度

適応度

B

発現頻度

⾚︓記憶させた表現型
⻘︓その他の表現型

表現型

図︓ランダム⽣成した遺伝型から発現する表現型の分布

世代数

世代数

(a)︓要求 A・B で切り替え(b)︓要求 A・B・C で切り替え

図︓シミュレーションにおける適応度の推移

18

ニューラルネットワークとの違い

19• GRN を⽤いた⼿法への期待• ⾃律的な記憶の獲得が可能であるため事前学習や再学習が不要• 既存の記憶の⼀般化によって未知の環境に適応可能• GRN の⽋点

• 進化計算に時間がかかるØ システム規模の拡⼤に対応できない可能性がある• 安定性に問題

Ø 記憶が消滅する可能性がある
Ø 環境への適応を保証できない

新たな記憶を獲得

有利な記憶を獲得

未知の環境の発⽣

初期値
記憶は存在しない

適応進化

⼤規模な環境変化

図︓GRN の⾃律的な進化

適応進化