京都グリーンラボ2023年度成果報告会, 60周年記念館1階記念ホール, 2024年3月19日

ワイヤレスセマンティックコミュニケーション
によるデジタルツインの構築
2024年3月19日

情報工学・人間科学系
電気電子工学系

梅原大祐
髙井伸和デジタルツインの課題• 現実空間（フィジカル空間）を無線センシング/モニタリング➢ 果たして現実空間の情報を常時送るだけの無線回線容量はあるのか？
サイバー空間フィジカル空間（デジタルツイン）

医療DX/ﾍﾙｽｹｱICT
マテリアルDX
産業/農業ICT
ｴﾝﾀｰﾃｲﾒﾝﾄ
6G/IoT
ﾌﾟﾗｲﾊﾞｼｰ保護
ｾﾝｼﾝｸﾞ/ﾓﾃﾞﾘﾝｸﾞ

機械学習/AI
ｸﾗｳﾄﾞ/ｴｯｼﾞｺﾝﾋﾟｭｰﾃｨﾝｸﾞ
サイバーセキュリティ
量子ICT2

セマンティックコミュニケーションの適用• インシデントを検知するセマンティックコミュニケーションの例➢ 複数のセンサ：インシデントを検知したときに情報をサーバに伝送➢ クラウド/エッジサーバ：複数のセンサ情報からインシデントを読み取る

Semantic
encoder 3

Semantic
encoder 4

Semantic
encoder 5

U2
U3
U4
U5

Channelencoder 1

Channelencoder 2

Channelencoder 3

Channelencoder 4

Channelencoder 5

X1
X2

Multiple
accesschannel 1 Y 1

X3
X4
Multiple
accesschannel 2

X5

Y2X^ 1X^ 2X^ 3X^ 4X^ 5

Cooperative
semantic decoder

Critical scene

Semantic
encoder 2

U1

Cooperative
channel decoder

Semantic
encoder 1

Cloud/edge server

Type: Stalking
Urgency: AV

Place: XXX
Human detection:
Name: YYY
Address: ZZZ

Time: 00:01:27

2024年度科研費基盤研究(B) 「クリティカルシーンを検知して状況を通知する協調無線センサネットワーク構成法の解明」

3

セマンティックコミュニケーションとは• 現在の無線通信システムのブロックダイヤグラム
画像/音声/テキスト

情報源
符号化

通信路
符号化

デジタル変調

無線通信路

デジタル
復調

通信路復号

情報源
復号

復元情報

• Joint Source and Channel Coding (JSCC) のブロックダイヤグラム
画像/音声
/テキスト

Joint Source andChannel Encoder

Precoder

無線
通信路

Equalizer

Joint Source andChannel Decoder

復元情報• セマンティックコミュニケーションのブロックダイヤグラム
画像/音声
/テキスト

Semantic
Encoder

ChannelEncoder

Precoder

無線
通信路

Equalizer

ChannelDecoderSemantic
Decoder

復元情報4

協調セマンティックコミュニケーション• 協調セマンティックのブロックダイヤグラム
点群

Semantic
Encoder 1

ChannelEncoder 1

画像Semantic
Encoder 2

ChannelEncoder 2

音声

Semantic
Encoder 3

ChannelEncoder 3

テキスト

Semantic
Encoder 4

ChannelEncoder 4

無線
通信路

Joint
ChannelDecoder

Cooperative
Semantic
Decoder

復元情報5

2023年度の取り組み• 既存のセマンティックコミュニケーションを実装，その特性を検証
1. 無線音声伝送におけるセマンティックコミュニケーション✓ 梅原研究室のB4が担当，DeepSC-S [1] の性能を評価✓ 異言語音声間の汎化能力について検証✓ コミュニケーションシステム研究会（3/14）にて研究発表

2. 無線画像伝送におけるセマンティックコミュニケーション✓ 梅原研究室のM1が担当，WITT [2] の性能を評価✓ 情報工学専攻の中間発表（1/19）にて研究の進捗状況を発表

3. PAPRを低減する無線セマンティックコミュニケーション✓ 髙井研究室のM1が担当，DeepJSCC-Q [3] を検証中
[1] Z. Weng et al., “Semantic communication systems for speech transmission,” IEEE JSAC, vol. 39, no. 8, 2021.
[2] K. Yang et al., “WITT: A wireless image transmission transformer for semantic communications,” Proc. IEEE ICASSP 2023, 2023.
[3] T.-Y. Tung et al., “DeepJSCC-Q: Constellation constrained deep joint source-channel coding,” IEEE JSAIT, vol. 3, no. 4, 2022.

6

DeepSC-S の異言語間汎化能力の検証

7

学習システムアーキテクチャ• DeepSC-S 学習システムアーキテクチャ
𝐵×𝐹×𝐿
𝐵×𝑊
音声1
音声2
音声3
音声𝐵

𝒔𝒎
Framing

𝐵×𝐹×𝐿×𝐷
Attentionbased
EncoderSemantic
Encoder

𝐵 × 𝐹 × 2𝑁𝒃

𝐵 × 𝐹𝑁 × 2𝒖𝒙

CNN
Layer

ReshapeLayer

𝐵×𝐹×𝐿×𝐷

𝐵×𝑊
𝐵×𝑊
音声1
音声2
音声3
音声𝐵𝒔ොෝ𝒎Deframing

ChannelLayer

Noise 𝒘

𝐵: チャネル数, 𝐹: フレーム数, 𝑁: シンボル数/フレーム
𝐵×𝐹×𝐿Attentionbased
DecoderSemanticDecoder

𝐵 × 𝐹 × 2𝑁

෡𝒃𝒗
CNN
Layer𝒚Reshape
Layer
8

Attention-based Semantic Encoder/Decoder• Attention-based semantic encoder
SELayer𝒑𝒛𝒑𝒎
Split
Layer

SE-ResNet
ModuleTransition
Layer

𝒃

Module 𝑛

SE-ResNet Module
Module 1• Attention-based semantic decoder෡𝒃SE-ResNet
ModuleSE-ResNet
ModuleSE-ResNet
ModuleModule 1

Module 2

Module 𝑛

Last
Layer

ෝ𝒎9

Encoder/Decoder の学習• MSE損失関数による確率的勾配降下法（SGD）
平均二乗誤差(MSE)

確率的勾配降下法(SGD)
MSE損失パラメータ更新式
𝜃 𝑖+1 ← 𝜃 𝑖 − 𝜂∇𝜃 ℒ𝑀𝑆𝐸 𝜃 𝑖
SNR = 10 dB
𝜂 = 0.0005

Epoch1ℒ𝑀𝑆𝐸 𝜃 =𝒔 − 𝒔ො 2𝑊
𝒔: 元の音声信号系列𝒔ො : 復号した音声信号系列
𝑊: 音声信号系列の長さ
𝜂 > 0: 学習率𝜃 = 𝜃 𝑇 , 𝜃 𝑅 : ネットワークパラメータ
𝜃 𝑖 : 𝑖-th epoch のパラメータ値

10データセットと評価指標• データセット➢ 英語音声：男女2名による1 – 3秒の音声，824ファイル，48 kHzサンプリング➢ 日本語音声：女性3名による5 – 10秒の音声，300ファイル，48 kHzサンプリング• 性能評価指標𝒔 2𝒔 − 𝒔ො 2

➢ SDR (Signal-to-Distortion Ratio, 信号対歪み比)
SDR = 10 log10➢ PESQ (Perceptional Evaluation of Speech Quality) [4]✓ 知覚・認知モデリングにより音声品質の劣化量を計算してMOS値を推定• 評価項目
学習テスト

実験1英語音声
英語音声

実験2
日本語音声
英語音声

実験3
英語音声
日本語音声

実験4
日本語音声
日本語音声

[4] ITU-T P.862, Perceptual Evaluation of Speech Quality (PESQ): An Objective Method for End-to-End Speech Quality Assessment ofNarrow-band Telephone Networks and Speech Codecs, Feb. 2001.

11学習モデル諸元• エンコーダ/デコーダの学習モデル

Tx

Rx

Layer name6×SE-ResNet

Filters
6×64

Activation
ReLU

CNN layer

8None

CNN layer
6×SE-ResNet

86×64

ReLU
ReLU

Last layer (CNN)

1None• 学習パラメータ
ParameterValue
サンプルレート48 kHz
サンプル長 𝑊
16,384
バッチサイズ 𝐵
32
フレーム数 𝐹128
フレーム長 𝐿128
学習率 𝜂0.0005
学習エポック数400
学習SNR
0, 5, 10, 15, 20 dB
12

復元した音声信号 (SNR = 10 dB)• 英語音声オリジナル

学習：英語音声

学習：日本語音声

学習：英語音声

学習：日本語音声• 日本語音声オリジナル

13

Speech SDR vs Channel SNR
テスト：英語音声

テスト：日本語音声

学習：日本語音声

Channel SNR [dB]

学習：英語音声

Speech SDR [dB]

Speech SDR [dB]

学習：英語音声

学習：日本語音声

Channel SNR [dB]

• どちらの言語音声で学習しても日本語音声の復元忠実度が低い• 日本語音声で学習したときに英語・日本語音声の復元忠実度が低い

14

PESQ vs Channel SNR
テスト：英語音声

テスト：日本語音声

学習：英語音声

学習：日本語音声

Channel SNR [dB]

PESQ

PESQ

学習：英語音声

学習：日本語音声

Channel SNR [dB]

• どちらの言語音声で学習しても日本語音声の復元品質が低い• 日本語音声で学習したときに英語・日本語音声の復元品質が低い

15

DeepSC-S の検証のまとめ• 今回の検証では，異言語音声間の汎化能力が十分ではなかった➢ 適切な学習データセットについての検証➢ 適切なハイパーパラメータチューニングの必要性➢ SE-ResNetのAttention機能の解明• 今後に向けての取り組み➢ 音声信号伝送以外の異なるタスクの検証✓ 音声から抽出したテキストを無線伝送してサイバー空間でテキストを復元✓ 音声から声紋鑑定に必要となる情報を抽出してサイバー空間で声紋鑑定
16

WITT (Wireless Image Transmission Transformer)の性能検証

17

Image

𝐻×𝑊×3
ෝ
𝒙× 𝑁2
× 𝑁3
× 𝑁4

Stage 2
Stage 3
Stage 4

Stage 3
Stage 2
Stage 1

× 𝑁1
× 𝑁2
× 𝑁3
× 𝑁4

𝐻 𝑊
× × 𝐶12 2
𝐻 𝑊
× × 𝐶24 4
𝐻 𝑊
× × 𝐶38 8
𝐻 𝑊
×× 𝐶416 16

FC𝐻 𝑊×× 𝐶4
16 16

FC𝐻 𝑊
× × 𝐶38 8Channel ModNet

Swin Transformer Block

Patch Merging

Swin Transformer Block

Patch Merging

𝐻 𝑊
× × 𝐶24 4Channel ModNet

Swin Transformer Block

Patch Division

Swin Transformer Block

Patch Division

Stage 4Swin Transformer Block× 𝑁1

Swin Transformer Block

Stage 1Patch Merging

Swin Transformer Block

𝐻 𝑊
× × 𝐶1
2 2

Patch Division

𝐻×𝑊×3

Swin Transformer Block

Image

Patch Division

Source Space𝒙

Patch Embedding

WITTシステムアーキテクチャ
Semantic Space

Channel State𝒚𝒚𝒚

Wireless
Channelෝ𝒚𝒚𝒚18

CIFAR-10 PSNR, MS-SSIM vs AWGN SNR• 𝐶はチャネル数，学習時のSNRは10 dB➢ Channel ModNet で異なるSNRでも追随できている？ ⇒ 更なる検証が必要

19

CIFAR-10 PSNR, MS-SSIM vs Rayleigh SNR• 𝐶はチャネル数，学習時のSNRは3 dB➢ SNRの変化に追随できていない ⇒ 無線チャネル補償技術の研究開発の必要性

20

WITT の検証のまとめ• 今回の検証では，無線チャネルの CSI の変化に追随できていなかった➢ 新たな無線チャネル補償技術の研究開発を進める• 今後に向けての取り組み➢ 画像伝送以外の異なるタスクの検証✓ 不審車両，不審人物の特定に必要となる情報を抽出してサイバー空間に伝送✓ プライバシーを保護するための画像加工を施してサイバー空間に伝送21今後のプロジェクトの推進に向けて• ワイヤレスセマンティックコミュニケーションについて➢ 無線デバイスと無線チャネルにおける要件を満足するための学習モデルの開発✓ 無線デバイスの電力効率の向上のためにはPAPRの低い信号が望まれる✓ RF回路の不完全性を補償する必要がある✓ 無線チャネルの利用にはそのスペクトラムについて制限がある• デジタルツインの構築に向けて➢ サイバー空間にとって必要となる情報とは？
➢ サイバー空間のどの情報をどの程度の頻度で更新するのか？
➢ センシングした点群，画像，音声，テキストなどをどのように融合するのか？
22