深層学習を用いて次世代無線通信システムにおけるダイナミックスペクトラ
ムアクセスの研究
代表研究者
共同研究者

李 傲寒
大槻 知明

慶應義塾大学大学院理工学研究科
慶應義塾大学大学院理工学研究科

後期博士課程 2 年
教授

1 はじめに
無線デバイスの普及とアプリケーションの急増に伴い, 無線トラフィック量が大幅に増加する [1].
そのため, ユーザの通信品質 (QoS: Quality of Service) が低下する可能性がある[2]. また,ネットワ
ーク環境もより複雑になる傾向がある [3]. 更に, 無線周波数リソース不足が問題になっている [4].
多数の無線デバイスに低遅延, 高スペクトラム効率な通信品質を保証するのは大きな課題である [5]. 次
世代無線通信システムの発展を妨げる大きな要因として, 無線通信に使用しやすい周波数の資源不足が考えられる [6]. その解決策として, 無線周波数のより効率的な利用が求められており, 新たな周波数帯域を開拓, および電波環境や需要に応じて周波数を適応的に割り当てるダイナミックな周波数割り当て技術に注目が集まっている [7, 8]. その中で, ダイナミックスペクトラムアクセスを実現するため, 無線デバイスはスペクトラムセンシングで周波数利用状況を検知して, 適切に周波数利用状況を把握することで,他の無線デバイスに干渉を与えることなく, より効率的な周波数利用が可能となる [9-12]. しかし, チ
ャネルの状態を正確にセンシングすることには, センシング時間とエネルギーがかかるため, 通信遅延とデバイスのエネルギー消費がより高い [13, 14]. また, 他の無線デバイスに干渉を避けるチャネル選択
手法では, 従来法には事前情報が必要であるが, 現実世界では実現できない可能性がある [15-17]. 深層
学習は多層のニューラルネットワークを用いて高い予測性能を発揮することと特徴を抽出することができる機械学習の 1 つであり, 階層数をはじめとしたパラメータを次世代無線通信システムに適したものに最適化し, 事前情報なくても, 学習させることで, 高効率的なチャネル割当と高精度なスペクトラム状態の予測が実現できると考えられる [18-20]. そこで, 本研究では, 将来のスペクトラム状態を予測すること
でスペクトラムセンシングを行う回数削減技術および事前情報なくて他の無線デバイスに干渉を避けるチ
ャネル選択技術を検討した.

2 深層学習を用いたスペクトラム状態の予測
2-1 従来研究と本研究の目的
ダイナミックスペクトラムアクセスシステムにおける無線デバイスはセンシングで周波数の利用状況を検知して, 他の無線デバイスに干渉を与えることなく, より効率的な周波数を利用する [21, 22]. しかし,スペクトラムセンシングで時間とエナジーがかかるため, 通信遅延とエネルギー消費がより高い [23]. ス
ペクトラム予測技術はスペクトラムセンシングで消費される時間とエネルギーを大幅に削減できるため, 期待される技術である [24-26]. ダイナミックスペクトラムアクセスシステムにおけるスペクトラム状態の予測する従来法[27,28]では, 無線デバイスは自分以外の無線デバイスの情報を知る必要があると想定されている. しかし,現実には他のデバイスの情報を知ることは困難である. そこで, 本研究では, 深層学習を用いてスペクトラム状態の予測課題に取り組んだ. 深層学習[29]を用いることで, 他のデバイスの情報を知らなくても, スペクラム 状態の予測す ることが可 能である . まず, 再帰型ニューラルネット(RNN:
Recurrent Neural Network) の一種である（LSTM: Long Short-Term Memory）[30]を用いて次のタイムスロットのスペクトラム状態を予測した. 指数オン/オフモデルと隠れマルコフモデルの 2 種類のチャネルを検討した.
2-2 LSTM を用いたチャネル予測(1) LSTM
LSTM は再帰型ニューラルネットワーク(RNN: recurrent neural network)の一種である[31]. RNN の学習において勾配消失は大きな問題である. そして, それを解決するには RNN レイヤのアーキテクチャを根本から変える必要がある. ここで登場するのが「ゲート付き RNN」である. このゲート付き RNN には多くの

1
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

アーキテクチャが提案されており, その代表格に LSTM がある. 図１に, 入力層と隠れ層, 出力層４つの層で構成され, ３つの時間ステップ時間領域で展開された RNN の構造を示す. 入力ベクトルは, 1 つのタイム
ステップで 1 つのエレメントを RNN に入力される. この構造は時系列の概念で, フィードフォワードネット
ワークは固定の入力ベクトルを処理することを示す. RNN ネットワークでは, 履歴入力の情報をネットワー
ク内部状態に保存できる. それにより, 現在時刻までのすべての利用可能な入力情報を利用可能である. 理論的には, RNN は任意の長さの時系列の特性を学習できる. しかし, 実験により, RNN ネットワークのパフォーマンスは, 勾配消失または勾配爆発により制限される可能性があることが証明されている [32]. RNN
ネットワークの勾配の問題を解決するために, LSTM ネットワークは, メモリユニットを導入することによって設計されている.

図１: ４つの層で構成された RNN の構造
図２に示すように, メモリユニットはメモリセルと 3 つのゲートを含む. ゲートは, 対応する実用的な機能に応じて名前が付けられる. メモリセルには、次のタイムステップで使用されるユニットの現在の状態を記憶する. ゲートは, 関連情報の忘却と保存の比率を制御する. 𝑖 で示される入力ゲートは,メモリセルに流入する新しい情報の量を制御する. 𝑓 で示される忘却ゲートは, 現在のメモリセルで破棄されるメモリセルの量を決定する. 𝑜 で示される出力ゲートは, メモリユニットの出力アクティ
ベーションを計算し, さらにネットワークの残りの部分に流れ込む情報量を制御する.

図２: メモリユニット内の LSTM の構造2
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

(2) LSTM を用いたチャネル予測法
本研究では, LSTM を用いたダイナミックスペクトラムアクセシステムにおけるチャネル状態の予測を検討した. 各チャネルには 2 つの状態があると考える. つまり, アイドル状態とビジー状態. 無線デバイス
がチャネルにアクセスしていない場合, チャネルはアイドルである. その以外の場合, チャネルはビジー状態である. 2 つのモデルに基づいてチャネル予測を検討した. これらは、指数オン/オフモデル[33]と隠れマ
ルコフモデル[34]である. 指数オン/オフモデルでは, オン時間は指数分布からサンプリングされ, 次のよ
うに表せる.
𝑇𝑂𝐹𝐹 ~𝐸𝑥𝑝(𝜃) = 𝜃𝑂 𝑒 −𝜃𝑂𝑡𝑂𝐹𝐹(1)
ここで, 𝜃𝑂 は指数オフ分布の平均値であり, 平均オフ時間に対応する. 図３に隠れマルコフモデルを示す.
𝑃00 , 𝑃01 , 𝑃10 , 𝑃11 はチャネルの遷移確率であり, 𝑃00 はチャネルがアイドル状態からアイドル状態までの遷移確率であり, 𝑃01 はチャネルがアイドル状態からビジー状態までの遷移確率であり, 𝑃10 はチャネルがビジー状態からアイドル状態までの遷移確率であり, 𝑃11 はチャネルがビジー状態からビジー状態までの遷移確率である.

図 3: 隠れマルコフモデル
本研究での LSTM を用いたチャネル予測法では, LSTM に入力はセンシングしたシャネルの状態であり,出力は予測するチャネル状態である.
2-3 特性評価(1) 指数オン/オフモデル
シミュレーションでは, 指数オフ分布の平均値𝜃0 は 0.1 とする. 訓練データは 98 個とし, テストデー
タは 42 と設定した. LSTM に入力チャネル状態の数は１と 20 に設定した.シミュレーション結果は図３に示す. 図４の横軸はチャネル状態のデータの数であり, 縦軸は平均二乗偏差 (RMSE: Root Mean Squared
Error)である. 青い色で示すのは実際のチャネル状態であり, オレンジ色で示すのは訓練プロセスでの予測結果であり, 緑色で示すのはテストプロセスでの予測結果である. RMSE は次式で表すことができる.
1

RMSE = √ ∑𝑛𝑡=1((𝑂𝑏𝑠𝑒𝑟𝑣𝑒𝑑𝑡 − 𝑃𝑟𝑒𝑑𝑖𝑐𝑡𝑒𝑑𝑡 )2 )𝑛(2)

ここで, 𝑂𝑏𝑠𝑒𝑟𝑣𝑒𝑑𝑡 は時刻𝑡に実際のチャネル状態であり, 𝑃𝑟𝑒𝑑𝑖𝑐𝑡𝑒𝑑𝑡 は予測値である. シミュレーション結果により, LSTM に入力チャネル状態の数は１の時, RMSE は 0.33 となった. LSTM に入力チャネル状態の数は20 の時, RMSE は 0.01 となったことがわかる. つまり, LSTM に入力チャネル状態の数は大きいほど, 予測値
は実際のチャネル状態に近くになる.とにかくどちらの場合でも, 指数モデルにおけるチャネル状態が正しく予測できる.

(a) 入力チャネル状態の数は１(b) 入力チャネル状態の数は 20
図 4: 指数オン/オフモデルにおける予測結果,

3
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

(2) 隠れマルコフモデル
シミュレーションでは, 隠れマルコフモデルでの遷移確率は４種類に設定される.それぞれは
𝑃00 , 𝑃01 , 𝑃10 , 𝑃11 = (0.98, 0.02; 0.02, 0.98), (0.8, 0.2; 0.2, 0.8); (0.5, 0.5; 0.5, 0.5); (0.2, 0.8; 0.8, 0.2)である. チャ
ネル状態を予測するために使用されるチャネル状態データは５から 300 まで変化します. 予測値が 0.5 以上の場合, チャネルはビジーとする. 予測値が 0.5 未満の場合, チャネルはビジーとする. 図５に隠れマルコフモデルにおける予測結果を示す. 図５での「The number of look back」はチャネル状態を予測するために使用されるチャネル状態データの数である. シミュレーション結果により, 訓練データを使用して予測したチャネル状態の正確率は look back の回数が増えると高くなることが分かる. しかし, テストデータを使用して予測したチャネル状態の正確率は look back の回数が増えると低くなることが分かる. また, RMSE と予測の正確率はトレーニングデータとテストデータの両方を使用したチャネル状態の遷移確率に関連がある
ことが分かる. チャネル状態は不変動に傾向が高いほど, 高い予測精度が得られる. チャネル状態はよく変動に傾向が高い場合, 予測精度が低いため, 高効率的なスペクトラム割当法の検討する必要ある. そこで, 深層学習を用いたチャネル割り当て法を検討していく.

(a) 訓練データを用いた予測結果(b) テストデータを用いた予測結果
図５: 隠れマルコフモデルにおける予測結果

3 深層学習を用いたチャネル割り当て
3-1 従来研究と本研究の目的
従来法 [35, 36] では, リソース割り当てを組合せ最適化問題として定式化している. しかし, 従
来法では, 様々な制約条件したで多くの選択肢の中から, ある指標を最も良くする変数の値を求めること困難である. 準最適解を求めるため, 従来法では定式化された最適化問題をいくつの準最適化問題に4
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

分解し, それらを別々に解決するので, 非効率的で複雑である. また, 従来法には事前情報が必要であるが, 現実世界では実現できない可能性がある. リソース割り当て問題は, マルコフ決定過程(MDP：
Markov Decision Process)としてモデル化できる. ここで, 強化学習(RL：Reinforcement Learning)の 1つである Q 学習(QL：Q Learning)を用いて, 事前情報を必要とせずに MDP 問題を効率的に解決可能性がある. しかし, Q 学習は状態空間が小さい問題にのみ適用できる [37]. システム規模が大きい場合, シ
ステムの状態および行動集合も非常に大きくなり, Q 値を保存および更新するために必要な記憶容量が膨大になる. また, 必要な Q テーブルを作成するために各状態を探索するのに必要な時間は長い. したがって, 入力として提供される状態情報を行動集合の各行動に対応する Q 値にマッピングするモデルを開発する必要がある. ディープニューラルネットワー（DNN：Deep Neural Network）は入力状態情報を全ての可能な行動の Q 値にマッピングする方法を学習できるため, 関数近似として重要である. Q 学習と DNNを組み合わせると, 深層強化学習(DQL：Deep QL)につながる. そこで, 本研究では, ダイナミックスペクトラムアクセスにおける低計算量でシステム容量が大きい通信を実現するため, 深層強化学習に基づ
くリソース割り当て法 (DQLRA: Deep Q Learning based Resource Allocation) を検討した. DQLRA では, 無線デバイスが利用する周波数, 送信電力, エナジーハーベスティング時間を自動的に割り当てられる. 本研究の主な内容は次のように要約される.(1). 計算量が低い DQLRA を提案した. DQLRA は, 時変チャネル状態を考慮し, 事前情報を必要とせずに無線デバイスに無線リソースを自動的に割り当て可能である. また, DQLRA は IoT デバイスの数が多い場合も利用可能である.(2) DQLRA は従来法（ECAA：
Efficient Channel Allocation Algorithm）[15] と比較して計算量を大幅に削減可能であり, ランダム
割り当て法と比較してシステム容量を大幅に改善できる.
3-2 DQL を用いたチャネル割り当て法（1）システムモデルと問題の定式化
本研究では, 図 6 に示すように, 一つのゲートウェイ（GW：GateWay）と 𝑁 個の IoT デバイスから成るエナジーハーベスティング IoT システムについて上り回線を考える. IoT デイバスは, GW の通信範
囲の周囲にランダムに配置される. IoT ネットワークは同期しており, 各 IoT デバイスには容量上限がある充電式バッテリーが装備されると仮定する. 充電式バッテリーで IoT デバイスが太陽光, 振動, 廃熱等のエネルギーから充電できる. GW の帯域幅を 𝐵𝑇 とし, 𝐵𝑇 は 𝐒 = {𝑆1 , 𝑆2 , ⋯ , 𝑆𝑚 , ⋯ , 𝑆𝑀 } で示される 𝑀 ブロックに分割される. 各ブロックの帯域幅を 𝐵 とする. 本稿では, 長距離，低電力通信向けに設計された LoRAWAN（Long-RAnge Wide Area Network）ネットワークを考える. LoRAWAN では, 各チ
ャネルに拡散率（SF：Spreading Factors）が異なる最大 𝐷 個 IoT デバイスが同時にアクセスできる.
つまり, 異なる SF を使用している限り, ネットワーク内で複数のフレームを同時に交換できる [22].

図 6: システムモデル

5
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

図 7 に示すように, IoT ネットワークでのデータ通信は時分割多重化方式に基づくとする. 各フレーム長を 𝐹 とし, 𝐊 = {1, 2, ⋯ , 𝑘 , ⋯ , 𝐾} で示される 𝐾 個タイムスロットで構成される. IoT デバイス
は, 各タイムスロットでエナジーハーベスティングかデータ転送をする. 各タイムスロットの最初に,
GW は通信範囲の各デバイスに対して, チャネル状態, エナジーハーベスティング状態および IoT デバ
イスの残りエネルギーに基づいて, 各タイムスロットでエナジーハーベスティング, またはデータ転送を実行するか決定する.

図 7: 各エナジーはーべスティング IoT デバイスのフレーム構造
フレーム 𝑗 で, IoT デバイス 𝑛 がデータ転送するタイムスロット数を 𝑇𝑛,𝑗 と表し, エナジーハ
ーベスティングするタイムスロット数を 𝐸𝑛,𝑗 と表す. フレーム 𝑗 の 𝑘 番目のタイムスロットに, IoT
𝐻
𝐶
デバイス 𝑛 の充電されたエネルギー及びエネルギー消費を, それぞれ 𝑃𝑛,𝑗(𝑘) 及び 𝑃𝑛,𝑗(𝑘) と表す.
𝐻
フレーム 𝑗 の 𝑘 番目のタイムスロットがデータ転送に使用される場合, 𝑃𝑛,𝑗(𝑘) は０になる. 同様に,
𝐶
フレーム𝑗 の 𝑘 番目のタイムスロットがエナジーハーベスティングに使用される場合, 𝑃𝑛,𝑗(𝑘) は０に𝐴
なる. IoT デバイスのバッテリー容量上限を 𝑃𝑚𝑎𝑥とすると, フレーム 𝑗 の (𝑘 + 1) 番目の番目のタ
イムスロットの最初に, IoT デバイス 𝑛 の利用可能な電力は
𝐴
𝐴
𝐶
𝐻
𝐴
(𝑘 + 1) = min(𝑃𝑛,𝑗(𝑘) − 𝑃𝑛,𝑗(𝑘) + 𝑃𝑛,𝑗(𝑘), 𝑃𝑚𝑎𝑥
𝑃𝑛,𝑗
)

(3)

フレーム 𝑗 の 𝑘 番目のタイムスロットで, 帯域ブロック 𝑆𝑚 が IoT デバイス 𝑛 に割り当てられているかどうかを 𝛼𝑚,𝑛,𝑗 (𝑘) と表す.
1,𝛼𝑚,𝑛,𝑗 (𝑘) = {
0,
フレーム

𝑗 の 𝑘

𝑆𝑚 が IoT デバイス 𝑛 に割り当てる場合
その他

番目のタイムスロットにおける IoT デバイス

𝑛𝑅𝑛,𝑗 (𝑘) = ∑𝑀
𝑚=1 𝛼𝑚,𝑛,𝑗 (𝑘) ∙ 𝐵 ∙ log 2 (1 + 𝛾𝑛,𝑗 (𝑘))

(4)

の容量は,
(5)

になる. ここで, 𝛾𝑛,𝑗 (𝑘) はフレーム 𝑗 の 𝑘 番目のタイムスロットにおける IoT デバイス 𝑛 の上り信号対雑音比（SNR：Signal-to-Noise Ratio）を表し, 次式で与えられる.
𝛾𝑛,𝑗 (𝑘) =𝑃𝑛,𝑗 (𝑘)∙𝑔𝑛,𝑗 (𝑘)𝜎2(6)

ここで, 𝑃𝑛,𝑗 (𝑘) はフレーム 𝑗 の 𝑘 番目のタイムスロットにおける IoT デバイス 𝑛 の送信電力を表し, 𝑔𝑛,𝑗 (𝑘) 及び 𝜎 2 は, それぞれフレーム 𝑗 の 𝑘 番目のタイムスロットにおける IoT デバイス𝑛がアクセスするチャネルの通信路利得と加法性白色ガウス雑音（AWGN：Additive White Gaussian Noise）
電力を表す. フレーム 𝑗 における IoT デバイス 𝑛 の累積容量は次式で与えられる.
𝑇𝑛,𝑗𝑅𝑛,𝑗 = ∑𝑘=1 𝑅𝑛,𝑗 (𝑘)(7)

フレーム 𝑗 におけるシステム累積容量は次式で与えられる.
𝑅𝑗 = ∑𝑁(8)
𝑛=1 𝑅𝑛,𝑗 (𝑘)本研究の目標は, エナジーハーベスティング IoT におけるリソース割り当て法で累積容量を最大化することである. 最適化問題は次のように定式化される.

6
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

(P1)

max

𝛼𝑚,𝑛,𝑗 (𝑘),𝑃𝑛,𝑗 (𝑘),𝑇𝑛,𝑗

(9a)

𝑅𝑗

𝐴
(𝑘)
s.t. 𝐶1 : 0 ≤ 𝑃𝑛,𝑗 (𝑘) ≤ 𝑃𝑛,𝑗(9b)

𝐶2 : 𝑇𝑛,𝑗 ≤ 𝐹
𝐶3: 𝑇𝑛,𝑗 + 𝐸𝑛,𝑗 = 𝐹
𝐶4: ∑𝑛 𝛼𝑚,𝑛,𝑗 (𝑘) ≤ 𝐷 ∀𝑚
𝐶5: ∑𝑚 𝛼𝑚,𝑛,𝑗 (𝑘) ≤ 1 ∀𝑛

(9c)
(9d)
(9e)
(9f)

ここで, 𝐶1 は各エナジーハーベスティング IoT デバイスの送信電力がどのタイムスロットでも残り電力を超えられないことを示す. 𝐶2 と𝐶3は各フレームがエナジーハーベスティングとデータ転送のために２つの期間に分割されることを示す. 𝐶4は最大𝐷個 IoT デバイスが同時に同一チャネルにアクセスできることを示す. 𝐶5は各 IoT デバイスに同時に割り当てられるチャネルが１つのみに制限される. 最適化問題 P1 は従来の最適化法で解ける可能があるが, 特に大規模な IoT システムでは計算量が非常に大きくなる. また, 最適化に必要な事前情報を取得するのは困難な場合がよくある. そこで, 計算量を削減し, 事前情報を不要とする DQLRA を設計する.
（2）DQLDQL 法は深層強化学習（DRL：Deep RL）法の 1 つである.DRL 法の一般的な構造を図 8 に示す. 各エ
ポック 𝑡 で, エージェントは方策 𝜋 を用いて, DNN によって取得された Q 値に基づいて行動を決定す
る. DNN は Q 関数の関数近似として使用されており, ベクトルの形で状態情報を入力し, 可能な全ての行動の Q 値にマッピングすることを学習する. 選択した行動を実行することにより, エージェントが報酬を取得し, 環境が新しい状態に変わる. 次に, DNN が, 取得した報酬, 現在の状態に対応する方策
𝜋 を用いて選択した行動の Q 値, および次の状態に対応する最大 Q 値に基づいて更新される. 図 9 に
DNN モ デ ル の 構 造 を 示 す . 図 9 で は , エ ポ ッ ク 𝑡 で 可 能 な 全 て の 行 動 の Q 値 , つ ま り ,Q(St , A1 ),..., Q(St , Al ),..., Q(St , AL ) が, エポック𝑡の状態情報 S t から DNN によってマッピングできる.

ここで, A = {A1 ,..., Al ,..., AL } は行動集合である. DQL 法の主な目標は, Q(s, a; wt ) と yttar との間の距離を最小化することである. ここで, yttar は TD（Temporal Difference）target と呼ばれ, Q(s, a, wt )はエポッ ク t で状態 s と行動 a のペア の Q 値を 示す . DQL 法の目標は 次式で 与 えられる yttar とQ(s, a, wt ) の二乗損失関数を最小化することである.

Lt ( wt ) =s ,a ,r , s[( yttar − Q( s, a; wt )) 2 ] .

(10)

DQL 法では,

yttar = [r + max a Q(s , a ; wt− ) | St = s, A(t ) = a] .

(11)

ここで, S t と A(t ) は, それぞれ現在の状態と行動を示す. s と a は, それぞれ次のエポックでの状態と行動を示す. r は即時報酬を示す.

−

は将来の報酬の割引率を示す. DQN では, Q(s , a ; wt ) とQ(s, a; wt ) は target network および evaluation network と呼ばれる 2 つの異なるニューラルネットワ
ークによって別々に推定される.

7
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

図 8：DRL 法の構造

図 9：DNN モデルの構造（3）DQLRADQLRA では, GW はエージェントであり, エナジーハーベスティング IoT ネットワークに関連する全てのものを環境とする. 行動は -greedy アルゴリズムを用いて, DNN によって取得された Q 値に基づいて, GW によって選択する. 選択した行動を実行することにより, 環境が新しい状態に変わり, 報酬を取得できる.DQLRA では, IoT デバイス n がフレーム j の k 番目のタイムスロット中の状態は,
Sk = {G j (k ), PjH (k ), PnA, j (k )} として定義される. ここで, G j (k ) と PjH (k ) は, それぞれフレーム jの k 番目のタイムスロット中のチャネル状態集合とエナジーハーベ スティング状態集合を示す. 各タ
イムスロット中, チャネル状態とエナジーハーベスティング状態は不変だと想定する.
M. ここで, g mj (k ) はフレーム j の k 番目のタイムスロッ
G j (k ) = {g 1j (k ), g 2j (k ),..., g mj ( k ),..., g j ( k )}ト中でチャンネル𝑚の通信路利得を示す. PjH (k ) = {PjH ,1 (k ), PjH ,2 (k ), ,..., PjH ,m (k ),..., PjH , M (k )} . こ
こで, PjH , m ( k ) は, フレーム j の k 番目のタイムスロット中チャネル m のエナジーハーベ スティング
状態集合を示し, 各タイムスロット中にハーベスティングできるエネルギーとして定義される. DQLRAの行動集合は, チャネル集合, 送信電力レベル集合, エナジーハーベスティングとデータ転送のインジケータで構成される. エナジーハーベスティングとデータ転送のインジケータは, エナジーハーベステ
ィ ン グ ま た デ ー タ 転 送 の い ず れ か の 行 動 を 示 す た め に 使 用 さ れ る . DQLRA で は , 行 動 集 合
A = { A1 , A2 ,..., A2 MPL } . ここで, PL は送信電力レベル数を示す. 行動を実行するための方策が -greedy アルゴリズムであり, 次式で与えられる.
A(k ) =

arg max Q( S k , A(k )),確率(1 − )でrandom( A(k )),確率 でA( k ) A(12)

A( k ) A-greedy アルゴリズムとは, 確率 でランダムに行動, それ以外の確率（1- ）で最も期待値(Q値)の高い行動を選択する法である. DQLRA では, DNN の更新は RMSProp（Root Mean Square Propagation）

8
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

最適化アルゴリズム[23]を用いて行う. DNN をトレーニングするための損失関数はLoss ( wk ) =Sk , A ( k ) Dとなる. ここで,

(y

tar
k

− ykeva

) ,

(13)

2

D は状態と行動ペアを保存するデータセットである. DQLRA では, yktar と ykeva はそれぞれ式(9)と Q(s, a; wk ) として定義される.フレーム j の k 番目のタイムスロットの報酬関数 r は, 次のように定義される.

rj ( k ) =Rn, j (k ), ifm,n, j(k )D and Pn, j (k )PnA, j (k ).

(14)

n

0,

Otherwise.

報酬関数は選択した行動に関係する. 式(12)を示すように, 選択された行動には 2 つのケースがある.
最大 D IoT デバイスが割り当てられたチャネルを占有し,割り当てられた送信電力が残り電力より大きくない場合, IoT デバイス n の報酬はフレーム j の k 番目のタイムスロットで システム容量として定義される. それ以外の場合, IoT デバイス n の報酬は 0 とする.
3-3 特性評価（１）シミュレーション諸元
シミュレーション諸元は文献[15]を参考して設定する. シミュレーションでは, 帯域幅 B = 125 KHzの M = 3 個 AWGN サブチャネルを考える. 長距離, 低電力通信向けに設計された LoRAWAN IoT ネットワーク
を考える. LoRAWAN では, 各チャネルに拡散率 (SF) が異なる最大$D=6$個 IoT デバイスが同時にアクセス
で き る . 雑 音 電 力 は -123 dBm に 設 定 す る . チ ャ ネ ル 状 態 は , 通 信 路 利 得

g mj = {0.5 10−4 ,1 10−4 ,1.5 10−4 } にそれぞれ対応する [38]. バッテリー容量の上限は 30dBm とする. 各タイムスロットのハーベスティングするエネルギーは, [4,8,12] dBm の１つの値と想定する. 送信電力レベ
ルを[20,15,10]dBm に設定する. 割引率 を 0.9 とする.
DNN の隠れ層数を 3 つに設定する. 入力層ニューロン数は, 状態集合の要素数に等しい. つまり, 7 である. 出力層ニューロン数は, チャネルと選択可能な送信電力レベルおよびエナジーハーベスティングとデータ送信のインジケータの組み合わせ数に等しい. つまり, 18 である. 隠れ層ニューロン数は, それぞれ
500, 250, 120 に設定する. DNN は, RMSProp 最適化アルゴリズムに基づいて更新する. 表 1 にシミュレーション諸元を示す.
表１：シミュレーション諸元
シミュレーションエリア & 半径

半径 𝑟 = 1 km の円形エリア

GW と IoT デバイス 間の距離

GW の周囲にランダムに分布

チャネル数

3

チャネル数ごとの帯域幅

125 KHz同一チャネルに同時にアクセスできる最大な IoT デバイス数

69
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

雑音電力-123dBm

通信路利得{0.5 × 10−4 , 1 × 10−4 , 1.5 × 10−4 }バッテリー容量の上限

30dBm

各タイムスロット中のハーベスティングエナジー[4,8,12] dBm

送信電力レベル[20,15,10] dBm

𝜀

0.01

割引率𝛾

0.9

DNN 入力層ニューロン数

7

DNN 出力層ニューロン数

18

隠れ層数

3

隠れ層ニューロン数[500, 250, 120]

（２）シミュレーション結果と考察
図 10 に 6 つのタイムスロットで構成される 1 フレームの平均システム容量を示す. この結果から,
DQLRA は, IoT デバイス数に関係なく, ランダム法と比較してシステム容量を大幅に改善できることがわかる.これは, DQLRA が様々な状態でシステム容量が高められるリソース割り当て行動を学習できることが理由として考えられる. また, IoT デバイス数が 18 個以下の場合, ECAA を用いることで, 平均システム容量
は DQLRA より高いことがわかる.しかし, IoT デバイス数が 18 個より多い場合, ECAA でリソース割り当てることは不可能になる. その理由は以下のとおりである. ECAA でまずマッチング理論[38]に基づいて IoT デバイスにチャネルを割り当てる. ECAA でのチャネル割り当て過程の終了条件は, 全ての IoT デバイスにチャネルが割り当てられる.また, 各チャネルは最大 D 個の IoT デバイスに割り当てる可能性がある. 𝐷𝑀 < 𝑁の場合, ECAA を用いて, 一部の IoT デバイスにチャネルを割り当てられないため, マッチング過程は終了
できない.

図 10：IoT デバイスの数の増加に伴う, システム容量の比較

4 まとめ
ダイナミックスペクトラムアクセスを実現するため, 無線デバイスはスペクトラムセンシングで周波数

10
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

利用状況を検知して, 適切に周波数利用状況を把握することで, 他の無線デバイスに干渉を与えることな
く, より効率的な周波数利用が可能となる. しかし, チャネルの状態を正確にセンシングすることには, センシング時間とエネルギーがかかるため, 通信遅延とデバイスのエネルギー消費がより高い. また, 他の無線デバイスに干渉を避けるチャネル選択手法では, 従来法には事前情報が必要であるが, 現実世界では実現できない可能性がある. 深層学習は多層のニューラルネットワークを用いて高い予測性能を発揮することと特徴を抽出することができる機械学習の 1 つであり, 階層数をはじめとしたパラメータを次世代無線通信シ
ステムに適したものに最適化し, 事前情報なくても, 学習させることで, 高効率的なチャネル割当と高精度なスペクトラム状態の予測が実現できると考えられる. そこで, 本研究では, 将来のスペクトラム状態を予測することでスペクトラムセンシングを行う回数削減技術および事前情報なくて他の無線デバイスに干渉を避けるチャネル選択技術を検討した. 研究結果は以下のようにまとめる. 深層学習を用いてスペクトラム状態の予測: 指数オン/オフモデルと隠れマルコフモデルの 2 種類のチャネルを検討した. 指数オン/オフモデ
ルでは, １つのタイムスロットのみスペクトラム状態を使用した場合でも, スペクトラム状態を正確に予測できることを示した. 隠れマルコフモデルでは, RMSE と予測精度は, 無線デバイスの遷移確率との関係があり, ある定常状態から別の定常状態に遷移する確率が小さいほど, より高い予測精度が取得できることを示した. 深層学習を用いてチャネル選択: 無線リソース制限下で, 低計算量で事前情報を必要とせずに無線デバイスが利用する周波数, 送信電力, エナジーハーベスティング時間を自動的に割り当てられる.

【参考文献】[1] J. A. Ansere, G. Han, H. Wang, C. Choi and C. Wu, "A reliable energy efficient dynamic spectrum
sensing for cognitive radio IoT networks," IEEE Internet Things J., Vol. 6, No. 4, PP. 6748-6759,
Aug. 2019.
[2] J. Yao and N. Ansari, "Caching in energy harvesting aided internet of things: A game-theoretic
approach," IEEE Internet Things J., Vol. 6, No. 2, PP. 3194-3201, Apr. 2019.
[3] 李傲寒, 大槻知明, “エナジーハーベスティング IoT における深層強化学習を用いた無線リソース割り当て法,” 電子情報通信学会無線システム研究会, 東京工業大学, 東京, 2020 年 3 月.
[4] J. Zhu, Y. Song, D. Jiang and H. Song, "A new deep-Q-learning-based transmission schedulingmechanism for the cognitive internet of things," IEEE Internet Things J., Vol. 5, No. 4, PP. 23752385, Aug. 2018.
[5] F. Hussain, S. A. Hassan, R. Hussain and W. Hossain, “Machine learning for resource
management in cellular and IoT networks: potentials, solutions, and open challenges,”
arXiv:1907.08965, PP. 1-1, July. 2019.
[6] C. He, Y. Hu, B. Zeng, “Joint power allocation and channel assignment for NOMA with deep
reinforcement learning,” IEEE J. Sel. Areas Commun., Vol. 37, No. 10, PP. 2200-2210, Oct. 2019.
[7] Y. Zhang, Q. Wu, M. Shikh-Bahaei, “On ensemble learning based secure fusion strategy for robust
cooperative sensing in full-duplex cognitive radio networks,” IEEE Trans. Commun., DOI:
10.1109/TCOMM.2020.3005708, PP. 1-1, June 2020.
[8] L. You, X. Chen, X. Song, F. Jiang, W. Wang, X. Gao, G. Fettweis, “Network massive MIMO
transmission over millimeter-wave and terahertz bands: mobility enhancement and blockage
mitigation,” IEEE J. Sel. Areas Commun., DOI: 10.1109/JSAC.2020.3005493, PP. 1-1, June 2020.
[9] S. Kang and C. Joo, “Low-complexity learning for dynamic spectrum access in multi-user multichannel networks,” IEEE Trans. Mobile Comput., DOI: 10.1109/TMC.2020.2999075, PP. 1-1, June
2020.
[10] B. Hamdaoui, B. Khalfi, and N. Zorba, “Dynamic Spectrum Sharing in the Age of Millimeter
Wave Spectrum Access,” IEEE Netw., DOI: 10.1109/MNET.011.1900581, PP. 1-7, Apr. 2020.
[11] L. Li, L. Liu, J. Bai, H. Chang, H. Chen, J. Ashdown, J. Zhang and Y. Yi, “Accelerating Model
Free Reinforcement Learning with Imperfect Model Knowledge in Dynamic Spectrum Access,”
IEEE Internet of Things J., DOI: 10.1109/JIOT.2020.2988268, PP. 1-1, Apr. 2020.

11
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

[12] Y. Zhou, Z. Zhou, Z. Liu, P. Fan, and Y. Guan, “Low-PMEPR Preamble Sequence Design for
Dynamic Spectrum Allocation in OFDMA Systems,” IEEE Trans. Commun., Vol. 68, No. 5, PP.
2922-2933, Feb. 2020.
[13] L. Yu, J. Chen, G. Ding, J. Yang and J. Sun, “Spectrum prediction based on taguchi method in
deep learning with long shor-term memory,” IEEE Access, Vol. 6, PP. 45923-45933, Sept. 2018.
[14] G. Ding, F. Wu, Q. Wu, S. Tang, F. Song, A. Vasilakos and T. Tsiftsis, “Robust Online Spectrum
Prediction With Incomplete and Corrupted Historical Observations,” IEEE Trans. Veh. Commun.,Vol. 66, No. 9, PP. 8022-8036, Sept. 2017.
[15] X. Liu, Z. Qin, Y. Gao and J. A. McCann, "Resource allocation in wireless powered IoT networks,"
IEEE Internet Things J., Vol. 6, No. 3, PP. 4935-4945, June 2019.
[16] Z. Kuang, G. Liu, G. Li and X. Deng, "Energy efficient resource allocation algorithm in energy
harvesting-based D2D heterogeneous networks," IEEE Internet Things J., Vol. 6, No. 1, PP. 557567, Feb. 2019.
[17] F. Li, H. Jiang, R. Fan and P. Tan, "Cognitive non-orthogonal multiple access with energy
harvesting: an optimal resource allocation approach," IEEE Trans. Veh. Technol., Vol. 68, No. 7,
PP. 7080-7095, July 2019.
[18] F. Tang, Y. Zhou and N. Kato, "Deep Reinforcement Learning for Dynamic Uplink/Downlink
Resource Allocation in High Mobility 5G HetNet," IEEE J. Sel. Areas Commun., DOI:
10.1109/JSAC.2020.3005495, PP. 1-1, June 2020.
[19] S. Lee and S. Lee, "Resource Allocation for Vehicular Fog Computing Using Reinforcement
Learning Combined with Heuristic Information," IEEE Internet Things J., DOI:
10.1109/JIOT.2020.2996213, PP. 1-1, May 2020.
[20] X. Xiong, K. Zheng, L. Lei and L Hou, "Resource Allocation Based on Deep Reinforcement
Learning in IoT Edge Computing," IEEE J. Sel. Areas Commun., Vol. 38, No. 6, PP. 1133-1146, Apr.
2020.
[21] M. Wellens, J. Riihijarvi, and P. Mahonen, “Evaluation of adaptive mac-layer sensing in realistic
spectrum occupancy scenarios,” IEEE DySPAN, April 2010, pp. 1 –12.
[22] M. Wellens, J. Riihijarvi, and P. Mahonen, “Evaluation of adaptive mac-layer sensing in realistic
spectrum occupancy scenarios,” IEEE DySPAN, April 2010, pp. 1 –12.
[23] X. Xing, T. Jing, Y. Huo, H. Li and X. Cheng, “Channel Quality Prediction Based on BayesianInference in Cognitive Radio Networks,” IEEE INFOCOM, 2013.
[24] L. Yu, J. Chen, G. Ding, Y. Tu, J. Yang and J. Sun, “Spectrum Prediction Based on Taguchi
Method in Deep Learning with Long Short-Term Memory,” IEEE ACCESS, Sept. 2018.
[25] L. Yu, J. Chen and G. Ding, “Spectrum Prediction via Long Short Term Memory,” IEEE ICCC,
2017.
[26] L. Yu, Q. Eang, Y. Guo and P. Li, “Spectrum Availability Prediction in Cognitive Aerospace
Communications: A Deep Learning Perspective, ” IEEE CCAA, Aug. 2017.
[27] A. Min, K.-H. Kim, J. Singh, and K. Shin, “Opportunistic spectrum access for mobile cognitive
radios,” IEEE INFOCOM, April 2011, pp. 2993 –3001.
[28] V. Raj, I. Dias. T. Tholeti and S. Kalyani, “Spectrum Access in Cognitive Radio Using A Two
Stage Reinforcement Learning Approach,” IEEE Journal of Selected in Signal Processing, 2018.
[29] Y. Cui, X. Jing, S. Songlin, X. Wang, D. Cheng and H. Huang, “Deep Learning Based PrimaryUser Classification in Cognitive Radios,” IEEE ISCIT, 2015.
[30] C. Zhang and P. Patras, “Long-Term Mobile Traffic Forecasting Using Deep Spatio-Termporal
Neural Networks,” ACM Mobihoc, 2018.
[31] Q. Li, Y. Ju, C. Zhao, “Classification of discrete sequential protocol messages based on LSTM
network and transfer learning,” IEEE ICCCS, 2020.
[32] Y. LeCun, Y. Bengio, and G. Hinton, ‘‘Deep learning,’’ Nature, vol. 521, pp. 436–444, May 2015.

12
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

[33] V. Nekoukhou, M. H. Alamatsaz, and H. Bidram, “A discrete analog of the generalized
exponential distribution,” Communications in Statistics Theory and Methods, vol. 41, no. 11, pp.
2000–2013, 2012.
[34] S. Sohn, S. Jang and J. Kim, “HMM-based Adaptive Frequency-Hopping Cognitive Radio System
to Reduce Interference Time and to Improve Throughput,” KSII Trans. Internet and Information
System, Vol. 4, No. 4, Aug. 2010.
[35] L. Liang, H. Ye and G. Y. Li, "Spectrum sharing in vehicular networks based on multi-agent
reinforcement learning," IEEE J. Sel. Areas Commun., Vol. 37, No. 10, PP. 2282-2292, Oct. 2019.
[36] F. Adelantado, X. Vilajosana, P. T. Perio, B. Martinex, J. Segui and T. Watteyne, "Understanding
the limits of LoRaWAN," IEEE Commun. Mag., Vol. 55, No. 9, PP. 34-40, Sept. 2017.
[37] Geoffrey Hinton, Neural Networks for Machine Learning, online course.
https://www.coursera.org/learn/neural-networks/home/welcome[38] S. Bayat, Y. Li, L. Song, and Z. Han, "Matching theory: Applications in wirelesscommunications," IEEE Signal Process. Mag., Vol. 33, No. 6, PP. 103-122, Nov. 2016.

〈発
題

表

資

名

料〉
掲載誌・学会名等

Deep Reinforcement Learning Based Resource
Allocation for Energy Harvesting Internet of Things
Convolutional LSTM Based Long-Term Spectrum
Prediction in Dynamic Spectrum Access Systems

論文誌(掲載雑誌未定)
論文誌(掲載雑誌未定)IEEE International
Conference on
Communications
IEEE International
Conference on
Communications

Deep Reinforcement Learning Based Resource
Allocation in Wireless Communications
Spectrum Prediction Using LSTM in Dynamic Spectrum
Access Systems
Deep Q-Learning Based Resource Allocation for
Energy Harvesting Internet of Things
エナジーハーベスティング IoT における深層強化学習を用いた無線リソース割り当て法

発表年月
投稿予定
投稿予定
2020.09.30 投稿予定

2020.09.30 投稿予定

電子情報通信学会総合大会

2020 年 03 月

電子情報通信学会無線システム研究会

2020 年 03 月

13
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度