情報処理学会第 83 回全国大会

7H-01

fogcached-ros：ハイブリッドメインメモリ KVS サーバミドルウェアの提案
東晃希†

石綿

芝浦工業大学工学部†

陽一‡

大川 猛§

Ales 株式会社‡

菅谷 みどり†東海大学情報通信学部§

1. 研究背景と課題ことで，ロボットのみならず，自動運転など広く移近年，大量の IoT デバイスから収集されるセンサ動体の自律移動を実現できる．これら SLAM の多くデータのクラウドサービスへの保存が想定されるよは ， ミ ド ル ウ エ ア で あ る ROS (Robot Operatingうになった．クラウドへのデータ保存は，処理の集Systems) 上 に 実 装 さ れ て い る ． SLAM を 用 い た
中，過負荷の課題がある．また，無線等のネットワ
fogcached を利用するためには，現状では SLAM のそークの遅延が課題となる．そこで，課題解決を目的れぞれのアプリケーションを改変する必要がある．とし，クラウドより近距離にエッジサーバを配置す
本課題を解決するため本研究の目的を，る，エッジコンピューティングが期待されている．
fogcached-ros という新しいミドルウエアの設計と実近距離で動作するエッジサーバには高い即応性と信装とした．本提案，エッジサーバの応答性と信頼性頼性が求められる．応答性向上技術の一つとして，の有効性を評価する．
エッジにキャッシュサーバを配備し，クラウドまで2.2. 提案システムのデータキャッシュをエッジサーバ上で効果的に行
提案システムの全体図を図 1 に示す．提案システう仕組みが提案されている[1]．
ムにはクライアント，エッジサーバ，クラウドが存
小沢らはさらに，キャッシュサーバに，DRAM に在する．クライアントとして既存のオープンソース加え，大容量の NVMM を利用可能とするハイブリ
ROS アプリケーションである turtlebot3 と SLAM
ット型メインメモリ KVS の仕組みを fogcached とし(gmapping) を 用 い た ． ま た エ ッ ジ サ ー バ に はて提案した[2]．fogcached は，In-Memory Key-Valuefogcached を用いた．エッジサーバの ROS アプリケ
Store である memcached の LRU を拡張し，Dual-LRUーション fogcached-ros はクライアントとの通信，とアクセス数により，二種類のメモリを自動で切りfogcached との通信を行う．クラウドはエッジサーバ替える仕組みを実装した．さらに，評価にて Intel がとのみ通信し，データを保存する．クラウドとの通提 供 す る DCPM(Intel Optane Data Center Persistent
信はエッジサーバからデータを取得する際にMemory)を用いて，エッジサーバの応答性が従来のfogcached にデータがない場合，または，クラウドか仕組みよりも高い応答性を得られることをシミュレ
らデータをとりだす場合の 2 つのタイミングで行わーションで示した．DCPM は NVM で，DRAM の約れる．また，エッジサーバへの通信とクラウドへの4 倍のレイテンシがあるが，アクセス数が少ないデ通信を含めたすべての通信を ROS コンポーネントでータを DCPM に移動させることで，応答性は高く保統一する．
ちつつ信頼性を達成することを示した．
しかし，fogcached はシミュレーションでしか評価されておらず，実際のアプリケーションに対しての有効性が明らかではない問題がある．
2. 提案
2.1. 目的
図 1 提案システム
我々は，fogcached を実際のエッジサーバとして，2.3.
SLAMとサーバの連携の設計と実装
クラウドとの中間におき，実用的に利用するために，
図 2 のように，従来の ROS の通信モデルでは課題を次の 2 つにまとめた． (1)実際のアプリケーシ
memcached と通信する手段はない．
ョンでの評価が不十分である，(2)信頼性を考慮したクラウドとの連携が実施されていない．本研究では，エッジを用いた高い応答性と信頼性を要するロボッ
ト ア プ リ ケ ー シ ョ ン で あ る SLAM (SimultaneousLocalization and Mapping)を用いる．SLAM は， ロボット等の移動体において，センサから環境情報を収集し，そのデータ解析により自己位置推定，環境地図 2 サーバ連携図図作成を同時に行う技術である．SLAM を活用する
また， topic は基本的に Node により通信時に上書
fogcached-ros : Hybrid Main Memory KVS server Middleware
きされ最新の情報のみ残る．本研究では ROS を拡張
Koki Higashi† Yoichi Ishiwata‡ Takeshi Ohkawa§ Midori し ， fogcached-ros を 設 計 し た ． fogcached-ros はSugaya‡
fogcached と通信を行うための 2 種類の API によって，Shibaura Institute of Technology† Ales Corp.‡ Tokai
過去のデータを自動で
fogcached 上の NVM に保存でUniversity§

1-93

Copyright 2021 Information Processing Society of Japan.
All Rights Reserved.

情報処理学会第 83 回全国大会

きる．DRAM にデータを保存することで応答性を向上させると同時に NVM に保存することで永続的にデータを保存することができるため信頼性を実現できると考えた．
3. API 評価
本実験では提案システムで使用される API のオーバーヘッドが高くないかどうかを確認する．使用したクライアントは SLAM (gmapping)とシミュレーションソフトウェア gazebo 上の turtlebot3 である．また，エッジサーバ上で fogcached と ROS アプリケーション fogcached-ros を実行する．
libmemcached は，データの送受信にかかる時間である．serialization は ROS の serialize と deserialize のオーバーヘッドを指す．すべての topic で serialization
はともにオーバーヘッドは 1ms 未満となったが，データサイズが大きくなるにつれ serialization にかかる時間の割合が増える(図 3)．送信周期は topic によって大きく異なる．map は 1000 秒単位で考慮すると，
map の オ ー バ ー ヘ ッ ド は 極 僅 か に な る ( 図 4) ．
Message サイズが大きい場合，オーバーヘッドはserialization の影響を受けるが，送信頻度が低い topicのオーバーヘッドは無視できる．したがって，本提案の API のオーバーヘッドは低い．また，送信頻度が高い topic のオーバーヘッドは大きくなるが， API側では送信頻度を変えられないため本論文では考慮しない．の比較は fogcached に残るデータ数の増減による応答性への影響の調査が目的である．
実験(1)では，メモリ量での応答性の差は大きく存在しないことから，メモリ量に関係せずに利用できることがわかった．また，DRAM と DCPM 間の移動が行われたことにより，データの信頼性が確保されていることがわかった(図 6)．実験(2)は ID の数が減ると基準に比べてエッジでのアクセス数がクラウドでのアクセスに比べて増加した(図 7)．このことか
ら，ID の数を増減することで応答性を調整できる．

図5

図6

図3

クラウド評価実験構成

DRAM と DCPM からの各 hit 数推移

1 回あたりの API オーバーヘッド

図7

ID の最大数の比較(imu)

5. 結論
本論文では fogcached-ros を提案し，実装，評価した．その結果，提案した fogcached-ros を用いることで，SLAM アプリケーションという実用的なアプリケーションを応答性と信頼性を両立させて利用できることがわかった．
謝辞
本研究は,JST,CREST,JPMJCR19K1 の支援を受けたものです.
参考文献

図 4 1000 秒あたりの API オーバーヘッド
4. クラウド評価
本実験ではレイテンシ分布と DRAM と DCPM のヒット数の割合を調査するために，複数の条件を設けて下記の構成で評価実験を行った(図 5)．実験構
成として memcached-1.5.16 を疑似的なクラウドとした．また，クラウドを想定しているため，通信遅延を入れて実験を行った．基準パターンとして ROS
topic の ID の数を 1,000,000，Set:Get の呼び出し割合[1]を 1:9，DRAM 4GB，DCPM 16GB という条件を用意した．このうち，実験(1)DRAM/DCPM メモリ比率，実験(2)ID の数について条件を変えて 2 つの比較を行[2]った．実験(1)では，メモリデバイスの応答性の差異による ROS システム全体の応答性への影響の調査とNVM による信頼性の調査，実験(2)での ID の最大数

1-94

Michele de donno, Koen Tange, Nicola Dragoni,”
Foundations and Evolution of Modern Computing
Paradigms: Cloud, IoT, Edge, and Fog”, IEEE Access, Vol7, pp. 150936-150948, Oct. 2019.
Kouki Ozawa, Takahiro Hirofuchi, Ryousei Takano andMidori Sugaya, “DRAM-NVM Hybrid Memory - BasedKVS server for Edge Computing”, International
Conference on Edge Computing, pp. 50-62, Sep. 2020.

Copyright 2021 Information Processing Society of Japan.
All Rights Reserved.