リアルタイム組込みシステムにおける技術特集

群制御及びデジタルツイン機能を活用した実証実験①

令和３年度「産業技術実用化開発事業費補助金（次世代ソフトウェアプラットフォーム実証事業）」

 総 括株式会社アックス （一社）組込みシステム技術協会

Bee

当協会と会員企業６社は、群制御機能およびデジタルツイン機能を実装したリプラットフォーム・エッジクラウド開発

組込みシステム技術協会
全体まとめ・標準化推進

アルタイム組込みシステムを構築し、各種の実証実験によって有効性を検証した。

プロジェクト推進

本稿では概要を紹介する。

CRI・ミドルウェア

映像音声技術開発

アップウィンドテクノロジー・
インコーポレイテッド

OpenEL拡張開発

ヴィッツ

デジタルツイン開発

ARAV

遠隔制御開発Beeアックス

プロジェクトの全体構成と、当協会と会技術全体まとめ員企業の役割分担を図1-1に示す。各社

ヴィッツ

は、プラットフォームおよびエッジクラウ

プロジェクト推進

ド、映像音声技術、OpenELの拡張、デジタルツイン、遠隔制御技術の開発などを図1-1 プロジェクトの構成と体制図それぞれ担った。
プロジェクトの期間は2021年7月から2022年2月。
プロジェクて、こうしたデータは日増しに増えている。 ルタイム性のある処理を可能にする。

トを通して、会員企業から６件の特許と１この傾向は今後も続くと考えられる。

本プロジェクトは、大きく２つのプロジェク

ここで問題になるのが、データ量の増加

トから成る（図1-2）。
一つは、分散クラウド環に伴う負荷の増大、クラウドとのデータ送境上にAIを活用した群管理プラットフォー

分散クラウドのリアルタイム性と受信に伴う通信遅延、クラウドでのデータムを構築する実証実験プロジェクトである

管理効率を高める

エッジクラウド上で、大処理に伴う遅延、端末（センサー）数の増 （図1-2の赤色部）。

件の意匠が出願された。

現在、IoTデバイスなどユーザー端末か大に伴う管理効率の低下である。
こうした量のIoTセンサーやロボットなどを群としてらは大量のデータがインターネットを介し課題に対応するのが「分散クラウド」であ制御する。
もう一つは、現実世界の状況を仮てクラウドに送られている。IoTシステムにる。
クラウドをエッジクラウド、地域分散クラ想空間上にリアルタイムに再現する組込み

対するユーザーニーズの多様化や、センウド、クラウドの3層構造にして分散配置すシステムの実証事業プロジェクトである（図

サーの性能や機能の向上、IoTデバイス

ることで、IoT端末からクラウドに至るまで1-2の青色部）。
デジタルツイン環境を構築（センサー）数そのものの増大などによっの経路におけるボトルネックを解消し、リアし、現実世界をシミュレーションすることでエッジクラウドにおけるデータ量を減らす。

図1-2 組込みDevOpsプラットフォーム

こうした 2 つ の システムを「 組 込 み今回の実証実験範囲DevOpsプラットフォーム化」
することで、クラウド

アプリケーション

より大規模なリアルタイム組込みシステム開発ツール/ライブラリ 地域分散クラウド
デジタルツイン

データ分析

APIを容易に実現することが可能になる。
「ドリアルタイム制御
アプリケーション

ローンの群管理制御による写真、地図作

セキュリティ

成ソリューション」「デジタルツイン活用のエッジクラウド

スマート工場の生産性向上ソリューショ

API
カメラ
制御
単眼/複眼
カメラ

画像処理

EMAP
作成

EMAP
結合群制御

ン」
「5Gを活用した重機器、農機具の遠隔AI

入力機器
制御

通信制御モーター ハンドル
電源 etc レバー etc

他エッジ
デバイス

機器制御

拡張機能

操作ソリューション」
といったビジネスへの展開を想定する。

Bulletin JASA 2022 Apr. vol.81

1

分散クラウドにおける、AIを活用した群管理エッジプラットフォームの研究実証実験
株式会社Bee

複数のIoT端末を群管理すること

株式会社CRI・ミドルウェア アップウィンドテクノロジー・インコーポレイテッド

目的地への移動指示

アプリケーションサーバー

でエッジクラウドを実現する技術を開発し、その有効性について実証実験を行った。
群管理は、IoT端末のピ結合されたEMAPを配信

PC子親

アツーピア制御とリアルタイムの同3台報配信の実装によって実現した。組
込みDevOpsプラットフォーム（図1-2）では赤色の部分に該当する。

ソフトウェアPC

ソフトウェア結合されたEMAPを配信

EMAPプラットフォーム

EMAPプラットフォーム

以下、概要を報告する。
EMAP
結合

個々のEMAPを通知

画像処理

EMAP
作成

機器制御

複数IoT端末を群制御し、エリア地図を動的作成
実証実験にあたって、単眼カメラ

図2-1 実証実験の構成を搭載したIoT端末を群管理することで、エリア地図（以下EMAP）を動的に生EMAPを更新する。

エッジクラウドをオンデマンドで形成成するEMAPプラットフォームを開発した。

こうすることで、地域分散クラウドやクラ群制御として、結合EMAPの未探索エリ

EMAPプラットフォームの特徴は、事前にウドを介することなく、エッジクラウドだけアに子デバイスを向かわせるアプリケー

正確な地図を用意することなく、地形の変でEMAPの更新を低遅延で行うことが可ションを開発した。未探索のセルに隣接す化にリアルタイムで対応可能な点や、GPS能になる。
なおクラウド上のアプリケーショる探索済みセルをフロンティアエッジセルやインターネットにアクセスができない状

ンサーバーは、エッジクラウドからEMAP （X）と呼ぶ。
未探索エリア抽出アルゴリズム

況でも地図を生成できる点である。

を受け取り未探索地域に移動するように 「Frontier-Based Exploration」
によってX

EMAPプラットフォームは複数のIoT端末を群管理することでエッジクラウドを形子端末に指示を出す。
こうして漏れのないのリストが抽出される。
エッジデバイスの自EMAPを作成できる。

己位置から近い順にソートを行い、リストの成する。エッジクラウドは親となる「親端実証実験には、子端末にJetson Nanoを先頭へ移動を指示する。
デバイスの周囲24

末」と親端末につながる「子端末」から成使ったAI自律走行車「JetBot」、親端末とアセルは他のデバイスが近づかないように指る。親端末と子端末がやりとりをして正確プリケーションサーバーにパソコン、カメラ示を出すことで、衝突や同じセルへ移動すなEMAPを動的に生成する（図2-1）。にソニーのIMX219-160を用いた。Wi-Fiることを防ぐ。

まず子端末はカメラ映像に対して解像を 介した 端 末 間 の 通 信 は R O S 2 の実証実験の結果、AIなどを使った画像度の変更や歪み補正を行うとともに、自己Pub/Sub方式で行った。
JetBotのモーター認識、単眼カメラによる自己位置推定と地位置推定と地図作成を同時に実行する制御とバッテリー電圧のモニター機能を実図作成、複数のエッジデバイスで特徴点をオープンソースのSLAM「OpenVSLAM」 装するために、OpenELを拡張した。
カメラ

抽出した情報からEMAPを作成できることを用いてEMAPを生成する。子端末は生画像の解像度は、処理負荷の大きさと認識を確認した。

成したEMAPを親端末に送信する。親端精度を考え512×288画素に設定した。
こ今後の課題としては、以下が残った。

末は受け取ったEMAPを補完・結合してでの場合、RAWデータで432Kバイト、JPEG

EMAP作成では複眼・深度カメラを使ったきた新たなEMAPを子端末に送り返す。子

データで46Kバイト、EMAPで18KバイトとSLAMの実行である。SLAMの再検討も

端 末は受け取ったデータで自らの持つなり、通信データの低減を確認できた。

必要と考える。EMAP結合では角度の補正アルゴリズムの検討と実装、
エッジ端末

参考文献 1) 未探索エリア抽出アルゴリズム「Frontier-Based Exploration」、
http://web.archive.org/web/20200218053936/http://robotfrontier.com/frontier/detect.html

2Bulletin JASA 2022 Apr. vol.81による結合の実行などである。



現実世界の状況をリアルタイムに仮想空間に再現する実証実験
株式会社ヴィッツ ARAV株式会社

工場や建設現場といった現実世界の状況を仮想空間にリアルタイムで再現するデ図3-1
実証実験のシステム構成

グループ②

ジタルツイン技術の実証実験をエッジクラウド環境で行い、有効性を確認した。
サイバー空間で現場をリアルタイムで見える化し、危険予測による安心・安全の担保や現グループ③場作業の効率化を支援する。今回の実証実験は、図1-2の組込みDevOpsプラットフォームにおける青色の部分に該当する。
実証実験によって、デジタルツインのシミュレータ上で、①事前の作業計画、②実稼働

グループ①とシミュレータの差分からの危険予測、③稼働時の近未来の予測による緊急停止なウドを構 成するハードウェア（ 図 3 - 1のある。
ユーザーにライブラリ作成を開放すどの効果を確かめることができた。

IoT Bridge）とソフトウェア（同IoT FW)であるのは、多くのユーザーを巻き込むことでる。ハードウェアにはサーバーAIR-300

応用範囲を広げるためである。

（Advantech製）とRaspberry Pi4を使った。

グループ③は仮想空間に工場や工事実証実験に用いたシステム構成を図3-1

センサーからのデータをエッジクラウドで処現場の環境を再構成する技術を開発しに示す。①〜③のグループに分けてデジタ理するとともに、クラウドとセンサーデータをた。エッジクラウドからのセンサーデータ

ルツインプラットフォーム「RT-IoT-PF」を開送受信するためのブリッジの機能を果たす。 や可動体データからデジタルツインを実発し、実証実験を行った。開発にあたって

IoT FWはブリッジ機能を実現するソフトウェ

は、100ms以内の応答速度をもつエッジク

アで、優先度付きの動的配信機能を備える。 合わせて、現場の安全性の向上や効率化

ラウド、優先度付き帯域制御で100Mbpsカメラを使った物体検知と位置情報取得にを支援する。例えば協働ロボットの遠隔操の性能をもつIoTブリッジの実現を目標にはYOLOv5を用いた。
併せてStereolabs製作を実現するデジタルツインでは、クラウ置いた。
また機能要件として、４Kカメラの4のステレオカメラZEDとROS2 WrapperをドにDell製のPowerEdge R340、エッジ台同時接続（排他）、3D LiDARの2台同時組み合わせた検証も行ったが、結果に大きクラウドにRT-IoT-PF（AIR-300）の構成

接続（排他）、4Kカメラ2台と3D LiDAR1台な差異はなく問題は生じなかった。

で、最大4台の協働ロボット（JAKA Zu7）建機を使って実証実験の同時接続（排他）を想定した。
グループ①がカバーするのは、エッジクラ

図3-2 デジタルツインで建機を遠隔操作現する。SF Twinと呼ぶソフトウェアと組み

グループ②が担うのはユーザーインタを同時接続し遠隔制御できることを確認フェースに関係した部分である。
グループ

した。PowerEdge R340には最大6つ①で開発したIoT FWを動作させるためのの エッジクラウドを 同 時 接 続 可 能 で設定ファイル「Conﬁguration Files」を生ある。

成するG U Iツール「 B l o c k D i a g r a m

図3-2にデジタルツインを用いて建機をEditor（BDE）」を開発した。
マウスによるア遠隔操作する実証実験を示す。建機からイコン操作と数カ所の数値入力で、データ周辺を撮影したデータはエッジクラウドでの入出力、処理内容、センサーの個数と種処理され、建機周辺の環境データを軽量類、センサーとIoT Bridgeの接続関係な化する。
デジタルツインのシミュレーション

どを定義できる。将来的には標準ライブラ結果と周辺環境データを組み合わせてリの装備とともに、ユーザー自身がライブラディスプレイに表示し、建機の遠隔操作をリを開発できる仕組みを用意する予定で行う。

Bulletin JASA 2022 Apr. vol.81

3