レーザセンシング学会誌

特集

第 3 巻第 2 号（2022）

産業応用ライダー

LIDAR を用いたスマートモニタリングと，自律モビリティへの展開
新熊 亮一
芝浦工業大学工学部情報工学科（〒135‒8548 東京都江東区豊洲 3‒7‒5）

Smart monitoring using LiDAR and further development for autonomous mobility
Ryoichi Shinkuma
Computer Science and Engineering, Faculty of Engineering,3 7 5 Toyosu, Koto ku, Tokyo, 135 8548, Japan（Received June 11, 2022; revised August 7, 2022; accepted August 23, 2022）
The authors have developed a smart monitoring system that enables reducing risk of traffic accident. In
particular, this article presents the deployment of a sensor network composed of multiple LiDAR units,
which uses machine learning for adaptive transmission control for LiDAR data against the limitation ofbandwidth. As an application of the sensor network, this article also presents the Digital Twin platform
for micro mobility, which improves the safety and the efficiency of self-driving for micro-mobility vehicles by providing the vehicles the spatial information produced from the LiDAR data.
キーワード：LIDAR，スマートモニタリング，自律モビリティ
Key Words: LiDAR, smart monitoring, autonomous mobility

1．はじめに人々の移動は交通機関の利用や種々の消費行動を生むため，いわば経済活性化の源である．国内外で，配車サービスや，カー・バイクシェアリング，自動運転タクシーといった MaaS（Mobility as a Service）に代表されるように，モビリティの革新が求められている．従来の徒歩，電車，自動車を中心としたモビリティ
では，通勤ラッシュや，渋滞，移動弱者，駅前への集中といった社会問題があった 1）．国内外において，各種電動スクーターに代表されるマイクロモビリティへのニーズが強まっている．さらには，マイクロモビリ
ティの自動運転化技術は，運搬ロボットにも応用できるため，そのニーズが高まっている．マイクロモビリ
ティの世界市場は 2021 年に 481.1 億米ドルであったのが，2030 年までに 1,980.3 億米ドルを超えると予想されている 2）．我が国でも NTT ドコモの電動自転車や LUUP の電動キックスクーターといったマイクロモビリティサービスが本格化している．一方，自動運転の世界市場は 2021 年に 944.3 億米ドルだったのが，2030 年までに約 18084.4 億米ドルに達すると予測されている 3）．我が国でも羽田イノベーションシティの自動運転バスや SEQSENSE の自動警備ロボットなど自律走行が日常なりつつある．
しかしながら，移動により事故や，犯罪，ウイルス感染といったリスクも生じる．我が国では，人口減かつ少子化であるにも関わらず 9 歳以下の行方不明者数は年々増加している（平成 30 年 1,216 人）4）．小学生
歩行中の平成 25〜29 年の交通事故死傷者数は 99,040 人（死者数 168 人）であった．また，高齢運転者による死亡事故が社会問題となっており，子供が巻き込まれることもある．一方，新型コロナウイルス（COVID19）の感染拡大により，我が国への渡航者が激減し，インバウンド（外国からの訪問）に依存した経済の大©2022 Laser Radar Society of Japan116レーザセンシング学会誌

第 3 巻第 2 号（2022）

きなリスクが露呈した．以上のとおり，移動は経済活性化の源であるが，一方で，移動する人々をいかにして事故，犯罪，ウイルス感染のリスクから守るかが大きな社会課題となっている．

2．スマートモニタリング
2.1 目 的1．であげた社会課題のソリューションとして，著者はスマートモニタリングの研究開発ならびに社会実装を進めている 5）．図 1 に，スマートモニタリングを実現するセンサネットワークシステムを示す．このセンサネットワークシステムには，移動する人々を見守る「目」として，三次元イメージセンサ（3D センサ）である LIDAR（Light Detection and Ranging）が用いられる．カメラも同様であるが，1 台では遮蔽により多数の死角ができてしまう．そこで，複数の LIDAR を用いることで死角をなくす．さらに，台数を 5 台 10 台と増やすことで，LIDAR が取得する点密度を向上し，物体の検出精度を向上する 6）．
しかし，イメージセンサのデータサイズが膨大である，という課題がある．例えば，1 フレームあたり 1M バイト，30 フレーム/秒で，10 台のイメージセンサが，無線接続されているエッジコンピュータにイメージセンサデータを送信したとすると，その容量は 2.4 Gbps となる．5G や IEEE802.11ax といった昨今の無線標準規格では収容できる容量であるが，イメージセンサからエッジコンピュータへの通信は上り方向で衝突が生じやすいこと，複数のシステムが 2.4 Gbps で常時通信するほど通信容量は十分でないことから，限られた帯域でイメージセンサデータを送受信できる必要がある．なお，カメラが取得したイメージセンサデータは個人の顔や車のナンバープレートの情報を含むため，かなりプライバシーに注意が必要である．
LIDAR（Light Detection and Ranging）で取得された 3 次元イメージセンサデータの形式は点群（Point Cloud）であるため，顔やナンバープレートの情報は含まない．
著者の研究は，独自の機械学習による「データの目利き」技術により，厳しい通信帯域制限下での高精度の検出を実現した 7）．機械学習による「データの目利き」技術とは，歩行者や車両の検出に機械学習を用い，機械学習により生成されたモデルから入力データの重要度をスコアとして抽出し，そのスコアを通信における優先制御に用いる技術である．一例として，使用可能な通信帯域が 1/20 まで制限された状況でも，車両の検出精度を維持できたという結果が得られている．この技術により，重要なデータに通信帯域やプライバシー保護の処理を優先的に割り当てることができる．著者は，以上で述べたイメージセンサネットワー
クシステムの研究開発プロジェクトを立ち上げ，その適用先のモデルとして京都などでの実証実験を実施し，社会実装を推進している．

図 1 スマートモニタリングのためのセンサネットワークシステム

2.2 低レート高精度イメージセンサネットワーク技術
LIDAR により取得されるイメージセンサデータのデータサイズが大きいため，通信帯域を逼迫する問題がある．これに対し，機械学習によるデータの目利きを行ない，重要度に基づいた優先制御により限られた通信帯域で，人や車両の検出精度の改善に大きく寄与するデータを送ることができる技術を確立した．本技
術は，デバイス-エッジ間のイメージセンサデータ通信制御技術とエッジにおけるイメージセンサデータ高速処理技術という 2 つの要素技術で構成される．

117

レーザセンシング学会誌

第 3 巻第 2 号（2022）

1）デバイス‑エッジ間のイメージセンサデータ通信制御技術実装したシステムの構成を図 2 に示す．LIDAR をセンサとして備えたイメージセンサデバイス複数台とエッジコンピュータが無線通信で接続されている．機械学習によるデータの目利きにより，機械学習のモデルから各々のデータの重要度をスコアとして抽出する．そのスコアに基づいてイメージセンサデバイスの送信部を制御する．具体的には，通信帯域よりも送信レートが高い場合，スコアの低いデータは送信しない，あるいは，スコアの高低に応じた圧縮方式を用いる，といった制御を行う．これにより，限られた通信帯域でも重要度の高いデータがエッジコンピュータに受信される．図 2 の評価部（Evaluator）が実空間の特徴を領域ごとに学習し選択部（Selector）が，検出部（Detector）にとって重要度の高いデータを選定すること
で，例えば，1 M バイト（＝8 Mbps），30 フレーム/秒，デバイス数 10 でもオーバーフローしない通信を実機により達成した 8）．

図 2 実装したシステムの構成

2）エッジにおけるイメージセンサデータ高速処理技術
エッジコンピュータでリアルタイムに受信されたイメージセンサのデータを集約し，歩行者や車両をエッジコンピュータの限られた計算性能でも高速に検出できる処理技術を確立した．図 2 のエッジサーバ（Edgeserver）を実装し，KITTI データを用いた評価により，対象空間全体に対して精度 90.6%，処理時間 700.1 秒を達成し，特に歩行者と車両の出現頻度が多い空間については処理時間 371.6 ミリ秒を達成した 9）．

2.3 人や車両検知するイメージセンサネットワークシステムの実験2.1 で述べた要素技術を備えたイメージセンサネットワークシステムを構築するための仕様策定とプロトタイプ実装を行なった．複数の自治体間のデータ共有・相互活用を想定し，京都市内の交差点や駐車場など10 地点に LIDAR を設置し半年以上のデータを取得した 10）．図 3 に，京都市百万遍交差点（左京区）で取得した LIDAR データに深層学習を用いた車両検出の例を示す．ある程度の検出に成功しているが，LIDAR を1 台しか用いていないため，死角により車両が一時的に消失することがあった．したがって，上記のとおり，複数の LIDAR により死角をなくす必要がある．

図 3 LIDAR データに機械学習を用いた車両検出の例（左から右へフレームが進んでいる）

118

レーザセンシング学会誌

第 3 巻第 2 号（2022）

3．自律モビリティへの展開
3.1 目 的
2．で述べたスマートモニタリングのシステムは従来の自動車や歩行者の見守りに有効であるが，著者はこれをさらに自動運転技術による自律モビリティへと展開している．
未来都市に向けて自律移動マシンによる運輸旅客業の革新が期待されている．しかし，自律マイクロモビリティには大きな課題がある．一定エリアに，より多くの車両（ロボット含む）が混在するほど，人や，静止オブジェクト，他の車両に衝突しないよう車載のセンサユニットと計算ユニットにもより高性能なものが求められる．しかし，これらのユニットが高性能であるほど，車載一台あたりの費用が高額になり普及の障壁となってしまう．また，自律マイクロモビリティのセンサ位置は地上 1 メートル以下であることが多い．
建物や大型車両でなく，例えば，周辺の歩行者がセンサを遮蔽してしまい，多くの死角が生じ事故のリスクが増大してしまう．また，センサや AI をターゲットとしたサイバー攻撃により広範囲の災害が引き起こされる恐れがある．
そこで，著者は，2. で述べたスマートモニタリングのシステムを発展させ，デジタルツインをリアルタイムに提供するシステムの研究開発を進めている．デジタルツインとは実空間のデジタルコピーであり，ここでは，特に自動運転に必要な 3D イメージデータを示す．LIDAR を備えたイメージセンサを多数配置し固定無線により相互接続することで，多重複合 LIDAR センサネットワークを構成する．加えて，クラウドコン
ピュータは 3D イメージのデータ形式である点群向けの深層学習のモデルを学習し，エッジコンピュータは多数のセンサから受信した 3D イメージをリアルタイム統合し，その学習モデルを適用し車両や歩行者といった移動オブジェクトや静止オブジェクトを検出する．そして，3D イメージと検出結果を統合したデジ
タルツインを移動無線経由で自律移動マシンに配信する．センサの死角が自律移動マシンの事故や効率低下の原因になるが，このデジタルツインを用いた予測的制御により安全性効率性を高められる．また，サイバー攻撃などにより車載のセンサや AI が使用不可になった場合には，移動無線経由のデジタルツインのみを頼りに安全な自律移動を実現する．

3.2 ネットワークによるセンサ情報の二重化
車載のセンサが死角やサイバー攻撃により機能を果たしていない場合に，周辺に固定設置された LIDARが取得するデータをリアルタイムにネットワーク経由で車両に提供する．このとき，自律移動を維持するためには以下 2 つの課題がある．
まず，自律移動マシンが自身のセンサでは情報を取得せずに，移動通信経由で受信したデジタルツインのみから自己位置を特定できる必要がある．車両は自身のセンサに基づいて自己位置推定を行うことができる．一方，多重複合センサネットワークは当該車両の位置を検出することができる．自己位置と検出された位置とをマッピングしておくことで，センサがオフになっても自己位置を継続維持する手法を考案した．
また，自律移動マシンが自身のセンサでは情報を取得せずに，移動通信経由で受信したデジタルツインのみを用いて障害物を避けながら移動できる必要がある．本来，車両は自身のセンサにより環境認知し移動を制御できるので，このセンサのデータを移動通信経由で受信したデータに仮想的に置き換える機能を追加実装した．これにより，センサがオフになっても車両が移動通信経由で受信したデータのみで障害物を避けながら移動可能な手法を考案した 11）．
図 4 にシステム構成を示す．周辺に固定設置された 3D センサのデータを複数台分集約し，自律モビリティ車両に送信し，車載の 3D センサと二重化するシステムを開発した．センサ異常停止時には固定設置された方のセンサのデータで補完し，自律走行を持続する．

3.3 実証実験
多重複合 LIDAR センサネットワークが提供するデジタルツインの有効性を示すため，自律移動マシンが実際にセンサレスでも自律走行可能であることを示す FS（Feasibility Study）を実施する．芝浦工業大学で開発した自律移動シニアカーのプロトタイプ 12）を利用する．3.2 で述べたシステムを用い，i）自己位置がわかっている状態からセンサをオフにしデジタルツインによる安全な停止，ならびに ii）一定時間センサをオ

119

レーザセンシング学会誌

第 3 巻第 2 号（2022）

図 4 ネットワークによるセンサの二重化システムの構成

フにしデジタルツインにより自己位置を維持しながらの移動について，実証実験を行った．i）では，安全停止できる場所まで走行を維持する必要があるため停止までの時間の長さと，事故を発生させないための走行時の位置ずれが評価指標となる．目標値としてそれぞれ 50 cm を設定した．ii）では，一時的にセンサがオフになり一定時間後に復旧する．センサオフの状態を継続できた時間の長さと走行時の位置ずれが評価指標となる．50 cm を設定した．
正常時と異常停止時の移動軌跡をマーカーで記録し誤差を測定した．実験は芝浦工業大学大宮校舎（埼玉県さいたま市見沼区）の 2 号館で実施した．本実験では，無線通信のボトルネックの問題解決は対象外であるため，固定設置した LIDAR からの 3D データを無線通信でリアルタイムに送受信することは行わず，代わりにエッジサーバにあらかじめ 3D データをキャッシュし，再生タイミングを実際の移動と同期させた．
図 5 は自動運転ソフトウェアで示されたシニアカーの移動軌跡である．図 6 は，2022 年 1 月 22 日に実施

図 5 シニアカーの移動軌跡

図 6 移動距離と誤差（2022 年 1 月 22 日実施）

120

レーザセンシング学会誌

第 3 巻第 2 号（2022）

した実験の結果である．誤差 50 cm 以内におさまった．また，図 7 は 2022 年 2 月 23 日に実施した 2 回の実験の移動軌跡である．その実験の誤差を図 8 に示す．図 8 の横軸は誤差，縦軸は DTW（Dynamic TimeWarp）というアルゴリズムで算出した軌道の差である．DTW は異なる 2 つの時系列信号間の類似度を定量化するのに有用である．2 回の実験の誤差は，横軸 0.2，0.4，つまり 20 cm，40 cm のときに相当する．このように誤差 50 cm 以内を達成できた．

図 7 センサ正常時とセンサ停止時（2 回）の移動軌跡（2022 年 2月 23 日実施）

図 8 図 7 の誤差の DTW による定量化

4．社会実装と今後の展開提案する LIDAR センサネットワークを商業・住宅エリアに配備し，一軒の住宅・店舗から町まるごとまでをスケーラブルに実空間をカバーする．1 次の価値として，一つの施設における安全移動や犯罪抑止効果が期待できる．例えば，ショッピングモール，テーマパーク，駐車場，駅など大型施設や交通施設に提案ネットワークが配備されることで，安全移動・安全運転の促進やセンサの存在自体による犯罪抑止効果が期待できる．2 次の価値としてイメージデータそのものあるいはその集約データを，例えば，Uber や MONET
Technologies といった次世代モビリティサービス MaaS 事業者や，宅配ドローン事業者に提供できる．3 次の価値はプラットホームの運営者あるいはユーザ自身がデータを分析し，実空間情報を生み出すというものである．例えば，車や人の空き・混雑状況は MaaS の需要予測に活用でき，事故や自然災害による被害（電121レーザセンシング学会誌

第 3 巻第 2 号（2022）

柱転倒，冠水など）といった異常検知は MaaS の安全で効率的な運用に必要な情報である．4 次の価値は，Apple や，Amazon，LINE，楽天のような，複数業種の事業者に対し実空間情報を活用した多様なサービス実現可能なプラットホームを提供するものである．
スマートモニタリングのような初期の収益化が難しく公共的な事業は，大学によるリードと産学官連携により長期的なビジョンを持って取り組むべき事業領域であると言える．また，ドローンによる空の産業革命が起きると予想される 10〜20 年後にも，スマートモニタリングに「空」という選択肢が加わることで，さらなる発展が期待できる．イメージセンサの市場は，自動運転車への応用などにより，2025 年には 28.0Bドルに拡大すると予想されており 13），加えて LIDAR の低価格化がさらなる追い風になると予想される．
自動運転車や無人航空機といった自律移動マシンへの適用には高い信頼性が求められるため段階的に進める．

5．おわりに本稿では，LIDAR を用いたスマートモニタリングならびに自律モビリティへの展開について論じた．1）
データ取得，2）情報二重化，3）異常に対する耐性の 3 つの柱があり，本稿の 2．で 1）について，3．で2）と 3）について述べた．ただし，3）については，本稿で述べた実証実験では，サイバー攻撃などによるセンサ異常停止のみを対象としていたが，サイバー攻撃によってセンサが誤動作したり暴走したりといったこともあり得る．自動運転車や無人航空機といった自律移動マシンはカメラや LIDAR といったイメージセンサやレーダーなどを搭載し，それらにより自身の位置や周辺のオブジェクトを認識し，自身の移動を制御する．しかし，センサや AI に対するサイバー攻撃が増えており，センサや AI の異常により自動運転車や無人航空機の制御に異常が発生し，広範囲の災害につながる恐れがある．これに対し，スマートモニタリン
グにより得られたデータを実空間に重ね「二重化」し，ロバスト性を高める必要がある．このような二重化が，今後成長が予想される自律移動マシンを活用した運輸・旅客サービスの安心安全と正確性を保証し，それらのサービスの価値を保証する役割を今後長期にわたり担っていく．
謝辞
本 研 究 は JST さ き が け JPMJPR1854，JST SBIR フ ェ ー ズ 1 支 援 JPMJST2151， な ら び に JSPS 科 研 費

21H03427 の成果である．本研究成果の一部は，国立研究開発法人情報通信研究機構の委託研究（採択番号06401）により得られた．
引用文献
1）内閣府自動走行システム推進委員会，https://www8.cao.go.jp/cstp/gaiyo/sip/iinkai/jidousoukou_6/6_js_siryo6-42_1.pdf（p.2）（Accessed 2022.8.7）2）Micro-mobility Market, https://www.precedenceresearch.com/micro-mobility-market（Accessed 2022.8.7）
3）Autonomous Vehicle Market, https://www.precedenceresearch.com/autonomous-vehicle-market（Accessed 2022.8.7）
4）平成 30 年における行方不明者の状況について，https://www.npa.go.jp/safetylife/seianki/fumei/H30yukuehumeisha_zuhyou.pdf（Accessed 2022.8.7）
5）新熊亮一，“LIDAR を用いた 3 次元センサネットワークによるスマートモニタリングの社会実装，” 月刊車載テク
ノロジー 5 月号．技術情報協会，（2022）.
6）C. Li, R. Shinkuma, T. Sato, and E. Oki, “Real-Time Data Selection and Merging for 3D-Image Sensing Network With Multiple Sensors,” IEEE Sensors Journal. 21（19）, 22058‒22076（2021）.
7）M. Oka, R. Shinkuma, T. Sato, E. Oki, T. Iwai, K. Nihei and K. Satoda, “Spatial feature-based prioritization for transmissionof point cloud data in 3D-image sensor networks,” IEEE Sensors Journal. 21（20）, 23145‒23161（2021）.
8）K. Akiyama, R. Shinkuma, J. Shiomi, “Real-time adaptive data filtering with multiple sensors for indoor monitoring,”
NOMS 2022 Demos Session（2022）.
9）R. Otsu, R. Shinkuma, T. Sato, E. Oki, D. Hasegawa and T. Furuya, “Spatial-importance based computation scheme for realtime object detection from 3D sensor data,” IEEE Access, 10, 5672‒5680（2022）.
10）LIDAR による 3 次元データ取得実験，https://sites.google.com/view/lidar-ku/%E3%83%9B%E3%83%BC%E3%83%A011）K. Akiyama, R. Shinkuma, C. Yamamoto, M. Saito, T. Ito, K. Nihei, and T. Iwai, “Edge computing system with multi-LIDAR
sensor network for robustness of autonomous personal-mobility,” IEEE ICDCS Workshop, Wi SARN 2022（2022）.

122

レーザセンシング学会誌

第 3 巻第 2 号（2022）

12）M. Z. Azmi, Y. Nakayama, R. Toya, M. Shikahama, and T. Ito, Modular Controller Box for Autonomous Personal Mobility（2019）.
13）Markets and markets, “Image Sensor Market with COVID-19 Impact Analysis by Technology（CMOS Image Sensors）,” Processing Technique（3D Image Sensors）, Spectrum, Array Type, Resolutions End User（Automotive, Consumer Electronics）,and Geography ‒ Global Forecast to 2025, https://www.marketsandmarkets.com/Market-Reports/Image-Sensor-Semiconductor-Market-601.html（2022）.
新熊亮一
2003 年大阪大学大学院工学研究科にて博士（工学）を取得，2003〜2011 年京都大学助教（2007助手から職名変更），2011〜2021 年同准教授を経，2021 年 4 月より芝浦工業大学情報工学科教授．2008〜2009 年米国 WINLAB 客員研究員，2018〜2022 年科学技術振興機構さきがけ研究員，2021 年〜（株）KDDI 総合研究所招聘研究員．2013 年頃から技術顧問を務める民間企業 3 社，自ら設立した大学発スタートアップにより研究成果の社会実装を推進．2016 年電気通信普及財団テレコムシステム技術賞，電子情報通信学会より，2019 年に通信ソサイエティ論文賞，2022 年に論文賞を受賞．米国 IEEE Senior，電子情報通信学会フェロー．

123