エッジデバイスによるリアルタイム路上駐停車判定システム
松田 明大1,a)

松井 智一1

松田 裕貴1,2

諏訪 博彦1,2

安本 慶一1,2

概要：近年，禁止区域での路上駐停車が社会問題の一つになっている．特に大都市圏や観光地では，多くの路上駐停車が存在する．また、路上駐停車は渋滞や事故を引き起こす要因にもなり得るため，リアルタイムな検出による迅速な対応が求められる．先行研究では，主に定点カメラが用いられていたが，検出エリアが限定されていることが大きな問題としてある．そこで本研究では，幅広く普及しているドライブレ
コーダ動画を用いて学習モデルを作成し，リアルタイムに路上駐停車の認識を行うシステムを提案する．
エッジデバイスとして車両に搭載可能なデバイスである Jetson TX2 を用いて，車両の認識・処理を行い，路上駐停車の判定を行う．認識・処理速度を確認したところ，YOLOv3-tiny モデルにおいて平均約 7[fps]であった．この結果からエッジデバイスにおいて，リアルタイムな路上駐停車判定が可能であると確認された．

1. はじめにでリアルタイムな路上駐停車を判定するシステムの実現を目指す [3]．ドライブレコーダは街のあらゆる状況を録画

近年，禁止区域での路上駐停車が社会問題の一つとなっしており，情報量が圧倒的に多い．また，エリアの制限をている．2019 年に警察庁交通局により行われた路上駐停受けないため，従来の手法よりも効率的に情報を収集する

車に関する調査では，東京都特別区の禁止区域における瞬ことが可能である．一方で，収集した動画を全てクラウド

間路上駐停車台数は約 5 万 2700 台であり，多くの違法駐にアップロードし解析を行うのは，通信網への負荷や通信停車車両が存在する [1]．違法な路上駐停車はそれ自体がコスト，リアルタイム性の観点から問題である．そこで，交通上の問題でありながら，渋滞や人身事故といった様々通信負荷や通信コストを削減するために，車両に搭載されな問題を引き起こす要因にもなり得る．

たエッジデバイスで路上駐停車の判定をリアルタイムでこれまで，路上駐停車に起因する問題に対応するため，行い，結果のみをクラウドにアップロードすることを目的

駐車規制区間の延長や時間制限区間の実施の検討が行われとする．本論文では，ドライブレコーダの動画を用いて学てきた．しかし，これらは根本的な解決とはならず，既存習したモデルを用いて，車両に搭載したエッジデバイスにの問題が複雑化することも考えられる．さらに，国や行政よって認識・処理を行う路上駐停車判定手法を提案する．などの大規模な協力が必要であり，莫大なコストと時間が本論文の構成は以下の通りである．第 2 章では，既存の必要である．関連研究としては路上駐停車に対し，街中に路上駐停車の判定に関する研究を取り上げ，既存手法にお設置されている定点カメラを複数台用いて，短期的な駐停ける課題を整理する．第 3 章では，リアルタイムに路上駐車車両を検出するシステムが開発されている [2]．このシ停車を判定するためのシステムに必要な要件について述べステムでは，街の中に設置されている定点カメラを複数台る．第 4 章では，提案するエッジデバイスによる路上駐停用いて路上駐停車の検出を行なっている．しかし，定点カ車判定手法について述べる．第 5 章では，エッジデバイスメラでは画角に収まる範囲の限定的な検出であることや，上における認識・処理速度と精度について述べる．最後に設置場所が限られているため，特定のエリアのみの検出で第 6 章では，本論文の結論及び今後の展望について述べる．

あることが問題として挙げられる．
そこで本研究では，一般車両への搭載が増加しているドライブレコーダの動画を用いて，定点カメラよりも効率的
12a)

奈良先端科学技術大学院大学
Nara Institute of Science and Technology
理化学研究所 革新知能統合研究センター
RIKEN, Center for Advanced Intelligence Projectmatsuda.akihiro.lr2@is.naist.jp

2. 関連研究
本章では，路上駐停車における関連研究と既存手法について述べる．路上駐停車に関する研究は多くなされているが，路上駐停車を判定する研究は少ない [4][5][6][7]．本論
文では，路上駐停車の判定に関する関連研究について述べる．

Real-time Street Parking Detection System using the Proposed Method

Input

Output…Street parking detected

BB Information

Position Information

Videos taken by dashboard camera

Object Detection

Installed in vehicles

Model Input>BB Information>SpeedGet the position information>Acceleration

Model Output(if result is on-street parked)

Mapping of locations wherestreet parking was detected

Street Parking?

Dashboard camera installed in vehicles

0：Not On-Street Parked Vehicle

Learned Model
1：On-street Parked Vehicle

図 1

提案システムの全体構成

久徳らは，過去の車載カメラ映像との時空間差分による本研究の位置付けとして，本節で述べた既存研究の問題不特定障害物の検出手法について提案している [8]．現在と点を解決するため，路上駐停車をエッジデバイスを用いて過去の対応づけられたフレームの中で，撮影視点の違いにリアルタイムに効率的かつ高精度で判定するシステムの構よるずれを考慮し，検出領域を平面であると仮定した道路築を目指す．

面に限定している．差分の指標として，特徴量は輝度変化に頑健な RGB ベクトル間の角度が用いることにより，検3. システム要件出精度を向上させた．しかし，道路面の位置合わせにおけ

本章では，エッジデバイスによるリアルタイム路上駐停る手間や精度の問題，限定的な検出領域や走行車線などの車判定システムの実現のための必要要件について述べる．

問題がある．また，過去の車載カメラ映像との差分を検証提案システムに求められる主な要件 3 つを以下に示す．

する際に，過去映像に路上駐停車をはじめとする障害物が要件 1

車両に搭載可能な簡易エッジデバイスであること存在する場合には，差分を検証することが難しい．

要件 2

認識から駐車位置取得までのリアルタイム性を担Wen らは，Mobile Laser Scanning(MLS) の点群から車両認識や位置検出，分類を行うシステムを提案している [9]．
レーザスキャニングの点群から，車両の認識や位置検出，保できること
要件 3

路上駐停車を広範囲かつ高精度で認識可能であること

分類を行う．点群によって認識対象をセグメント化し，各要件 1 について，車両に搭載しオンデバイスによる処理対象に車両認識モデルを適合させる．取得した位置や向きを行うため，一般車両に搭載可能な簡易的なデバイスであなどの情報を，異なる時刻に取得されたデータと照らし合ることが求められる．既存の研究では，大掛かりな装置をわせ，特徴の一致度を持続時間とともに推定する．車両の車両に搭載することが必要であるなどの問題があった．本

認識と分類，変化の検出において高い精度であるが，MLS

論文では要件 1 を満たすため，一般に販売され車両に搭載の届く範囲での認識であるため路上駐停車の側道を通り，可能な NVIDIA 社製のデバイスである Jetson TX2 を用いスキャニングを行う必要がある．また，異なる時刻のデーる．そして，カメラやセンサモジュールを接続することで，タが必要であるため，リアルタイムな認識が難しい．

撮影や加速度，GPS 情報を取得可能なドライブレコーダを

Xuemei らは，SSD (Single Shot MultiBox Detector) ア模倣した簡易的なデバイスを作成する．

ルゴリズムをベースとした違法駐車の検出システムを提要件 2 について，路上駐停車に起因する問題を未然に防案している [10]．ある一定の角度から撮影された固定カメ

ぐためにリアルタイム認識し，迅速に駐車位置を把握する

ラの映像に対して，SSD を用いて車両の検出を行い，ROIことが求められる．既存の研究では，あらかじめ撮影して(Region Of Interest) 内の車両をトラッキングし，停車しおいた画像との比較など，リアルタイム性に問題があった．

た対象のカウントを行なっている．しかし，固定カメラの本論文では要件 2 を満たすため，オンデバイス認識・処理映像を対象とした手法あり，エリアが限定されている．まを行う．ドライブレコーダを模したデバイスを用いて撮影た，停車した車両全てに対してカウントが開始されるため，を行いながら軽量な認識モデルと学習済み判定モデルに検出車両が信号待ちなのか判定することが難しい．

よって，路上駐停車位置の結果のみを取得する．GPU を表 1

デバイスの比較表

item

Jetson TX2

Jetson AGX Xavier

Raspberry Pi 4 model B

Size

87×50mm, 170×170mm(base board)

105×105×65mm

85(w)×56(d)×17(h)mm

Weight85grams(core)140grams

47grams

OSUbuntu

UbuntuRaspbianDual-Core NVIDIA Denver 2 64-Bit CPU

8-Core ARM v8.2 64-Bit CPU

Quad-Core ARM Cortex-A57 MPCore

8 MB L2 + 4 MB L3

256-core NVIDIA PascalTM GPU

512-Core Volta GPU

with 256 NVIDIA CUDA coreswith Tensor Cores

Memory8GB 128-bit LPDDR4 Memory3

16 GB 256-Bit LPDDR4x4GB LPDDR4Connector

USB，HDMI, SD，Ethernet

USB，HDMI，SD, Etherne

USB，HDMI, microSD

BluetoothBluetooth—————————————

Bluetooth 5.0 (BLE)

Wireless LAN

IEEE802.11ac—————————————

Power

5.5-19.6V

9-20V

DC 5V

Consumption

7.5W|15W

10W|15W|30W

3.4W|7.6W

CPUGPU

Quad-core ARM Cortex-A72
VideoCore IV

IEEE802.11b IEEE802.11g
IEEE802.11n IEEE802.11ac搭載したデバイスにより処理速度を向上させ，画像データをテキストデータに変換し，判定モデルに入力することで処理負荷を軽減する．また，路上駐停車と判定された車両の位置情報結果のみの取得によっても負荷の軽減を行う．
要件 3 について，搭載車両が移動する広範囲で複雑な状況下においても，高精度で車両を判定することが求められる．既存の研究では，限定的な範囲での認識であることや認識可能な車両が限定されているなどの問題があった．本
図 2 取得する座標値

論文では要件 3 を満たすため，タクシー会社から提供される多くのドライブレコーダ動画を解析し，様々な状況における車両データを学習した判定モデルを用いることで，高る．以上の認識から処理までのフローを全てエッジデバイ精度な判定を行う．また，今後は物体認識モデルを転移学ス上で行う．

習し，認識精度を向上させる．

4. 路上駐停車判定システム

4.2 使用するデバイス
デバイスには，NVIDIA 社製の組み込みシングルボード

本章では，提案するエッジデバイスによる路上駐停車判

コンピュータである Jetson TX2*1 を用いる．Jetson TX2定システムの全体的な構成および，それぞれの詳細についと他デバイスとの比較として，それぞれスペックを表 1て述べる．に示す．Jetson TX2 は AI コンピューティングデバイス
として，GPU を搭載したエッジ IoT デバイスでありなが4.1 システム構成

ら，持ち運び可能なサイズと重さであることから車両に搭

提案システムの全体構成を図 1 に示す．デバイスにカ載するデバイスとして選定した．また，jetson tx2 専用のメラやセンサモジュールを取り付け，撮影や様々な情報

Development Tool Kit を使用することで，USB や LAN，の取得を行う．そして，物体認識モデルを用いてリアルタBluetooth などのコネクタに対応可能であるため，様々なイムに車両の認識を行う．認識の際に車両に付与されるモジュールを取り付けることを想定した車載デバイスにおBounding Box(以下，BB) の座標情報を，各車両ごとにテいて，拡張性の面でも選定理由として挙げられる．

キストデータとして時系列的に取得する．また，撮影側であるデバイスの速度や加速度を BB 情報と時系列的に結合4.3 路上駐停車の判定手法する．その情報を入力として，路上駐停車判定の学習済み

路上駐停車の判定には，物体認識モデルを用いて BB のモデルにより判定を行う．学習済みモデルにより，車両が座標値とその際の撮影車側 (デバイス) の加速度等の情報を路上駐停車であると判定された場合，その位置情報を取得取得した後に，学習済みモデルにより判定を行う [11]．次し，マッピングのために情報を保持する．また，その際の節から学習済みモデルの作成について述べる．

フレームを切り出し，画像とともに路上駐停車を可視化す*1Jetson：https://www.nvidia.com/ja-jp/autonomous-machines/embedded-systems/

表 2

使用した特徴量一覧

DomainFeatures name

Frame

NumberBounding Box

Top left x-coordinate
Top left y-coordinate
Bottom right x-coordinate
Bottom right y-coordinate
WidthHeight
Area

Recording carSpeed

図 3

YOLOv3-tiny による認識

Acceleration(x,y,z direction)

表 3

認識・処理速度結果

DeviceModelPC

Jetson TX2∗∗

1.73[fps]
YOLOv3

1.54[fps]∗∗

1.79[fps]∗∗∗

1.89[fps]∗

3.84[fps]

9.10[fps]∗∗∗∗∗

10.89[fps]∗YOLOv4

4.89[fps]∗∗∗∗∗

6.99[fps]
0.81[fps]

0.63[fps]∗∗

0.81[fps]∗∗

0.66[fps]

図 4∗0.63[fps]

∗∗∗∗

∗∗∗

1.90[fps]∗

8.14[fps]
YOLOv3-tiny∗∗

1.67[fps]∗∗∗0.90[fps]YOLOv4 による認識

YOLOv3(You Only Look Once) を選定した [12]．YOLO
は，認識精度が高く計算量の少ない低負荷なアルゴリズム

1280×720[px]∗∗1024×576[px]∗∗∗512×288[px]として，物体認識の分野で幅広く用いられている．学習済
みデータセットとして COCO データセットを用いた [13]．
また，認識した物体のトラッキングには DeepSORT を用

4.3.1 対象データ
学習済みモデルには，ドライブレコーダ動画を 12 本（約いた [14]．

4.3.4 学習モデルの作成

24 分）を解析し，計 1765 台分の車両の結果を用いた．動解析したデータに対して，均衡化を行うため一般車に対画の元サイズは 1280×720[px] であり，解析負荷の軽減のしてランダムサンプリングを行った．一般車と路上駐停車ため，16:9 のアスペクト比を保ったまま 512×288[px] にリの均衡化し，ランダムフォレストにより学習しモデルをサイズする．動画の撮影エリアは主に京都府内の観光地で作成した．様々な学習手法と評価方法で検証し，ランダムあり，天候条件は晴れまたは曇りのデータを対象とした．

フォレストのホールドアウト法で 93%の F 値を確認した

内訳は路上駐停車以外の車両 (以下，一般車)1709 台に対しため，このモデルを選定した．て，路上駐停車 56 台である．ただし，この比率は時期や時間帯によって変動するものである．

4.3.2 特徴量

5. 解析・処理速度及び認識精度
本章では，学習モデル作成の際の動画解析速度と，学習本論文で用いた特徴量を表 2 に示す．特徴量には，認識モデルを用いて路上駐停車判定を行った際の処理速度につされた車両に付与される BB の座標情報 (BB) と撮影車側いて述べる．また，それぞれにおける認識精度についても(デバイス) の速度や加速度などの自車データを用いる．扱述べる．

う BB の座標値を図 2 に示す．画像に対して BB の左上及び右下の x 座標と y 座標の 4 つの座標値を取得し，それぞれの幅や高さ，面積などを特徴量として作成する．そして，5.1 解析速度
動画解析には，Google Colaboratory(以下，Colab) の座標情報と撮影車情報に対して最大最小，平均，分散を求GPU 環境を使用した．Colab を用いた環境では，動画に対め 45 個の特徴量を作成する．これらの車両ごとに保持しして平均 15[fps] であった．Colab を用いない PC 環境のみた特徴量を用いて，学習モデルを作成する．

で動画を解析したところ，処理時間は 1.5[fps] 程度であっ

4.3.3 物体認識モデルた．PC には Macbook Pro2018 のメモリ 8GB モデルを用

ドライブレコーダ動画解析のため，物体認識モデルにはいた．この速度は，今後のリアルタイム解析において指標となる．

デルとなる．また，認識・処理には路上駐停車判定に特化した認識モデルを作成することで，精度と速度を両立した5.2 処理速度判定システムになると考える．そして，路上駐停車である学習モデルを用いた認識・処理に PC 環境と Jetson TX2と判定された車両の位置情報を取得し，マップ上への可視環境において，YOLOv3，YOLOv3-tiny，YOLOv4 の 3 つ化を行う．このシステムを用いて，警察や行政などと連携の物体認識モデルを用いて FPS(Frames Per Second) を確し，違法な路上駐停車そのものを減らすことや渋滞，事故認した [15]．PC 環境は前節と同じである．対象動画は大通などの路上駐停車によって引き起こされる間接的な問題のりを走行し，複数台の車両が確認できるものとした．また，解決を図る．

動画は元サイズである 1280×720[px]∗ とそれぞれリサイズ∗∗∗∗∗

した 1024×576[px] ，512×288[px]である．これらの結果を表 3 に示す．FPS は動画に対して，10，20，30 フレー

謝辞 本研究を実施するにあたり，株式会社デンソーテン様よりドライブレコーダ動画の提供をいただいた．ここに記し感謝申し上げる．

ム目の平均を算出した．結果に着目すると，PC，Jetson

TX2 ともにもっとも軽量な YOLOv3-tiny がリアルタイム

参考文献に近い認識速度であると確認された．他 2 つのモデルにお[1]いては，環境によらず速度に大きな差は確認されなかった．
また，動画の解像度を下げることで，特に YOLOv3-tiny に[2]おいては一定の速度向上が確認できた．動画上では Jetson

TX2 にて確認した約 7[fps] の速度で路上駐停車の判定がされたことから，十分にリアルタイムな認識・処理が可能であると考える．これにより，速度の面ではエッジデバイス[3]上で認識・処理を行うために YOLOv3-tiny を選定し，取得する動画の解像度を下げることにより，リアルタイムな[4]認識を行う．
[5]

5.3 認識精度認識精度については，認識・処理速度とトレードオフの関係にある．比較として Jetson TX2 上での，512×288[px][6]サイズの動画の 5 フレーム目における YOLOv3-tiny とYOLOv4 での認識状況を図 3 と図 4 に示す．YOLOv3tiny はもっとも高速であるが，車両のトラッキングが定まらず，インスタンス認識などに問題がある．また，撮影車[7]から離れた車両を認識することが難しいため距離の制限がある．それに対して，特に YOLOv4 では高精度な認識が可能であり，大通りの反対車線を走る車両も全て認識・ト[8]ラッキングが可能である．YOLOv3-tiny においても認識精度を保持し高速処理を実現するために，転移学習を用い[9]て路上駐停車判定に特化した認識を行う．

6. おわりに
本論文では，エッジデバイスによるリアルタイム路上駐[10]停車判定システムを提案した．リアルタイムな認識・処理のために速度を計測し，エッジ処理に最適なモデルを選定した．エッジデバイス上で路上駐停車の認識・処理におい[11]て，約 7[fps] の速度を確認したため，リアルタイムな判定の有効性を示した．
今後の展望として，選定したモデルの認識精度を向上させるために，転移学習を行う．車両の認識のために，様々な状況の車両によって転移学習を行うことで，汎用的なモ[12]

全 日 本 駐 車 協 会 東 京 駐 車 協 会. 駐 車 対 策 の 現状, 2019. https://www.npa.go.jp/bureau/traffic/
seibi2/kisei/tyuusya/parking.pdf.
Edgar A Bernal, Zhigang Fan, Yao Rong Wang, Robert P
Loce, Norman W Zeck, and Graham S Pennington.
Video-based detector and notifier for short-term parking violation enforcement. October 10 2013. US PatentApp. 13/441,294.
電子情報技術産業協会. ドライブレコーダー統計出荷実績, 2018. https://www.jeita.or.jp/japanese/stat/drive/.
小野晋太郎, 平原清隆, 影沢政隆, 池内克史. 車載レンジセンサを利用した路上駐車車両の自動検出. 電子情報通信学会論文誌 A, Vol. 88, No. 2, pp. 247–256, 2005.
Bo Li, Tianfu Wu, and Song-Chun Zhu. Integrating context and occlusion for car detection by hierarchical andor model. In European Conference on Computer Vision,
pp. 652–667. Springer, 2014.
Xavier Sevillano, Elena Màrmol, and Virginia
Fernandez-Arguedas. Towards smart traffic management
systems: Vacant on-street parking spot detection basedon video analytics. In 17th International Conference on
Information Fusion (FUSION), pp. 1–8. IEEE, 2014.
Krzysztof Malecki. A computer simulation of traffic flow
with on-street parking and drivers behaviour based on
cellular automata and a multi-agent system. Journal ofcomputational science, Vol. 28, pp. 32–42, 2018.
久徳遙矢, 出口大輔, 高橋友和, 目加田慶人, 井手一郎, 村瀬洋. 過去の車載カメラ映像との時空間差分による不特定障害物検出. 2012.
Wen Xiao, Bruno Vallet, Konrad Schindler, and Nicolas
Paparoditis. Street-side vehicle detection, classificationand change detection using mobile laser scanning data.
ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 114, pp. 166–178, 2016.
Xuemei Xie, Chenye Wang, Shu Chen, Guangming Shi,and Zhifu Zhao. Real-time illegal parking detection system based on deep learning. In Proceedings of the 2017
International Conference on Deep Learning Technologies, pp. 23–27, 2017.
松田明大, 松井智一, 松田裕貴, 諏訪博彦, 安本慶一. ドラ
イブレコーダ動画を用いた路上駐停車判定手法の提案.
情報処理学会 マルチメディア、分散、強調とモバイル(DICOMO2020) シンポジウム, pp. 1102–1110, 2020.
Joseph Redmon and Ali Farhadi. Yolov3: An incremental improvement, 2018. https://arxiv.org/abs/1804.
02767.

[13]

[14]

[15]

Tsung-Yi Lin, Michael Maire, Serge Belongie, JamesHays, Pietro Perona, Deva Ramanan, Piotr Dollár, andC Lawrence Zitnick. Microsoft coco: Common objects
in context. In European conference on computer vision,
pp. 740–755. Springer, 2014.
Alex Bewley, Zongyuan Ge, Lionel Ott, Fabio Ramos,and Ben Upcroft. Simple online and realtime tracking.
In 2016 IEEE International Conference on Image Processing (ICIP), pp. 3464–3468. IEEE, 2016.
Alexey Bochkovskiy, Chien-Yao Wang, and HongYuan Mark Liao. Yolov4: Optimal speed and accuracy ofobject detection, 2020. https://arxiv.org/abs/2004.
10934.