DEIM Forum 2023 5c-8-5

自転車搭載スマホによる安全で効率の良い
路上環境情報取得・分析手法の検討
羽倉輝†

山口下條真司††琉太†義久智樹††

河合 由起子†,††† 京都産業大学情報理工学部 〒 603-8555 京都府京都市北区上賀茂本山†† 大阪大学サイバーメディアセンター 〒 567-0047 大阪府茨木市美穂ケ丘５−１
E-mail: †{g1954075,i2286185, kawai}@cc.kyoto-su.ac.jp, ††yoshihisa@cmc.osaka-u.ac.jp,shimojo@dx.osaka-u.ac.jp
あらまし 近年，環境保護活動の活発化によって，ポイ捨てゴミの除去や防止のための清掃活動が重要視されている．
本研究では，自転車に搭載したスマートフォンの内蔵カメラで自転車走行中の道路画像を取得し，路上画像内のゴミ分析手法を提案する．提案する分析手法では，まず，動画から静止画を作成し，次に画像を分割する．そして，機械学習によってゴミの種類を判別しタグ付けする．また，周辺の店舗情報の影響も考慮しゴミの分布を学習予測し，可視化を目指す．本研究では，ゴミ判別に最適な画像取得方法を検討し，Azure Computer Vision および Detectron2 より生成した学習モデルによる空き缶，ペットボトル，食品トレイ，マスクの 4 種類のタグ付けの精度を検証し，路上環境情報取得・分析システムの有用性を検討する．
キーワード 路上環境情報分析，二輪車アプリ，ゴミ分析用学習モデル，Flutter，Detectron2

1 はじめに
路上のゴミポイ捨て抑止や清掃支援として，スマートフォン

2 路上環境情報取得・分析システム
2. 1 取得・分析・可視化システムの概要（以下，スマホ）を活用した取り組みが注目されている．しか図 1 に，路上環境情報取得・分析システムの処理の流れをし，事前にゴミが多く落ちているエリアを絞り込まなければ無示す．まずユーザは自転車を利用して道路の走行景観を撮影

駄な移動や人員が必要となり非効率である．そこで，本研究でし，撮影した動画と撮影位置情報（緯度経度）をサーバへ送信

は，清掃活動に無関心な人でも参加しやすい，自転車を利用しする（図中 (1)）．サーバは，動画から静止画像を切り出したたゴミ分布情報の受動的収集・可視化システムの構築を目指す．

後，OpenCV による前処理を行う．そして機械学習によって物特に，路上に落下しているペットボトルや空き缶，マスクなど体へのタグ付けを行い（図中 (2)，(3)），位置情報と関連付けのポイ捨てゴミを路上環境情報として取得・分析する．てデータベースに保存する（図中 (4)）．並行して，サーバは提案システムで用いる物体抽出手法では，まず，対象が路上OSM（Open Street Map）からゴミと関連する店舗（飲食店やとなるため，撮影した画像の下半分をトリミング処理する．次コンビニ等）の位置情報を取得する（図中 (5)）．最後に，サーに，利用するゴミ判別モデルに応じて画像を分割する．最後にバは過去のゴミ分布情報とポイ捨てゴミに関連する店舗などの画像解析によってタグ付けを行い，データベースへ保存する．

情報を利用してゴミの分布を予測する（図中 (6)）．予想結果は

さらに，撮影画像分析に加え，ゴミの発生要因として飲食店やユーザの持つスマートフォンアプリへと送信され，現在のゴミスーパー，コンビニの店舗と地点情報を地理データから取得し，分布と，将来のゴミ分布を可視化する．なお，本稿では，タグ抽出されたゴミの位置との距離を算出し，ゴミの発生を予測す付けまでを対象にシステムを実装し，検証する．

る．提案システムによる安全で効率的な路上環境データの可視化と予測により，ゴミのポイ捨て等のネガティブな行動の自粛

2. 2 自転車に搭載したスマホカメラによる画像収集にもつながることが期待される．本研究では，ゴミ判別に最適

本研究では，多目的に利用できる受動的なデータ収集を目指な画像取得方法を検討する．そして Azure Computer Vision

し，一般的に用いられている自転車とスマホに対応したアプリおよび Detectron2 より生成した学習モデルによる空き缶，ペッケーションを Flutter で開発した．図 2 に実装したスマホのア

トボトル，食品トレイ，マスクの 4 種類のタグ付けの精度を検プリケーション画面を示す．まず自転車にアームなどの機材を証し，路上環境情報取得・分析システムの有用性を検討する．

使用してスマートフォンを設置する．次にアプリケーションを起動し，カメラの映像を表示させる．続けて開始ボタンをタップすることで撮影が行われる．動画の保存形式は mp4，解像度は 3840 × 2160px，フレームレートは 30fps とした．またス図1

自転車に搭載したスマホカメラによる路上環境情報取得・分析システムの概要図

図4
図2

画像解析 API 利用時の前処理

自転車へのスマホの取り付けと撮影アプリ画面

スマホから動画を受信すると，FFMpeg ライブラリを利用し，1 秒当たり 2 枚の静止画を作成する．位置座標の情報は，撮影開始時刻，再生時間，走行中のタイムスタンプ (csv で保存) を対応付けることで付与する．
（ 1 ） 画像の上半分をトリミングし削除（ 2 ） 左右・中央の 3 枚とそれらの中間 2 枚の計 5 枚に分割
次に自作ゴミ判別モデル利用時の前処理 (図 3) について説明す
図3

自作ゴミ判別モデル利用時の前処理

る．まず画像の上半分は進行方向のため道路の撮影領域が少な
く，対象物体となるゴミを判別できる解像度に満たないため削マホ内蔵の GPS から緯度経度を 1 秒間隔で取得し，撮影時刻除する．次に左右・中央の 3 枚とそれらの中間である 2 枚を合と座標情報を csv ファイルで保存している．撮影終了ボタンを計 5 枚に分割する．

タップすると，保存された動画を確認できる．確認後は動画と（ 1 ） 画像の上半分をトリミングし削除

座標ファイルをサーバへ送信する．送信されたデータはサーバ（ 2 ） 画像を RGB 色空間から HSV 色空間へ変換

が正しく受信したことを確認したのちスマートフォン上から削（ 3 ） 規定の範囲にある色をマスクし，ノイズを削除除される．また，2. 4 節のタグ付け手法の解析結果を webview（ 4 ） 輪郭を検出し，領域を矩形で抽出で確認でき，過去のゴミ分布から将来のゴミ分布までをタイム続けて画像解析 API 利用時の前処理について説明する．1 番目

ラインで閲覧できる．に画像の上半分をトリミングし削除する．2 番目に画像を RGB色空間から HSV 色空間へ変換する．3 番目に規定の範囲にあ

2. 3 画像解析のための前処理
スマホから送信された動画はサーバに転送され，動画から静止画を作成する．次に OpenCV で前処理を行い，判別モデルでタグ付けする．本稿では，2 種類のゴミ判別モデルを使用してる色をマスクし，ノイズを削除する．最後に輪郭を検出し，領域を矩形で抽出する．

2. 4 機械学習によるゴミの判別おり，前処理手法がそれぞれ異なる．まず共通処理である，動2. 4. 1 ゴミ判別モデル構築とタグ付け画から静止画を作成する手法について説明する．まずサーバは

本稿では，Detectron2 [1] を用いる．Detectron2 Model Zoo
では様々な学習済みモデルが提供されているが，本研究では

表1

自作ゴミ判別モデルの開発環境

Python3 Google Compute Engine バックエンド (GPU)Ubuntu 18.04.6 LTS
RAM 12.68GB ディスク 78.19GB
CPU Intel(R) Xeon(R) CPU @ 2.00GHzGPU NVIDIA Tesla T4 CUDA Version: 11.2

Fast R-CNN R50-FPN を利用する．またポイ捨てゴミを再学
図5習させるための訓練データとして，TACO Dataset [2] を利用する．データセットに付属しているラベル付けを利用すること

表2

検証に利用したポイ捨てゴミ

ゴミ判別モデルの比較結果 (12 月 14 日のデータ)もできるが，雑草に覆われて見えないものや，ゴミの種類を判

判別モデル

画像総数FNFPTN

別できないものなども含まれるため，本研究では，データセッ

自作モデル

2,260

164 16536

1,895

トに付属しているラベル付けは使用せず，ペットボトル，空き画像解析 API

4,830

105 11732

4,576

缶，食品トレイ，マスクの 4 種類を，ポイ捨てゴミを含む画像

表3として選出し，ラベル付けを行い訓練データとして利用する．
以上のように構築したゴミ判別モデルを利用して，2. 3 節の手順で作成した画像に対してタグ付けし，結果をタグごとにデー

TP

ゴミ判別モデルの比較結果 (続き)

判別モデル

正答率

再現率

適合率

自作モデル

0.9110.498

0.820

画像解析 API

0.969

0.473

0.766

タベースへ保存する．

2. 4. 2 画像解析 API によるタグ付け

表4

ゴミの種類ごとの再現率 (12 月 14 日のデータ)先行研究 [3] において既存の画像解析 API の Cognitive Ser-判別モデル

ペットボトル空き缶

食品トレー

マスク

vice を用いて路上のゴミ判別を行った．画像解析 API は，解自作モデル

0.846

0.718

0.058

0.487

画像解析 API

0.685

0.857

0.296

0.000

1

析対象の画像をアップロードすると画像に含まれる風景，物体の情報をタグ付けし結果を返信する．この API を利用して画像に対してタグ付けを行い，結果をタグごとにデータベースへしたスマートフォンは Android 端末 3 を利用した．検証時の自保存する．

転車の平均速度は 14.4km/h であり，これは一般的な自転車の平均速度と同程度である．

3 路上環境情報取得・分析システムの検証
3. 1 ゴミ判別精度の検証

3. 1. 4 判別精度の算出方法
次に画像解析結果の各検証項目について説明する．まず画像解析の精度を比較するために本研究では，正答率，再現率，適3. 1. 1 検 証 目 的合率を算出する．それぞれの値を算出するための変数の条件を

本稿では 2. 4 節の自作ゴミ判別モデルと画像解析 API を利以下に示す．

用して，ポイ捨てゴミの判別精度を検証することを目的とし，画像中の物体に対してポイ捨てゴミがポイ捨てゴミであると適切にタグ付けができているかを正答率，再現率，適合率として求める．

（ 1 ） TP: ゴミ有りをゴミ有りと判定した総数（ 2 ） FN: ゴミ有りをゴミ無しと判定した総数（ 3 ） FP: ゴミ無しをゴミ有りとして判定した総数（ 4 ） TN: ゴミ無しをゴミ無しとして判定した総数

TP は画像中のゴミにタグ付けができた結果が該当する．次に3. 1. 2 自作ゴミ判別モデルの開発環境

FN は画像中のゴミにタグ付けができなかった結果が該当する．

今回の検証で Detectron2 によるゴミ判別を実行するために続けて FP は画像中のゴミではない領域に対して 1 つ以上タグ利用した開発環境を表 1 に記す．このようにハードウェアアク付けを行った結果が該当する．最後に TN はゴミを含まない画セラレータを GPU に設定した Google Colaboratory 2 を利用像に対して，タグ付けを行わなかった結果が該当する．以上をして Detectron2 による判別モデルを実行させている．

踏まえた上で，正答率，再現率，適合率を算出した．

3. 1. 3 検証の実施条件と機材設定
次に検証時の条件について説明する．今回の検証では画像収集をキャンパス内の道路で実施している．これは一般道での画

3. 2 ゴミ判別精度の検証結果と比較
3. 2. 1 検証に利用したテストデータ

像収集では画像解析の精度を検証するために必要なゴミが写っ

検 証 に は 2022/12/14(晴 れ) に 撮 影 し た 452 枚 の 画 像 とた画像を用意することが難しいと判断したためである．また本

2022/12/21(曇り) に撮影した画像 482 枚の画像から 2. 3 節

研究では安全な走行による画像収集を前提としているため，雨の手法を用いて切り出した画像を利用した．また図 5 は検証に天時や，無灯火走行による画像収集は考慮しない．実験に利用利用したポイ捨てゴミである．

3. 2. 2 検証結果と比較
表 2 から表 7 に検証結果を示す．まず正答率は両モデルで 9
1：Microsoft Azure Computer Vision
2：https://colab.research.google.com/?hl=ja

3：Asus Zenfone8

表5ゴミ判別モデルの比較結果 (12 月 21 日のデータ)

判別モデル

画像総数

自作モデル
画像解析 API
表6

表7TPFNFPTN

2,410

195 164

412,0103,980

88

13,732159

4. 2 ポイ捨てゴミに対する画像分析と分布可視化
環境保護活動の活発化に伴い，路上ゴミに注目した研究も進められている．近藤ら [7] は，スマホで撮影した画像から機械学習を用いて物体を判別し，撮影位置の座標を地図上にプロットしている．同様に，タカノメ [8] では，スマホで撮影した動画

ゴミ判別モデルの比較結果 (続き)

判別モデル

正答率

再現率

適合率

から機械学習を用いて路上に落ちている物体を判別し，撮影位

自作モデル

0.915

0.543

0.826

置座標からヒートマップを作成し，ゴミ分布を可視化するサー画像解析 API

0.960

0.356

0.989

ビスを提供している．これら既存研究やサービスでは，徒歩やゴミの種類ごとの再現率 (12 月 21 日のデータ)

判別モデル

ペットボトル

空き缶

食品トレー

マスク

自作モデル

0.914

0.816

0.030

0.407

画像解析 API

0.700

0.467

0.133

0.000

割を超え良好な結果となった．再現率は自作モデルでは 5 割に自動車を利用しており，自転車を利用している研究は少ない．
また徒歩の場合，対象物体となるタバコや空き缶などのゴミを視認しながら撮影をする能動的なデータ収集が必要となり，収集・分析コストが高い．

5 おわりに近い結果となった．画像解析 API では，両データで 5 割を下回

本研究では，安全で効率的な路上ゴミ分析システムを提案しるという結果となった．両モデルとも半数近くのゴミを判別でた．自転車に搭載したスマホから道路画像を取得し，地点に対きなかった理由としては，マスクや食品トレーがタグ付けできするゴミのタグ付けを実装し有効性を検討した．その結果，自なかったことが挙げられる．一方で自作モデルの適合率は侵入作ゴミ判別モデルにおいて，正答率，適合率が良好だった一方防止のポールや自転車の前カゴの一部がペットボトルとタグ付で，再現率が 5 割程度となった．このことから今後は訓練デーけされたことで 8 割程度となった．画像解析 API では落ち葉タの増量と，クラス分類の見直し，異なる学習モデルの検討がが litter として判別されたことで，適合率が 12 月 14 日のデー必要であると考えた．今後は，ゴミ判別モデルの精度向上を行

タでは 76.6%，21 日のデータでは，98.9%となった．ゴミの種なっていく．また将来のゴミ分布を可視化するための，関連地類ごとの結果を見るとペットボトルや空き缶は両モデルで結果物を考慮した予測モデルの作成を目指す．

が良好であり，画像解析 API では判別できなかったマスクを自作モデルでは 4 割程度判別することができた．一方で食品ト謝

辞レーについては両モデルで，ほとんどの画像に対してタグ付けできなかった．自作モデルの再現率，適合率の改善策としては，訓練データをより多くのデータセットから取得することや，クラス分類の見直し，異なる学習モデルの利用などが考えられる．

4 関連研究4. 1 スマートフォンを利用した道路画像収集と分析
総務省の調べ [4] によるとスマホの世帯保有率は令和 3 年度の時点で 8 割を超えており，家庭に広く普及している情報通信機器であると言える．そのためシステムをスマホで実装することは，提案システムを広く普及させる要因となる．その上で，内蔵する CPU やカメラの性能向上に伴ってスマホを画像収集と分析に利用する研究は多い．前田ら [5] 4 は自動車に搭載したスマホで動画を撮影し, 画像解析によって道路の亀裂を発見し収集するシステムを開発している．寺野ら [6] も同様に自動車に搭載したスマホで撮影した動画から路面のひび割れを検知している．このようにスマートフォンと画像解析を組み合わせた研究は数多く進められているが，自転車にスマホを搭載し画像解析を行っている研究は少ない．
4：UrbanX Technologies RoadManager

本研究の一部は，科研費基盤研究 (課題番号：19K12240，22H03700)の研究活動による．ここに記して謝意を表す．
文

献[1] Yuxin Wu, Alexander Kirillov, Francisco Massa, Wan-YenLo, and Ross Girshick. Detectron2. https://github.com/
facebookresearch/detectron2, 2019.
[2] Pedro F Proença and Pedro Simões. Taco: Trash annotations in context for litter detection. arXiv preprint
arXiv:2003.06975, 2020.
[3] 羽倉 輝, 山口 琉太, 義久 智樹, 下條 真司, and 河合 由起子. 地域美化活動支援のための安全で効率の良い路上環境情報取得・分析による可視化システムの提案. FIT2022 D-006, 2022.
[4] 総務省. 情報通信白書令和 3 年版.
[5] 前田 紘弥, 関本 義秀, 瀬戸 寿一, 樫山 武浩, and 小俣 博司. 機械学習とスマートフォンを用いた道路の損傷画像のリアルタイ
ム検出と修繕対応基準における各特徴量の重要度比較. 交通工学
論文集, 4(3):A1–A8, 2018.
[6] 寺野 聡恭, 小金丸 暁, 松田 浩, 佐々木 博, 古賀 掲維, and 西川
貴文. スマートフォンを用いた道路舗装の平坦性及びひび割れ率の評価に関する研究. 土木学会論文集 F4（建設マネジメント）,75(2):I88–I95, 2019.
[7] 近藤諒太 and 清木康. 不法投棄ゴミを対象とした画像分析・分類
機能と時空間マッピング・ システムの実現方式. DEIM Forum
2021, J11-5, 2021.
[8] 株式会社ピリカ. ポイ捨てごみ調査サービス 「タカノメ」—ス
マホで簡単、ポイ捨て分布調査.