カメラ搭載型トングを用いた
ポイ捨てごみ種別認識手法の提案と評価
立花 巧樹1

中岡 黎1

宮地 篤士1

冨田 周作1,2

松田 裕貴1,2,3

中村 優吾4,3

諏訪 博彦1,2

概要：ごみのポイ捨ては社会問題に発展している．ポイ捨てを防止する方法として，ごみ箱やポイ捨て禁止の旨が書かれた看板をポイ捨てされる場所に設置して，未然にポイ捨てを防止する都市デザイン的アプローチが考えられる．そのためには，ごみの種別・位置情報を網羅的に収集することが必要である．しかし，既存手法では，ごみの種別・位置情報を網羅的に収集することに多くの手間がかかってしまうという問題がある．我々は，カメラ搭載型トングを用いてごみの種別および位置情報を収集するシステムを提案してきた．本稿では，提案システムにおけるごみの種別認識手法の提案と，その評価を行った．

Proposal and Evaluation of Classiﬁcation Recognition Methodfor Litter by by Using Camera-mounted tongs
KOKI TACHIBANA1 REI NAKAOKA1 ATSUSHI MIYAJI1 SHUSAKU TOMITA1,2
YUKI MATSUDA1,2,3 YUGO NAKAMURA4,3 HIROHIKO SUWA1,2

1. はじめに

例えば，タバコのごみが多く落ちている場所を事前に収集しておけば，その場所に灰皿を設置することで，多くのポごみのポイ捨ては社会問題に発展している．Maria ら [1]

イ捨てを防ぐことができると考える．そのためには，ごみによると，世界では，年間 6 兆本ものタバコが消費されての種別・位置情報を網羅的に収集することが必要である．

いるが，そのうち 4.5 兆本はポイ捨てされている．また，

しかし，既存研究として，手動でごみを収集する手法 [3]世界経済フォーラム [2] は，2015 年にタバコを含む 910 万やビデオカメラなどでごみを自動で収集する手法 [4] などトンのプラスチックごみが流出したという調査結果を発表が存在するが，どちらの手法を用いてもごみのデータを網した．これにより，海洋汚染や海洋生物の殺傷などの問題羅的に収集することが困難であるという問題が存在する．

が生じている．したがって，ごみのポイ捨て問題は早急にそこで我々は，ごみ拾いをする人に注目した．ごみ拾いを解決すべきである．ポイ捨てを防止する方法として，都市する人をセンサ化し，ごみを拾う人が多くのごみを拾うこデザイン的アプローチが考えられる．例えば，ポイ捨てさとができれば，ごみの種別・位置情報を網羅的に収集するれる場所に対して，ごみ箱やポイ捨て禁止の旨が書かれたことができると考えた．既存研究として，ごみを拾った人看板を設置することで，ポイ捨てを未然に防止することがが，ごみを撮影して位置情報と共にアップロードすることできると考えられる．ただし，ごみ箱やポイ捨て禁止の旨で，ごみの種別・位置情報を収集できるピリカ [5] というが書かれた看板を，ポイ捨てが起こりうる場所全てに配置サービスも存在するが，一つ一つのごみを撮影するのにはすることは現実的ではない．したがって，ポイ捨てが多くユーザの負担がかかってしまう．したがって我々は，ごみされる場所に対して効率的に配置することが求められる．

を拾う人が，手間をかけずにごみを拾うだけで，ごみの種

奈良先端科学技術大学院大学，Nara Institute of Science andTechnology
理化学研究所 革新知能統合研究センター (AIP)，RIKEN, Center
for Advanced Intelligence Project (AIP)
JST さきがけ，JST PRESTO
九州大学，Kyushu University

別・位置情報を網羅的に収集可能とすることを目的とする．

1234

上記の目的を達成すべく，我々は，ユーザが装着しているスマートウォッチから得られるセンサデータのみを用いて，ごみの種別および位置情報を収集するシステムを提案

にこれまでの取り組みと本稿の立ち位置について 2.3 節にごみを拾ったとき…
クラウドトングを用いてごみを拾うと…

Phase1. ポイ捨てごみの種別を推定 (Camera)by “IMAGARE” モデル

Phase3.
データ送信

Phase4.
地図にプロット

ポイ捨てごみの分布を取得

Phase2. 位置情報を取得 (GPS)て述べる．

2.1 ごみの種別・位置情報を手動で収集する事例
ごみの種別・位置情報を手動で収集する事例として [3], [8]がある．井上ら [3] は，釜口水門から横川川合流点までの天竜川上流 11.5 km の河岸において，漂着ごみの量，種類を手動で収集しながら調査し，漂着ごみの分布および岸形状との関係を考察した．高橋ら [8] は，計測者が手動でタバコの位置情報を地図上にプロットし，タバコの種別・位

図 1

提案システムの概念図

置情報の収集を手動で行っている．その結果，タバコの多い場所に対して，灰皿を設置してポイ捨て削減を狙うなどのタバコのポイ捨ての防止対策に関する具体的方策を提案している．
しかし，これらの手法では，ごみ拾いをしている人が，一つ一つのごみに対し手動で収集するため，手間がかかるという問題が存在する．したがって，ごみの種別・位置情報を自動で検出することが必要である．

内視鏡カメラスマートフォン

2.2 ごみの種別・位置情報を自動で収集する事例
ここでは，ごみの種別・位置情報を自動で収集する事
例 [4], [5], [9] を紹介する．
植田ら [4] は，定点ビデオカメラによるポイ捨て位置の

図 2

デバイスの全体像情報やポイ捨てしている人の特徴を収集する方法を提案している．しかし，この手法は，カメラが設置してある場所してきた [6]．しかし，トングを用いてごみを拾う場面に対でしかごみ情報を収集できないため，網羅的に情報収集すして，上記手法は適応できない．したがって本研究では，ることができないという問題が存在する．また，多くの場トングを用いてごみの情報を記録するアプローチに注目し所にカメラを設置している環境があったとしても，多くのた．具体的には，カメラ搭載型トングを用いてごみの種別コストがかかることが考えられる．ピリカ社は，スマホをおよび位置情報を収集するシステムを提案してきた [7]．提用いた「ポイ捨てごみ」や「歩きたばこ」の分布や深刻さ

案システムの概念を図 1 に示す．システムは，ごみを拾うを調査するサービスである，タカノメ [9] を提供している．

多くの人が，カメラが取り付けられたトングを用いてごみ

このサービスでは，計測者がスマホで道に落ちているごみを拾うだけで，ごみの種別・位置情報を記録することがでを撮影すると，システムは，動画に写ったごみの種類や数きるため，既存手法に比べ，ユーザの手間をなくすことが量，位置情報などを解析し，地図上にプロットするというできる．システムは，スマートフォンと内視鏡カメラで構仕組みが導入されている．しかし，この方法では，データ成されている（図 2）．システムは，内視鏡カメラの画像

計測者がスマホで道路を撮影しながら歩くという動作が必

データをスマートフォンで推定し（Phase1），その地点にお要であることと，それ故に調査範囲に応じた費用が生じるける位置情報を取得することで（Phase2），ごみの種別・位ことから，データ収集の持続可能性が低いと考えられる．

置情報を記録することができる．そして，スマートフォン

これに対し，ごみを拾う人からデータを収集する「ユーザからごみの種別と位置情報をクラウドに送信し（Phase3），参加型センシング [10], [11]」のアプローチであれば，セン地図上にごみの種別をプロットすることで（Phase4），ごサなどの設置コストがかかることなく，ごみの種別・位置みの種別・位置情報を網羅的に収集することができる．本

情報を網羅的に収集できる可能性がある．ピリカ社は，別稿では，提案システムにおけるごみの種別認識手法の提案サービスとして世界 100 ヶ国以上で利用されているごみ拾と評価を行った．

いボランティア SNS アプリケーションのピリカ [5] を提2. 関連研究供している．このアプリでは，ユーザは自身が拾ったごみを撮影し，位置情報と共にアップロードすることができる

ごみの種別・位置情報を手動で収集する事例について 2.1というものである．この方法では，拾ったごみをスマート節，自動で収集する事例について 2.2 節にて述べる．さら

フォンのカメラで撮影しなければならないため，利用ユーザの負担は少なくない．対策として，同サービスではユーザの継続的な参加を促すために，自身の拾ったゴミの量とStep1. 事前学習

Step2. ファインチューニング

エリアで拾われた総量の対比の導入や，他者からの「いいね」を受け取れる機能などといった非金銭的なインセンティブ [12] を導入している．しかしながら，ユーザの多くはゴミ拾いが終わった後に「今日の成果」として袋にまとめられたごみの写真を投稿しているケースが多く，そのまImage Net

ポイ捨てごみの画像

までは本研究で取り扱いたいゴミが落ちている場所の特定は難しいと考えられる．仮にゴミが落ちている地点での個
図 3

IMAGARE の全体表 1

分類ラベルの一覧

分類ラベル

ごみの種類別の撮影を依頼するとなると，利用ユーザの負担が今以上に増大することが想定され，十分なデータを収集することができないという問題が発生する危険がある．

Can

缶

Paper

紙類

Pet bottle

ペットボトルPlastic

プラスチック

2.3 これまでの取り組みと本稿の立ち位置
以上から本研究では，ごみを拾う人が手間をかけずにごみを拾うだけで，ごみの種別・位置情報を網羅的に収集可

TobaccoタバコNone

何も掴んでいない状態能とする手法の実現を目的としている．
この目的を達成するため，我々はこれまでに，ユーザが装着しているスマートウォッチから得られる音響データを信し（Phase3），地図上にごみの種別をプロットすること用いて，ごみの種別および位置情報を収集するシステムをで（Phase4），ごみの種別・位置情報を網羅的に収集する提案してきた [6]．しかし，ゴミ拾いの場面ではトングを用ことができる．本稿では，2.3 節で述べた，ごみの種別をいる場合も多いことから，加えてトングにセンサを搭載し推定するモデルの構築手法に注目する（Phase1）．

ごみの情報を記録する手法も検討している…我々はこれまでに，カメラ搭載型トングを用いてごみの種別および位置情報を収集するシステムのコンセプトを提案してきた [7]．

3.2 モデルの構築手順
提案するモデルの構築手順を図 3 に示す．はじめに，本稿では，このコンセプトの頭脳である，カメラ搭載型トMobileNet-v1 を用意し，Image Net を用いて事前学習をングによって得られた画像データからごみの種別を推定す行う．次に，事前学習したモデルに対し，ポイ捨てごみのるモデルの構築手法の提案および構築したモデルの精度を画像を用いてファインチューニングを行い，ポイ捨てごみ検証する．

分類モデルを構築する．分類するごみのラベルを選定する

3. 提案手法
3.1 提案システムの概念

ために，散乱実態調査 [13] に注目すると，散乱個数ランキングにおいて，タバコ・紙類・プラスチックが上位を占めていたことがわかる．上記 3 種類のごみの他に，一般的我々は，カメラ搭載型トングを用いてごみの種別およびな飲料容器である缶・ペットボトルを加えて計 5 種類をご位置情報を収集するシステムを提案してきた [7]．提案シス

みのラベルとして定める．加えて，ごみを拾う場面においテムの概念を図 1 に示す．システムは，ごみを拾う多くのて，トングでごみを掴んでいない状態も存在するため，ト人が，カメラが取り付けられたトングを用いてごみを拾う

ングで何も掴んでいない状態をラベルに追加する必要がだけで，ごみの種別・位置情報を記録することができるたある．トングで何も掴んでいない状態を追加することによ

め，既存手法に比べ，ユーザの手間をなくすことができる．

り，ユーザがトングでごみを掴んだかどうかをシステムがシステムは，スマートフォンと内視鏡カメラで構成されて判定することができる．したがって，分類対象のラベルをいる（図 2）．システムの処理の流れについて述べる．はじ缶（Can）
・紙類（Paper）
・ペットボトル（Pet bottle）
・プ

めに，ユーザは，ごみをトングでつかむ動作を行う．そのラスチック（Plastic）・タバコ（Tobacco）
・何も掴んでい際，内視鏡カメラでは，トング先端部分の画像データを，ない状態（None）の計 6 種類とした（表 1）．

有線接続されたスマートフォンに送信する．スマートフォ
ンでは，画像認識によってごみの種別をリアルタイムで推定する（Phase1）．次に，スマートフォンに内臓されている

4. 評価実験
4.1 実験目的

GPS から得られる位置情報を取得することで（Phase2），本研究において，提案手法で構築したモデルの精度が重ごみの種別・位置情報を記録することができる．そして，要である．もし，構築したモデルを利用した際に誤認識がスマートフォンからごみの種別と位置情報をクラウドに送あった場合，正確なごみの情報を記録できず，本研究の目

芝生

道路

溝缶

ペットボトル

タバコプラスチック

紙類

何も掴んでいない

図 5

芝生で拾った際の各ラベルのごみに，図 6 に注目すると，道路でごみを拾った際の背景色はグレーが大部分を占めていることがわかる．今回実験で収
図 4

データ収集を行った環境集したごみで，グレーや黒色のオブジェクトはほとんどなかったため，モデルがごみの形状を認識しやすかったので的を満たすことができない．特に，何も掴んでいない状態はないかと考える．特に，混同行列（図 7）に注目すると，（None）の精度は，3.2 節で述べたように，ごみをトングで紙類の True Positive は，全環境の画像データで構築したモ掴んだかどうかの判定に用いるため極めて重要である．まデルを含め最も精度が高い．これは，紙類の多くが白色のた，ごみを拾う環境は，道路や溝などの様々な場面が考えため，モデルがごみの形状を認識しやすかったからではなられ，それぞれの環境に適応したモデルを構築する必要がいかと考える．次に，芝生の精度が最も低い理由を考察すある．そして，環境ごとに構築したモデルの精度から，現るために，図 6 に注目すると，芝生でごみを拾った際の背状のモデル構築手法の改善点を見つけ，更なる精度向上へ

景色は緑色が大部分を占めていることがわかる．また，本と役立てる必要がある．また，データ数を増やすことによ実験で用いたごみは，緑色やそれに近い色が何個か存在しり，精度を向上するかどうかを確認する必要がある．した

た．つまり，芝生の画像データで構築したモデルだと，緑がって本実験では，様々な環境下においてポイ捨てごみの色やそれに近い色の画像に対し，ごみの形状を認識できず画像データを収集し，各環境ごとのモデルの精度，全てのに精度が低下したのではないかと考える．溝の背景色は，環境の画像データを合わせたモデルの精度，何も掴んでい緑色とグレーが混ざっているため，精度が道路についで 2ない状態（None）の精度を検証した．

番目になったのではないかと考える．以上より，現状のモデル構築手法では，背景色に緑色などの，ごみと背景を分4.2 データセット

離しにくい色が含まれることで，認識精度が低下する可能データセットの収集方法について述べる．我々は，図 4性が示唆された．上記の問題は，ポイ捨てごみの画像をグに示すように芝生，道路，溝の環境でごみのポイ捨てデー

レースケールなどの前処理を加えることで，問題を解決すタを収集した．また，各ラベルのごみを 10 個用意した．

るかもしれない．したがって今後は，画像に前処理を加え

図 5 は芝生におけるトングでごみを掴んだ際の画像を示ることで，モデルの認識精度を向上させる予定である．

す．我々は，各ラベルのごみをトングで掴んでいる状態で全環境の画像データで構築したモデルの Precision，Re-動画撮影を行い，その動画から画像を切り出した．実験

call，F 値は，他の環境に比べ最も高くなった．これより，者は 1 人である．その結果，各ラベルで 10000 個の画像画像データ数を増やすことで，モデルの精度が向上し，様々データを収集し，各環境下で 60000 個の画像データを収な環境下でシステムを利用できることが示唆された．以集した．この 60000 個の画像データを用いて，各環境下で降，全環境で構築したモデルを用いた精度の考察を行う．

10-fold-cross-validation を行い，精度を算出した．また，全まず，ごみを掴んでいない状態（None）に注目する．ごみての環境を合わせた 180000 個の画像データを用いて同様を掴んでいない状態（None）の Presicion は 0.993，Recallに 10-fold-cross-validation を行い，精度を算出した．

は 0.986，F 値は 0.990 と，他の分類ラベルに比べ，最も精度が高くなった．何も掴んでいない状態（None）の精度が4.3 結果・考察高くなったのは，図 5 からもわかるように，トング先端が実験結果を表 2，表 3，表 4 に示す．実験結果より，各片方のみしか映っていない特徴をモデルが捉えたため，分環境下で構築したモデルの Precision，Recall，F 値は，芝類精度が最も高くなったのではないかと考える．更なる精生の精度が最も低く，道路の精度が最も高い結果となった．

度向上のため，全環境における混同行列（図 8）に注目す

初めに，道路の精度が最も高くなった理由を考察するためると，何も掴んでいない状態（None）をタバコ（Tobacco）

実験結果（Precision）
None

Mean

芝生

0.738

0.845

0.658

0.811

0.833

1.000

0.814

道路

0.897

0.899

0.884

0.863

0.896

0.933

0.895

溝

0.707

0.843

0.941

0.864

0.957

0.977

0.881

全環境

0.897

0.865

0.962

0.760

0.952

0.993

0.905

表 3

実験結果（Recall）

Can

Paper

Pet bottle

Plastic

Tobacco

None

Mean

芝生

0.807

0.760

0.765

0.676

0.888

0.980

0.813

道路

0.895

0.847

0.901

0.789

0.9480.987

0.895

溝

0.949

0.894

0.700

0.705

0.902

0.981

0.855

全環境

0.958

0.779

0.915

0.817

0.957

0.986

0.902

表 4

実験結果（F 値）

Can

Paper

Pet bottle

Plastic

Tobacco

None

Mean

芝生

0.771

0.800

0.707

0.737

0.860

0.990

0.811

道路

0.896

0.872

0.892

0.825

0.921

0.959

0.897

溝

0.810

0.868

0.802

0.776

0.929

0.979

0.861

全環境

0.926

0.820

0.938

0.787

0.955

0.990

0.903

Can

Tobacco

0.96

0.00

0.02

0.02

0.00

0.00

0.00

0.78

0.00

0.20

0.020.00

0.08

0.00

0.92

0.00

0.00

0.00

0.6

0.04

0.11

0.01

0.82

0.03

0.00

0.4

0.01

0.00

0.03

0.96

0.01

True label
Plastic Pet bottle

Plastic

TobaccoPet bottle

Paper

1.0

Paper

0.00

None

表 2Can

0.00

0.00

Can

Paper

0.80.2

図 80.00

0.01

0.00

0.99

Pet bottle
Plastic
Predicted label

TobaccoNone

0.0

全環境における混同行列

5. おわりに
本稿では，提案システムにおけるごみの種別認識手法の提案と，その評価を行った．実験結果より，現状のモデル
芝生

図 6

道路

溝

構築手法では，背景色に緑色などの，ごみと背景を分離し異なる環境における缶を拾った際の画像にくい色が含まれることで，認識精度が低下する可能性がPaper

Can1.00.90

0.00

0.09

0.00

0.01

0.00

示唆された．また，画像データ数を増やすことで，モデルの精度が向上し，様々な環境下でシステムを利用できることが示唆された．そして，全環境の画像データで構築した

0.00

0.85

0.00

0.12

0.02

0.01

0.10

0.00

0.90

0.00

0.00

0.00

0.01

0.09

0.02

0.79

0.06

0.03

0.00

0.00

0.00

0.95

0.04

0.8

モデルで，ごみを掴んでいない状態（None）を推定した精
えられ，システムがトングでごみを掴んでいるかどうかの判定は実用的になると考える．今後は，画像に前処理を加0.4えることで，モデルの認識精度を向上させる予定である．

Tobaccoまた，システムを用いた実証実験を行う予定である．
0.00

None

True label
Plastic Pet bottle

度は，前処理を加えることでほぼ 100%まで向上すると考0.60.000.00

Can

Paper

0.20.00

図 70.00

0.010.99

Pet bottle
Plastic
Predicted label

TobaccoNone0.0

謝辞
本研究は奈良先端科学技術大学院大学 CICP プロジェク
トの助成を受けたものである．

道路における混同行列やプラスチック（Plastic）に誤認識していることがわかる．

参考文献
[1]

上記の結果になった可能性として，タバコ（Tobacco）は他のごみと比べ小さくて認識できなかったことや，プラス[2]

チック（Plastic）は透明のため，トングでがごみを掴んでいないと認識してしまったことが考えられる．解決策として，トング先端の画像を拡大する前処理を加えることでタ[3]

バコ（Tobacco）やプラスチック（Plastic）の誤認識を防ぐことができるかもしれない．これにより，システムのご[4]

みを掴んでいない状態（None）の精度はほぼ 100%まで向上すると考えられ，システムがトングでごみを掴んでいるかどうかの判定は実用的になると考える．

[5]

Maria Araújo and Monica Costa. A critical review of theissue of cigarette butt pollution in coastal environments.
Environmental Research, Vol. 172, , 02 2019.
The World Economic Forum.
The new plastics economy rethinking the future of plastics.
http://www3.weforum.org/docs/WEF_The_New_Plastics_Economy.pdf, 2016. Accessed: 2021-05-09.
井上芳樹, 戸田任重. 諏訪湖・天竜川上流における漂着ゴミ. 環境科学会誌, Vol. 16, No. 3, pp. 167–178, 2003.
植田憲, 高野維斗, 神崎広史, 宮崎清. ごみの「ポイ捨て」の未然防止に関する調査・研究: 千葉市・駅周辺地域におけるごみ捨て行為の実態調査に基づいて. 日本デザイン学会研究発表大会概要集, 第 53 巻, p. 188, 2006.
株式会社ピリカ. ごみ拾い sns ピリカ—いつでもどこでも気軽にボランティア. https://sns.pirika.org/.
Accessed: 2020-07-27.

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

立花巧樹, 中村優吾, 松田裕貴, 諏訪博彦, 安本慶一. ス
マートウォッチを用いたポイ捨てごみの種別・位置認識システムの提案. 2020 年度 情報処理学会関西支部 支部
大会 講演論文集, 第 2020 巻, 2020.
立花巧樹, 中岡黎, 宮地篤士, 冨田周作, 松田裕貴, 中村優吾, 諏訪博彦. センサ装着型トングを用いたポイ捨て
ごみの種別・位置情報収集システムの提案. 第 29 回マルチメディア通信と分散処理ワークショップ論文集, pp.
199–202, oct 2021.
高橋祐平, 石坂公一, 小地沢将之. タバコのポイ捨てポテン
シャルの分布構造−仙台市中心部のアーケード街を対象として−. 日本建築学会技術報告集, 第 15 巻, pp. 257–260,2009.
株 式 会 社 ピ リ カ. ポ イ 捨 て ご み 調 査 サ ー ビ ス「 タ カノ メ 」—ス マ ホ で 簡 単 、ポ イ 捨 て 分 布 調 査. https://research.pirika.org/. Accessed: 2020-07-27.
J. A Burke, D. Estrin, M. Hansen, A. Parker, N. Ramanathan, S. Reddy, and M. B Srivastava. Participatory
sensing. Center for Embedded Network Sensing, 2006.
松田裕貴, 荒川豊, 安本慶一. 多様なユースケースに対応可能なユーザ参加型モバイルセンシング基盤の実装と評
価. マルチメディア, 分散, 協調とモバイル（DICOMO2016）シンポジウム論文集, pp. 1042–1050, 2016.
Yutaka Arakawa and Yuki Matsuda. Gamiﬁcation mechanism for enhancing a participatory urban sensing: Survey and practical results. Journal of Information Processing, Vol. 57, No. 1, pp. 31–38, 2016.
食品容器環境美化協会. 散乱実態調査（2016 年度） —公 益 社 団 法 人 食 品 容 器 環 境 美 化 協 会. https://www.
kankyobika.or.jp/recycle/research/3R-2016, 2016.
Accessed: 2020-07-27.