PSPNet の質感に対するクラス分類精度の評価と考察
岡村一矢＊１

松村遼＊２

北風裕教＊２

Evaluation and discussion of classification accuracy for texture of PSPNet
Kazuya OKAMURA, Ryo MATSUMURA and Hironori KITAKAZE
Abstract
In recent years, damage to fisheries caused by Phalacrocorax carbo occurs throughout Japan. Our researchgroup have been developing system for driving away verminous birds by using drone. In previous research, amethod that PSPNet and original classifier is proposed. But there are problems such as the inability to copewith an increase in number of target objects. Therefore, in this paper, confirmation that whether PSPNet canclassify with high accuracy and discuss classification accuracy for texture. As a result, it could be confirmedthat classifying with high accuracy in 4 classes airplane, car, crow, and boar.
Keywords: Deep Learning, Pyramid Scene Parsing Network, Semantic Segmentation
１ まえがき御を実現するためには、カメラ映像から対象となるカワウによる漁業被害は日本各地で発生している。

カワウを高精度に認識できなければならない。著者

主に河川や湖沼等の内水面や養殖場においてアユやらのこれまでの研究において、『カワウ』、『カラス』、ヤマメ、コイなどを大量に捕食するため、その対策『カモ』を対象として、深層学習を用いた物体検出は急務である。全国内水面漁業協同組合連合会が発アルゴリズム You Only Look Once v3（YOLOv3）を表しているカワウによる捕食被害の推定額

1)は、平用いた手法と、ピクセル単位でクラス分類を行う画成 29 年で約 55 億円となっており、漁師をはじめ漁像セグメンテーションアルゴリズム Pyramid Scene

業関係者を苦しめている。この問題解決のために昨Parsing Network（PSPNet）に独自の分類器を用いた 2

今では、カワウ対策として水産庁等の機関がドロー段階の手法の比較実験を試みた結果、PSPNet と独自。しかし、の分類器を用いた手法 4)の方が優れた認識結果が得ドローンの操縦には飛行条件を満たした機体と操縦られることを確認している。しかし、この手法で用者が必要であり、長時間の対応は操縦者に大きな負いる独自の分類器は、HSV 色空間に各鳥の特徴をも担を与える。さらに、ドローンのバッテリー駆動時とにしきい値を設けて分類を行っており、対象とす間の限界から長時間にわたる運用が困難である。

る物体が酷似している場合や対象の数が増加した場ンを活用した取り組みをはじめている

2)

我々の研究グループでは、小水力発電システムか合に対応できない問題が課題となっていた。この問ら供給される電力でドローンを自動飛行させ、音や題を解決することができれば、クラス数の増加にも光で害鳥を追い払うシステムの開発を試みている 3)。

対応できると考えられる。

この核となる害鳥の識別器は、ドローンに設置のカ

そこで本研究では、複数クラスの分類においてメラ映像を深層学習で学習することで構築する。こPSPNet が高精度に多クラス分類を可能にするか確の技術により、ドローンの無人制御が可能となり、認を行い、画像の質感の精度が向上した場合におい操縦者確保の問題解決と 24 時間の継続的な対策をて、認識精度も向上するのかについて検討を行う。

実施することができる。ここで、ドローンの自動制

PSPNet の多クラス分類においては、①飛行機、②カ2022 年 9 月 29 日

＊１ 電子・情報システム工学専攻 ＊２ 情報工学科

1

独立行政法人国立高等専門学校機構大島商船高等専門学校

紀要第55号

図２ カラー画像（左）とラベル画像（右）表１ ラベル画像の対応情報
クラス

インデックス番号

RGB 情報背景

0(0,0,0)飛行機

1(128,0,128)

車

2(220,128,0)

ラス、③車、④イノシシの 4 種と⑤背景とする。こカラス

3(0,128,128)

れらの評価は物体の重なりの割合から算出される評

イノシシ

4(0,200,0)

図１ 学習対象の物体価指標の IoU（）を用いる。

ここで、④イノシシの 3DCG モデルを準備し、そのが必要となる（図２）。図２のラベル画像は、カラー質感の有無に対して、PSPNet における多クラス分類パレット形式でインデックス番号と RGB 情報が対実験を行った結果、『質感なし』のイノシシにおける応している（表１）。通常、このラベル画像はカラー多クラス分類の結果に比べて、『質感あり』のイノシ画像をもとにアノテーションツールを用いて手動でシの多クラス分類の結果が各 IoU において認識精度行うが、本実験では以降説明する Data Augmentationが向上し、mIoU（および学習済みモデルの利用により取得する。

）においても認識精度の向上が見られたので考察と合わせて報告する。
２．２ 飛行機、カラス、イノシシの画像準備
２ 学習用データセットの準備

２．２．１ 従来の Data Augmentation

本実験では、認識対象の形状が極端に近い害鳥の①飛行機、②カラス、③イノシシの学習用データ

識別精度について検討するのではなく、基礎研究とは 3D モデルを用いた Data Augmentation によりデーして特徴が明らかに異なる対象物体間のクラス分類タセットを準備する。我々の研究グループでは独自について明確にした状態で、質感の有無における他の Data Augmentation 手法 3)を提案しており、対象物クラス分類による認識精度の確認を行う。

体の 2D 画像から 3D モデルを作成し、3D リアルタ

対象物体は、空を飛ぶ物体である①飛行機と②カイム開発プラットフォーム（Unity）を用いて様々なラス、地上に存在する物体である③車と④イノシシ

方向から 2D 画像を VR 空間上で再取得する手法をとする（図１）。③車においては、深層学習用に準備実現している。
この独自の Data Augmentation 手法は、されたデータベースから車に関する実写画像を大量物体検出タスクを想定したアノテーションにおいてに準備することができるため、それらを用いる。し実現しており、この仕組みを基礎とした手法で画像

かし、①飛行機、②カラス、④イノシシに関してはセグメンテーションに対応した Data Augmentation を深層学習用の学習データを大量に揃えることが難し実現していた。
したがって 3D モデルを撮影する際、いため、3D モデルから Data Augmentation によって3D モデル以外の領域を白色に設定して一度保存し大量に生成した画像を準備する。ここで、取得したた後、各ピクセルをチェックし、白色のピクセルは④イノシシは、体を覆う体毛マテリアルを追加する

背景であるとみなし事前に用意した背景画像のピクことで質感を表し、『質感なし』の画像と『質感あり』セルと置き換えることでカラー画像を生成する。その画像を準備する。詳細について以下に示す。の際、対応するインデックス番号を設定したラベル画像も同時に生成する。しかし、この方法では保存

２．１ ラベル画像の取得について時の JPEG 形式での不可逆圧縮の処理により、3D モ

PSPNet のような画像セグメンテーションタスク

デルと白背景の境界が曖昧になるため、白い輪郭がでは、RGB のカラー画像に加え、カラー画像と同じ残る問題に加え 3D モデルに白色が含まれた場合に解像度を持ち且つ対応した各ピクセルがどのクラス背景としてみなされてしまう可能性があり、ピクセに属するかを示すラベル画像の 2 種類の画像データ
2

PSPNetの質感に対するクラス分類精度の評価と考察（岡村・松村・北風）

図５ 物体位置のランダム化
図３ ピクセルチェック

図４ カラー画像の合成手法
図６ 3D モデルにより作成された学習用データ
ル単位でクラス分類を行う画像セグメンテーション
タスクにおいては認識精度に大きくかかわる問題でれランダムに決定した数値だけ移動し、同じ画像サある。

イズで切り取りを行うことで物体位置の変化を実現できる（図５）。これらの Data Augmentation を行う

２．２．２ 改良後の Data Augmentation

ことで本実験用として、①飛行機と②カラスは各先行研究で用いた Data Augmentation プログラムを4,080 枚、④イノシシは 2,880 枚（質感あり）、2,880改良し、より精密な学習用データの生成を行う。

枚（質感なし）の学習用データを取得する（図６）。

Unity の撮影処理では通常カメラに映るすべてのオブジェクトが撮影されるが、保存前にビューポート

２．３ 車画像の準備情報をテクスチャとして取得し、PNG 形式にエンコ

２．３．１ 実写画像の取得ードする処理を加えることで特定の 3D モデル以外③車は形状や色が異なる車種が多種多様に存在すを透明（アルファ値＝255）とした PNG 形式で保存るため、2.2.2 の 3D モデルを用いて Data Augmentationすることができる。これにより、ピクセルチェックを行う手法は、大量の 3D モデルやマテリアルが必を行う際に RGB 値に依存せず 3D モデル（アルファ要となり非効率である。一方、様々な機関からデー値≠255）と背景領域（アルファ値＝255）を見分けタセットとして車の実写画像が公開されているため、ることができ、正確なラベル画像が生成可能となる

それらの画像を利用して学習用データを準備する方（図３）。さらに、背景画像の上に PNG 画像を重ねが効率的である。よって本実験では、スタンフォーて合成することでカラー画像が生成可能である（図ド大学が研究目的に公開する Cars Dataset5)の実写画

４）。

像を利用する。データセット内の画像は正方形にト

しかし、この手法で作成可能な学習用データは、リミングし、473×473 にリサイズする。その際、ト撮影時に必ず 3D モデルが中心に存在するため物体リミング領域に車全体が納まらない場合は、画像領位置の変化パターンが乏しい。これを解決するため域以外を白ピクセルで正方形に補完する。画像サイに合成処理を施す際、重ねる PNG 画像のアンカーをズが小さい 300×300 以下の画像は除外し、これによ変化させランダムな位置に物体位置を変更する。通り 4,271 枚の実写画像を取得する。

常、PNG 画像と背景画像の座標（0, 0）の位置、すなわち画像の左上同士をアンカーとして合成する。

２．３．２ 学習済みモデルによるラベル画像生成

PNG 画像におけるアンカーを X 座標 Y 座標それぞ2.3.1 で得られた実写画像は、イメージ内の全ピク
3独立行政法人国立高等専門学校機構大島商船高等専門学校

紀要

第55号

図７ PSPNet のネットワーク構造
表２ ハイパーパラメータ
パラメータ名値

入力サイズ

473×473

エポック数

14

バッチサイズ

16

初期学習率

0.01

Momentum

0.9

重複部分

正解領域＋推測領域
図８ 評価指標 IoU

表３ 認識実験の結果（14 epoch）
クラス

質感なし

質感あり

背景0.936

0.995

シシの 4 クラスを対象に、イノシシの『質感あり』

飛行機

0.669

0.726と『質感なし』それぞれのデータセットを用いて

車

0.941

0.953

カラス

0.841

0.919

イノシシ

0.543

0.871

mIoU

0.749

0.869

PSPNet による学習および認識実験を行う。学習時に設定した主要なハイパーパラメータを表２に示す。
PSPNet は図７に示すネットワーク構造により実現されている。3 つのモジュールのうち特に、Pyramid
Pooling Module では大きさの異なる特徴マップを生成、畳み込み、結合を行うことで、画像中の対局的な情報を取得でき、対象物周りの領域情報（コンテセルに対して『車』や『背景』などの意味のあるラキスト）を利用することが可能となっている。

ベルを割り当てるセマンティックイメージセグメン
テーションを行う。この処理には、車を事前に学習

４ 評価方法した学習済みモデル DeepLab v36)に入力しその出力

PSPNet による学習を行った後、テスト用に各クラ画像をラベル画像として利用する。DeepLab v3 は、

ス 20 枚の実写画像を用いて認識率の評価を行う。テ

PASCAL VOC20127)データセットを学習したモデル

スト用画像は、出力結果（推測領域）と物体の正解であり、人や動物、乗り物など 20 クラスの物体を分領域を照らし合わせるために事前に対応するラベル類可能な特徴をもつ。ただし、出力されたラベル画画像を作成しておく。本実験では評価の指標に（１）像の中で、正確な形状を認識できない画像も一部存式の IoU（図８）および（２）式の mIoU を用いる。

在するため、これらについては目視でデータを確認して事前に除外する。これにより、2,929 枚の学習用=データを取得する。
３ PSPNet による学習=

本実験では、①飛行機、②車、③カラス、④イノ
4

1(1)
(2)

PSPNetの質感に対するクラス分類精度の評価と考察（岡村・松村・北風）

ごとの認識率の推移を図９、14 エポックにおける各クラス IoU の比較結果を図１０に示す。

mIoU0.85

表３から、両学習モデルにおいて各クラスの IoU0.80

は、0.5 以上を示しており PSPNet が複数クラスの分0.75類が可能であることが確認できた。
『質感あり』学習モデルでは、各クラスの IoU が 0.7 以上を示してい0.70
12345678910 11 12 13 14ること、さらに図１１の出力結果例から高精度にクエポック数
質感なし

ラス分類ができていると考えられる。

質感あり

図９から、各学習用データセットにおける mIoU は学習過程の全エポックで mIoU が 0.5 以上の差が生図９ 認識率の推移

IoU

じており、質感の有無によって認識精度が大きく異1.0なることが明らかである。特に 14 エポック時におい0.8ては、『質感あり』学習モデルの 0.869 に対し『質感0.6なし』学習モデルは 0.749 を示しており、質感を有0.4した方が高いクラス分類精度を得ることができた。

0.2

また、クラス IoU の比較では、イノシシの IoU が質0.0
背景

飛行機

車

カラス感を与えることで大幅に向上していることから、質イノシシ

クラス
質感なし感が大きく影響していることが明らかであり、イノ質感あり

シシ以外のクラスにおいても IoU の向上が見られる

図１０ 各クラス IoU の比較結果（14 epoch）（図１０）。
各学習モデルにおける出力結果画像を図１２、図１３に示す。
『質感なし』学習モデルでは認識できていなかった領域において、『質感あり』学習モデルではイノシシとして正確に認識できている（図１２）。
さらに背景の模様をイノシシとして誤認識されていた領域においても改善されている（図１３）。これら
より、毛の質感によって生じた光の反射の変化や毛並みを特徴として学習され、精度が大きく向上したと考えられる。しかし、図１２からイノシシの足が草葉に隠れている領域を認識できておらず、本実験で用いた Data Augmentation 手法では対象物体の前面に物体が存在しないことが原因となり認識できなかったと考えられる。そのため、体の一部が隠れてしまう場合など、生息場所の状況を考慮する必要があると考えられる。
また、誤認識が減少したことにより、これまでイノシシと認識されていた領域が正解クラスの領域として認識されたことで、イノシシ以外の他クラスにも IoU の向上が見られたと推測される。
『質感あり』学習モデルでは、飛行機の IoU が最も低い結果となっている。この要因として、飛行機

図１１ 質感あり学習モデルの出力結果例

は図１４に示すカラスと誤認識する例が多く見られ、飛行機の胴体部分は正しく認識できているが、影で５ 実験結果と考察黒くなった羽や尾翼の部分はカラスと誤認識された。

『質感あり』、『質感なし』それぞれを学習させた

これは、空を飛ぶ黒い物体であるカラスと認識されモデルに対して、テスト用画像の認識実験を行った。

たと考えられる。しかし、図１５に示す黒い飛行機

クラスごとの mIoU を表３に示す。また、エポックでの結果では、部分的に領域が欠落しているが飛行
5独立行政法人国立高等専門学校機構大島商船高等専門学校

紀要

第55号

り高い精度を得ることは困難であると予想される。
しかし、前述したイノシシの質感および黒い飛行機の結果（図１５）から PSPNet は色や形状だけではな
く、細部の輪郭や質感においてもが注目している。
よって、これらの特徴を詳細に捉えることが、識別IoU

質感なし

質感あり

精度を向上させる重要な鍵となると考えられる。し0.468

0.795

たがって、くちばしの色や首の長さなど局所的な部位の特徴や羽の光沢など、より詳細な情報をもたせることで、鳥類を対象とした識別器の実現が可能となると考えられる。
６ あとがき

質感なし
IoU

0.274

質感あり

本研究は、独自に開発しているドローンを用いた

0.812

害鳥追い払いシステムに搭載する識別器において、先行研究で用いられた PSPNet が高精度に多クラス

図１２ イノシシの出力結果の比較分類が可能であるか確認を行うこと、および画像の質感の精度が向上した場合における認識精度の向上について検討を行うことを目的とした調査研究である。実験では対象物体を、空を飛ぶ物体である飛行機とカラス、地上に存在する物体である車とイノシ
シの 4 クラスに定め、イノシシにおいては 3D モデ
図１３ 背景の誤認識改善例

ルに質感の有無を与えたデータセットを用意し、そ（左：質感なし、右：質感あり）

れぞれ学習を行い、認識実験を行った。学習用デー
タセットの作成には、3D モデルを用いた従来の DataAugmentation 手法を改善した高精度な学習用データ、および学習済みモデルによる出力画像を用いた。
実験結果は PSPNet が複数クラスの物体を高い精度で分類可能であると確認できた。また、イノシシの質感の有無に対して多クラス分類を行った結果、『質感なし』の結果に比べ、『質感あり』の結果が各

図１４ カラスと誤認識された飛行機

IoU において認識精度が向上し、mIoU においても大幅に認識精度が向上していることが確認できた。この要因から、毛の質感によって生じた光の反射の変化や毛並みを特徴として学習され、精度の向上に大きな影響を与えたと考察できた。さらに、飛行機の影になった部分をカラスと誤認識される例が見られたが、黒い飛行機においては飛行機として認識する

図１５ 黒い飛行機の認識例

ことができており、色や形状が似ている場合におい機と認識されている。このため、色と形状が似ていても細部の輪郭や質感の情報が識別に関係しているる場合においても飛行機の胴体とカラスの首の長さと考察できた。鳥類の分類を行うには、形状が酷似が異なるといった細部の輪郭や羽毛の質感を見て判しており、本実験での対象物体より分類が困難であ断されていると推測できる。

ると予想されるが、色や形状だけではなく細部の輪郭や質感などの特徴を詳細に捉えることで識別器の本実験での対象物体 4 クラスは、地上と空中に存実現が可能になると結論付けた。

在する物体で分け、色や形状が酷似していないことから比較的分類が容易であると推測される。これに今後は、害鳥追い払いシステムの実システム化に対し、鳥類の分類を行う際には、形状が酷似してお向け、鳥類の多クラス分類が可能な識別器の実現を目指す。
6

PSPNetの質感に対するクラス分類精度の評価と考察（岡村・松村・北風）

参考文献
1)http://www.naisuimen.or.jp/jigyou/kawau/kawaur1-12.pdf(2022.9.18 現在)
2)https://www.jfa.maff.go.jp/j/enoki/attach/pdf/naisuimeninfo23.pdf (2022.9.18 現在)
3)北風裕教，吉原蓮人，岡部蒼太，松村遼：オブジェクト
検出 YOLO を用いた害鳥認識システムの開発，産業応用工学会論文誌，Vol.8，No.1，pp.q10-16 (2020)4)飯田紘崇：小水力発電システムと連携するドローン掲載
型野鳥認識システムの Data Augmentation による深層学習
認識率向上の検討
5)http://ai.stanford.edu/~jkrause/cars/car_dataset.html(2022.9.24 現在)
6)Liang-Chieh Chen，George Papandreou，Florian Schroff，Hartwig Adam：Rethinking Atrous Convolution for Semantic
Image Segmentation，arXiv preprint arXiv:1706.05587 (2017)7)http://host.robots.ox.ac.uk/pascal/VOC/voc2012 (2022.9.28現在)

7