一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
社団法人 電子情報通信学会
INFORMATIONAND COMMUNICATION ENGINEERS

信学技報
IEICE Technical Report
NLP2019-38(2019-09)

信学技報
TECHNICAL REPORT OF IEICE.

THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

畳み込みニューラルネットワークを用いた奥行推定画像とエッジ抽出画像で構成されたデータセットの画像分類
住本

柊†

宮田

優一†

上手洋子†

西尾芳文†

† 徳島大学 〒 770–8506 徳島県南常三島 2–1
E-mail: †{sumimoto,y.miyata,uwate,nishio}@ee.tokushima-u.ac.jp
あらまし 本研究では、畳み込みニューラルネットワークを用いて画像分類を行う。真上から撮影された人と車の区別を目的とする。データセットは RGB 画像や奥行推定画像、エッジ抽出画像で構成されている。全層畳み込み残差
ネットワークにより真上から撮影した人と車の奥行きを推定する。RGB 画像とそれらから得られた奥行推定画像とエッジ抽出画像を用い、それぞれの画像分類の学習精度とテスト精度を調査する。
キーワード

ニューラルネットワーク, 画像分類, 奥行推定, エッジ抽出

Image Classification of Datasets Composed of Depth Prediction Images
and Edge Extraction Image using Convolutional Neural Network
Shu SUMIMOTO† , Yuichi MIYATA† , Yoko UWATE† ,and Yoshifumi NISHIO†† Dept. of Electrical and Electronic Engineering, Tokushima University
2-1 Minami-Josanjima, Tokushima 770–8506, Japan
E-mail: †{sumimoto,y.miyata,uwate,nishio}@ee.tokushima-u.ac.jp
Abstract In this study, we classify images by using Convolutional Neural Network. We aim at differentiating
humans or cars. Datasets are composed of depth prediction images and edge extraction images. We investigate
the prediction of the depth of some objects, such a human and cars, in overhead images with Fully Convolutional
Residual Networks (FCRN). We investigate each traing and test accuracies of image classification with the Datasets.
Key words Neural Network, Image Classification, Depth Prediction, Edge Extraction

1. ま え が き
ディープラーニングによる画像認識は、さまざまな分野で使点の真上から撮影された画像に映る人を認識することができな
い。人の形を学習するため、YOLOv3 が体の一部が隠れている人を認識することは困難である。

用されている。自動運転車は、危険を回避するときにディープ

本研究では、全層畳み込み残差ネットワーク (FCRN) [4] をラーニングによる画像認識を使用する。このように、様々な機使用して、真上から撮影された画像に映る人や車などの物体

械でディープラーニングによる画像認識を使用することが重要の奥行きの予測を調査する。このシステムは、単眼カメラで撮である。また、近年ドローンは、配達、救助、警備など、さまざ影した画像の奥行きを予測できるため、どのシステムよりもまな分野に浸透している。そのため、ドローンは安全に飛行す低コストである。 FCRN からの生成された奥行推定画像にはる必要がある。そこで私達は、ドローンが安全に飛行するため3D データが含まれるため、畳み込みニューラルネットワークには、ディープラーニングによる画像認識が重要になると考え（CNN）は 2D 画像よりも多くのデータを取得できる。また、た。なぜなら、着陸する先の危険を早期に把握する必要がある

人や車の輪郭を明確にするために OpenCV を用いてエッジ抽からである。私達はドローン視点の画像に映る物体の認識をす出画像を生成する。しかし、奥行推定画像やエッジ抽出画像はるために、YOLOv3 [1]∼[3] を使用した。これは一般的な物体RGB 画像に比べて RGB に関する情報が少なくなってしまう。

検出アルゴリズムであり、物体をすばやく認識できるため、危この問題を解決するために、RGB 画像や奥行推定画像、エッ険を回避するのに適している。しかし、YOLOv3 はドローン視

ジ抽出画像を 1:1 の割合で重ねたブレンド画像をデータセット- 19 —1—
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.
Copyright ©2019 by IEICEに加えた。単眼カメラで撮影した RGB 画像や奥行推定画像、クでは、精度が下がることが知られている。この問題を改善す

エッジ抽出画像、ブレンド画像で構成されたデータセットを分るために残差関数を用いたものが残差ネットワークである。残類し、CNN を使用して人間または他のオブジェクトを区別す

差ネットワークは、出力から入力を引いた残差をニューラルることを目指す。

ネットワークで表現し写像することで、入力に近いものを得ることができる。このように残差を写像することで、勾配消失や勾配発散を防ぐ。
この残差ネットワークを用いた FCRN で奥行推定画像を生成する。

4. 提 案 手 法
CNN を使用して、人と車の画像を分類することを提案する。
まず、FCRN を用いて RGB 画像から奥行推定画像を作成する。
このとき、あらかじめ学習された既存の学習データを用いる。
色が濃いほど距離が近いことを表しており、この表現により
図1

CNN が奥行きに対する特徴量を得ることを試みる。また、輪YOLOv3 による物体検出.

郭がわかりやすくなるため、形による認識の向上も考えられる。
さらに、OpenCV を用いてエッジ抽出画像を作成する。エッジ抽出により奥行推定画像よりもさらに輪郭が明確になる。そし2. 畳み込みニューラルネットワークて、RGB 画像と奥行推定画像、エッジ抽出画像を 1:1 の割合で近年、ニューラルネットワークは様々な分野で応用されてい重ね合わせたブレンド画像を作成する（図 3）。

る。特に畳み込みニューラルネットワーク (CNN) は、画像分これらの画像から 6 つのデータセットを構成する。最初の野で多くの成果を出している。また、画像認識においては人間データセットは、200 枚の RGB 画像で構成される。2 番目のの能力を超える成果も見られる。本研究では、同じ種類の画像データセットは、100 枚の RGB 画像と 100 枚の奥行推定画像にラベル付けすることで学習データを作成し、CNN によってで構成される。3 番目のデータセットは、100 枚の RGB 画像抽出された特徴量から、画像の分類を行っている。これにより、と 100 枚のエッジ抽出画像で構成される。4 番目のデータセッ真上から撮影された画像に特化した学習データの作成を試みる。

トは 100 枚の RGB 画像と、RGB 画像と奥行推定画像がブレ

CNN には畳み込み層やプーリング層、全層結合層がある。畳ンドされた 100 枚の画像で構成される。5 番目のデータセット

み込み層では、複数のフィルターにより行列計算を行い、フィは、100 枚の RGB 画像と、RGB 画像とエッジ抽出画像がブレルターの数だけの種類の特徴量を抽出する。次に、プーリングンドされた 100 枚の画像で構成される。6 番目のデータセット

層では畳み込み層で得られた特徴マップを重要な情報を残し縮は、RGB 画像と奥行推定画像がブレンドされた 100 枚の画像小する。本研究では、マックスプーリングを行い最大値を残しと、RGB 画像とエッジ抽出画像がブレンドされた 100 枚の画ていく。これにより、計算量を減らすことができる。そして、像で構成される (表 1)。
次に、2 つの畳み込み層、2 つのプーリング層、2 つの全結合全結合層ではラベルがそれぞれの特徴量に繋がっており、確率層を持つ CNN を使用して、人と車の画像を分類する。の高いラベルを選択することができる。
このような層が複数存在するものをディープラーニングと呼最後に、各データセットの学習精度とテスト精度を比較す

び、多くの層があることで正確な画像の分類を行うことができる。CNN が学習するとき、トレーニング画像とテスト画像はる。本研究では以下の図 2 の構造を用いる。

32 × 32 画素に圧縮されたものを用いる。この CNN の学習率は 0.00009 である。各学習回数は 600 から 700 回で、トレーニング精度がおおよそ 1.00 に収束するまで学習を行っている。
表 1 データセット.

図 2 CNN の構造.

3. 残差ネットワーク

RGB

奥行 エッジ

画像推定抽出ブレンド

ブレンド(RGB:奥行) (RGB:エッジ)

1200(枚)

00002100100000310001000041000010005100000100

6000100100

画像分類においてネットワークの層を深くすることで、精度の向上は試みることができる。しかし、さらに深いネットワー- 20 -—2—

表2

カメラが近いときのテスト精度.

学習精度

1.00

テスト精度

0.97

表 3 CNN が 200 枚の RGB 画像を学習したときのテスト精度.

(a)

表4(b)

学習精度

1.00

テスト精度

0.50

CNN が 100 枚の RGB 画像と 100 枚の奥行推定画像を学習したときのテスト精度.

表5

学習精度

1.00

テスト精度

0.80

CNN が 100 枚の RGB 画像と 100 枚のエッジ抽出画像を学習したときのテスト精度.

表6

学習精度

1.00

テスト精度

0.67

CNN が 100 枚の RGB 画像と、100 枚の RGB 画像と奥行推定画像のブレンド画像を学習したときのテスト精度.

(c)

表7

学習精度

1.00

テスト精度

0.70

CNN が 100 枚の RGB 画像と、100 枚の RGB 画像とエッジ抽出画像のブレンド画像を学習したときのテスト精度.

表8

学習精度

1.00

テスト精度

0.67

CNN が 100 枚の RGB 画像と奥行推定画像のブレンド画像と 100 枚の RGB 画像とエッジ抽出画像のブレンド画像を学習したときのテスト

(d)

精度.

(e)

学習精度

1.00

テスト精度

0.73

図 3 真上からの人を映した画像.

(a) RGB 画像. (b) 奥行推定画像.
(c) エッジ抽出画像.
(d) RGB 画像と奥行推定画像を組み合わせたブレンド画像.
(e) RGB 画像とエッジ抽出画像を組み合わせたブレンド画像.

5. シミュレーション結果
表 2 は、物体とカメラの位置が近いときのテスト精度を表している。このときのデータセットは 200 枚の RGB 画像を用いている。テスト精度は 0.97 と高い値が得られているが、表 3で表しているようにカメラと物体の距離が離れているときは、0.50 と低い値になっている。つまり、CNN は遠くからの真上視点で撮影された画像に映る人と車を分類できない。
しかし、表 4 のテスト精度は表 3 よりも高い値であるため、(a)

CNN が奥行推定画像を学習することは、真上から撮影された画像を分類することにおいて効果的であると考えられる。また、

CNN がブレンド画像を学習する場合、表 6 および 7、8 のテス
ト精度は表 3 よりも高くなる。これらの結果からも、RGB 情報との組み合わせが重要であるといえる。
また、図 5 は、学習精度と学習回数を示している。図 5 から、CNN でトレーニングされた 32 × 32 ピクセルの画像の精度は、あらゆる状況で 28 × 28 ピクセルよりも高速であることがいえる。

- 21 -—3—

[2] Joseph Redmon, Ali Farhadi, “YOLO9000: Better, Faster,Stronger,” arXiv preprint arXiv:1612.08242, 2016.
[3] Joseph Redmon, Ali Farhadi,“YOLOv3: An IncrementalImprovement,” arXiv preprint arXiv: arXiv:1804.02767,
2018.
[4] Iro Laina, Christian Rupprecht, Vasileios Belagiannis,
Federico Tombari, Nassir Navab, “Deeper Depth Prediction with Fully Convolutional Residual Networks,” 2016
Fourth International Conference on 3D Vision (3DV), pp.
239âĂŞ248, 2016.

(b)

(c)
図 4 学習精度と学習回数.

(a) CNN が RGB 画像のみを学習したときの学習精度と学習回数.
(b) CNN が奥行推定画像のみを学習したときの学習精度と学習回数.
(c) CNN が RGB 画像 100 枚と奥行推定画像 100 枚を学習したときの学習精度と学習回数.

6. ま と め
本研究では、RGB 画像に加え奥行推定画像やエッジ抽出画像、ブレンド画像を学習データに用い、CNN による画像認識の精度向上を試みた。これらのシミュレーション結果から、対象物から遠いカメラで撮影した画像を分類して、画像の奥行きを予測するのに有効であると考えられる。 RGB および奥行推
定画像で学習された CNN のテスト精度は、RGB 画像のみのときよりも高くなる。
ただし、テストの精度はまだ低く、さらに画像分類のテスト精度を上げる必要がある。
今後は RGB 画像との新たな組み合わせや、異なる画像処理との組み合わせを検討する。また、CNN のネットワーク自体の改善も行う。
文

献[1] Joseph Redmon, Santosh Divvala, Ross Girshick, Ali
Farhadi, “You Only Look Once: Uniﬁed, Real-Time Object
Detection,” arXiv preprint arXiv:1506.02640, 2015.

- 22 -—4—