計測自動制御学会東北支部第 312 回研究集会(2017.11.24)
資料番号 312-7

配管系統接続部品の深層学習と SVM による分類精度評価
Evaluation of Classification Accuracy of Connecting Parts of Piping Systems
Using Deep Learning and SVM〇橋本侑弥*，溝口知広*〇Yuya Hashimoto*，Tomohiro Mizoguchi**日本大学*Nihon University
キーワード: 配管系統(Piping System)，レーザースキャナ(Laser Scanner)，深層学習(Deep Learning)，サポートベクターマシン(Support Vector Machine)
連絡先: 〒963-1165 福島県郡山市田村町徳定字中河原 1
日本大学 工学部 情報工学科 生産システム研究室
橋本侑弥， TEL: (024)956-8825, E-mail: ceyu17016@g.nihon-u.ac.jp

1 緒言

産業プラントの設備更新，及び定期的なメンテナンスを効率的に行うためには，実際の設備を忠実に再現した 3D モデルが必要となる．しかしながら古い設備では 3D モデルが存在せず，仮に存在したとしても実際の状況と異なっているといった問題が発生している．そのため，実際の設備の 3 次元計測を行い，取得した点群から設備の実際の状況を忠実に再現した 3D モデルを作成するアズビルトモデリングの要求が高まっている．産業プ
ラントの場合，特に配管系統のモデリングが要求される．配管系統は通常，Fig.1 に示すように，配管の他に，配管に接続される複数種類の部品から構成される．そのため配管系統のアズビルトモデリングにおいては，まず計測点群中の部品をそれぞれ認識し，これらを 3D モデルへと変換する処理が必要となる．
このアズビルトモデリングを目的とした研究例が多数報告されている[1]．しかしながらこれらの手法では，表面積の大きなパイプや型鋼の抽出のみを目的としており，表面積が小さく形状が複雑な接続部品の認識は行えていない．わずかに，Kawashima ら[2]やSon ら[3]の研究では接続部品の認識を行っ-1-ているが，認識対象クラスがエルボ，T/Y-ジャンクション，レデューサといった，形状が比較的シンプルなものに限定されるといった問題がある．なおこれらの手法では，法線ベクトルや曲率といった局所的な形状特徴を手掛かりとしており，形状が複雑なバルブやフランジ等への応用は難しい．
そこで本研究では，配管系統の計測点群から，パイプや型鋼のみならず，幅広いクラスの接続部品をも点群から自動認識する手法の開発を目的とする．本手法の基本的なアイデアは，点群を画像化し，機械学習を用いて抽出を行う点にある．特に深層学習を利用することで，従来手法では困難であったバルブやフランジに対しても，高精度な認識が可能となる．また画像サイズが小さい場合でも，超解像処理を適用することで認識が可能となる．
本報では，点群から接続部品の RGB 画像と反射強度画像を作成し，これらを深層学習と SVM (Support Vector Machine)を組み合わせた手法に利用することで，その分類精度を評価した．提案手法では点群から RGB 画像と反射強度画像を作成し，これを深層学習，及び深層学習と SVM を組み合わせた手法に適用し，分類を行った．分類対象は，バルブのハンドル部(以下バルブ)，エルボ，フランジの 3 種類とした．
本研究では某所ボイラー室を Z+F 社のImager 5010C にて取得した計測点群と，日本大学工学部ボイラー室を FARO 社の Focus
3D にて取得した計測点群を使用した．使用
したスキャナの主なスペックを Table 1 に示し，取得した計測点群の例を Fig.2 に示す．
Table 1類を行った．
 Case5 では同様に𝑓𝑅𝐺𝐵 ，𝑓𝐼 を抽出し，それらを結合して𝑓𝑅𝐺𝐵𝐼 を作成し，これをもとに SVM にて分類を行う．
Table 2
Case1
Case2
Case3
Case4
Case5

スキャナの主なスペック
Imager5010C

Focus 3D

計測速度

1,000,000 点/秒

976,000 点/秒

計測距離0.3~187m0.6~120m

計測範囲

水平 360deg

水平 360deg

垂直 320deg

垂直 305deg

0.072deg

0.036deg

計測角度ピッチ

実験の条件

機械学習
深層学習
深層学習
深層学習と SVM
深層学習と SVM
深層学習と SVM

画像の種類
RGB
反射強度
RGB
反射強度
RGB と反射強度

Case1,Case2

RGBまたは反射強度画像

特徴抽出 & 分類

分類結果

深層学習

Case3,Case4

RGBまたは反射強度画像

特徴抽出

( )

分類

分類結果

SVM

深層学習

Case5

RGB画像

特徴抽出

反射強度画像

特徴抽出

接続部品

深層学習
深層学習

パイプ

エルボ

ティー

レデューサ フランジ

分類結果

SVM

Fig.3 実験概要

バルブ

Fig.1 配管系統の例(左からパイプ，エルボ，T ジャンクション，レデューサ，フランジ，バルブ)

Fig.2

分類
結合3

提案手法

3.1

画像の作成

まず計測された点群のうち，接続部品を目視で抽出した．抽出した各点群の計測地点からの距離はおよそ 1m から 10m 程度である．その後，円筒座標展開により RGB 画像，反射強度画像をそれぞれ作成した．画像サイズは最小で 29×29 ピクセル，最大で946×946 ピクセルであった．Fig.4 に作成した画像の一例を示す．その後，作成した画像をバイキュービック法で 256×256 にリサイズした．

Imager5010C による 3 次元計測点群の例

2 実験の概要
本研究では，点群から作成した RGB 画像と反射強度画像を，深層学習，及び深層学習と SVM を組み合わせた手法に適用した．その組み合わせは Table 2 に示すように 5 つのケースに分類される．それぞれの処理の概要
を Fig.3 に示し，詳細を以下に述べる．
 Case1 では RGB 画像を，Case2 では反射強度画像をそれぞれ深層学習に利用し，特徴抽出から分類までを行った．
 Case3 では RGB 画像から，Case4 では反射強度画像から，それぞれ深層学習にて特徴ベクトル𝑓𝑅𝐺𝐵 ，𝑓𝐼 を抽出する．この特徴ベクトルをそれぞれ SVM に適用し分Fig.4 作成した画像の例（上段：RGB 画像，下段：反射強度画像，左：バルブ，中：エルボ，右：フランジ）-2-

4.1 RGB と反射強度画像での分類結果の比較

3.2 特徴抽出と分類
3.2.1

Table 3 に示すように Case1 と Case2 の深層学習のみを使用した場合では，RGB 画像の平均 f 値が 80.3%に対して，反射強度画像では 85.8%と高い値が得られた．一方で，Case3 と Case4 の深層学習と SVM を併用した場合は，RGB 画像の平均 f 値が 83.8%に対して，反射強度画像では 87.6%と高い値が得られ，こちらの場合でも反射強度画像を使用することで高い分類正解率が得られることが分かった．

深層学習による分類

Case1 と Case2 では，深層学習にて特徴抽出から分類までを行った．ネットワークにはAlexNet の簡略版を使用した．このネットワーク構成を Fig.5 に示す．畳み込み 5 層，プーリング 3 層，全結合 2 層から構成されている．ここでは入力層を Input，畳み込み層をConv，プーリング層を Pool，全結合層を FCで示した．また学習回数はすべて 400,000 回に設定した．

Case1 と Case3，Case2 と Case4 を比較すると，RGB 画像，反射強度画像ともに深層学習のみを使用するより，SVM を併用することで分類正解率が向上することが分かった．

fc2

fc1

Pool3

Conv5

Conv4

Conv3

Pool2

3.2.2

Conv2

Pool1

Conv1

Input

Fig.5

4.2 深層学習と SVM の併用による分類率向上効果の検証

使用したネットワークの構成

4.3 RGB と反射強度画像の併用による分類率向上効果の検証
Case5 の結果より，RGB 画像と反射強度画像を併用することで，平均 f 値が 94.1%となり，それぞれを個別に使用した Case3，Cas4と比べ，分類正解率が向上することが分かった．

深層学習による特徴抽出

Case3 から Case5 においては，深層学習にて RGB 画像と反射強度画像からそれぞれ特徴ベクトル𝑓𝑅𝐺𝐵 と𝑓𝐼 を抽出した．これらは 1つ目の全結合層 FC1 の 4,096 次元からなるベクトルである．また Case5 では，抽出した
𝑓𝑅𝐺𝐵 と𝑓𝐼 を結合し，8,192 次元の特徴ベクトル
𝑓𝑅𝐺𝐵𝐼 を作成した．

3.3

4.4

SVM による分類

Case3 から Case5 では，深層学習にて抽出した特徴ベクトルを SVM に利用することで分類を行った．カーネルには RBF を使用し，パラメータはファインチューニングした．

4 実験結果
本実験では，バルブ，エルボ，フランジから，それぞれ RGB 画像と反射強度画像を，それぞれ 133 枚，127 枚，128 枚ずつ，合計で 776 枚作成した．このうち各クラスとも，RGB 画像と反射強度画像について各部品100 枚，計 600 枚を学習用画像とし，その他をテスト用画像とした．各 Case における分類結果を Table 3 に示す．

-3-

Case5 の分類結果

Case5 の分類結果の内訳を Table 4 に示す．
それぞれの f 値を比較すると，バルブは97.0%，エルボが 92.3%，フランジが 93.1%となり，クラス間の差は見られなかった．また分類に成功した画像と失敗した画像の例
を Fig.6 に示す．

4.5

失敗の主な原因

失敗したバルブ画像は，Fig.6 に示すように，元の部品サイズが小さく，そのため画像化した際に画像サイズが 80×80 ピクセルと小さいものとなっており，Fig.6 の分類に成功した画像と比べて全体が白色である．バルブの学習データには白色のものはほとんどなく，分類データにおいては他に一切存在していなかった．また，学習データのフランジ画像では，色情報がこの画像と似ている画像が多数あった．このことから，解像度と色情報が原因でフランジに誤分類したものと考えられる．
失敗した 3 枚のエルボ画像では，元の部品

サイズは大きいものの，計測距離が 6～8m と遠く，画像サイズが 77×77 ピクセルから121×121 ピクセルと比較的小さかった．また，Fig.6 に示したように失敗したエルボ画像ではオクルージョンによる計測点群の欠損があり，また Fig.6 に示す分類に成功したエルボ画像と比べて形状が不鮮明であった．
Fig.6 に示す分類に失敗したフランジ画像
では，部品形状が大きく歪んでおり，他のフランジ画像とは形状が大きく異なっている．
また他と大きく異なり，色が暗く，紫に近い色をしていた．
以上から，分類失敗の主な原因として，1)
部品サイズが小さいため，または計測距離が遠いために画像解像度が低いこと，2)色と形状が他と異なること，3)オクルージョンによる部品点群の欠損があることが考えられる．
Table 3
バルブ
86.5％
90.1％
88.2％
94.1％
96.7％

Case1Case2
Case3
Case4
Case5

フランジ
75.4%
85.2%
83.4%
85.7%
93.1%

分類に失敗

Fig.6 分類に成功した画像と失敗した画像の例（上：バルブ，中：エルボ，下：フランジ）

謝辞

本研究で使用した点群データは，新菱冷熱工業株式会社様よりご提供頂きました．また，
FARO Focus3D は北海道大学の金井理教授のご厚意で使用させていただきました．ここに記して謝意を表します．

実験結果

エルボ
78.9%
82.1%
83.3%
83.0%
92.3%

分類に成功

平均 f 値
80.3%
85.8%
83.8%
87.6%
94.1%

参考文献
Table 4

[1] Tomohiro Mizoguchi, Tomokazu Kuma,
Yoshikazu Kobayashi, and Kenji Shirai,“Manhattan-World Assumption for As-built
Modeling Industrial Plant,”Key Engineering
Materials, Vol.523-524, pp350-355, 2012.
[2] Kazuaki Kawashima, Satoshi Kanai, andHiroaki Date, “As-built modeling of piping
system from terrestrial laser-scanned point
clouds using normal-based region growing,”
Journal of Computational Design andEngineering Vol.1, pp.13-26, 2014.
[3] Hyojoo Son and Changwan Kim, “Automaticsegmentation and 3D modeling of pipelines
into constituent parts from laser-scan data of
the built environment,” Automation inConstruction, 68, pp.203-211, 2016.

Case5 における分類結果の内訳
正解
バルブ

エルボ

フランジ

適合率

バルブ

321096.7%エルボ

024196.0%

12

27

90.0%

96.7%

88.9%

96.4%

96.7%

92.3%

93.1%

平均 f 値
94.1%

分類
フランジ
結果
再現率f値

5 結言
本研究では，配管系統のアズビルトモデリングを目的とし，深層学習と SVM による接続部品の分類精度評価を行い，その有効性を確認した．今後は点群から分類した部品を自動抽出する手法の開発などを行う予定である．

-4-