ノート山口県産業技術センター

研究報告No.30 p1-4 (2018)1

ディープラーニングによる瓦の欠陥検出手法に関する基礎研究
阿野裕司 *

Fundamental Study on Detection Method of Tile Defects using Deep Learning
Yuji Ano
画像処理で瓦の欠陥であるひび割れの検出を行う場合，欠陥と欠陥でない模様等のノイズを判別する必要がある．一般
的には色や明るさ，エッジ(輪郭)といった特徴量を用いて判別を行うが，ひび割れと模様はどちらも黒色系かつ線状の特徴を示すため，特徴量の抽出は困難となる．そこで，本研究では瓦の欠陥検出において特徴量を自動で抽出するディープラーニングの有用性を検証した．その結果，瓦の欠陥検出におけるディープラーニングの有用性が確認された．
１．緒言

人件費削減や製造時間短縮のため，多くの製造現場にお２．実験方法２・１

検査対象

いて画像処理を用いた検査工程の自動化が行われている 1) ．

検査対象となる瓦は県内企業が製造しているプレスセメ

また，カメラの低コスト化，汎用 PC の高性能化等により，ント瓦である．瓦の全景を図 1 に示す．瓦はモルタルをプ

市販の自動検査システムを用いなくても，汎用機器を用いレス成型後，乾燥，塗装することで製造されており，大きて自動検査システムを構築することが可能となってきていさは 423×324mm である．瓦の欠陥であるひび割れに対しる2)．ては，現在プレス成型後に目視による欠陥検査が行われて一般に，画像処理による欠陥検出を行う場合，検査対象に欠陥でない模様等のノイズが混在していることがあるたいるが，5～10%程度の見逃しが発生しているため，塗装前等にも目視による欠陥検査が実施されている．

め，欠陥とそれらノイズを判別する必要がある．その場合，ひび割れはプレス成型後，型から抜き出す作業中に受け色や明るさ，エッジ(輪郭)といった特徴量を用いて判別を板に瓦が衝突することで発生する．その大きさは数 mm 程度行うが，欠陥とノイズの特徴量に明らかな違いが無い場合，から瓦全体に及ぶものまで様々であるが，本研究では目視

どのような特徴量が適しているか抽出するのは困難なことで確認した際に明らかなひび割れとして認識できるものが多い．そのため，現在でも様々な検査工程において目視(幅 0.4mm 程度，長さ 10mm 程度以上)を検出対象とする．ま検査が行われているのが現状である 3) ．

た，瓦には欠陥以外に模様や汚れ等のノイズも存在する．

一方で近年，機械学習の一手法で特徴量を自動で抽出す欠陥とノイズを拡大した画像を図 2 に示す．図 2(a)は欠陥るディープラーニングが様々な分野で従来手法を超える性であるひび割れの一例である．図 2(b)はノイズとなる模様

4)．画像処理の分野でも 2012 年の一例，図 2(c)は同じくノイズとなる汚れの一例である．の一般物体認識コンペティション(ILSVRC2012)において，

図 2(a)と図 2(b)に示す通り，ひび割れと模様はどちらも黒ディープラーニングを用いた手法のエラー率(誤認識率)が色系かつ線状の特徴を示すため，特徴量の抽出を行うこと

2011 年の従来手法の結果と比較して 10%も改善されたことが困難である．なお，図 2(d)にはひび割れと模様が混在しから，以降のコンペティションではディープラーニングをている一例を示す．

能を示し注目を集めている用いた手法が中心となっている

4)．

本研究では，欠陥とノイズを持ち，それらを判別する特徴量の抽出が困難である瓦の欠陥検出において，ディープラーニングの有用性を検証した．具体的には，瓦を撮影した画像から欠陥の有無でクラス分けを行ったデータセットを作成し，そのデータセットを用いてディープラーニングで学習を行った．その学習結果を用いて瓦の欠陥検出を試みたところ，欠陥検出におけるディープラーニングの有用性を確認したので，その結果を報告する．

図1*

企業支援部電子応用グループ

瓦の全景

2

山口県産業技術センター

研究報告No.30 (2018)

を用いた撮影環境とした．
撮影には XIMEA 製の解像度 400 万画素(2,048×2,048pixels)，CCD サイズ 11.2×11.2mm のカメラを用い，興和光学製の焦点距離 16mm のレンズと組み合わせた．ここで，カメラと撮影対象の距離を WD(Working

10mm10mm(a) ひび割れ(b) 模様Distance)，カメラの CCD サイズを L，レンズの焦点距離を F とすると，次式により視野角 V が求められる．

VWD L．．．．．．．．．．．．．．．．．．．．．．．．．(1)

カメラを瓦に対して斜めに設置しているため，WD は瓦の場所によって 420～570mm と差があるが，最も遠い570mm とした場合でも視野角 399mm となり，1pixel 当たり

10mm

10mmの撮影範囲は 0.195×0.195mm となる．幅 0.4mm 程度以上のひび割れを検出するために必要な画像を取得可能である(c) 汚れ(d) ひび割れと模様

図2

欠陥とノイズ環境とした．
照明はアイゼット製の蛍光灯，画像の取り込みや処理には GPU を搭載した汎用デスクトップ PC を用いた．なお，

２・２

撮影環境

本研究は欠陥の検出が可能かどうかの検証が目的であるの

撮影環境を図 3，瓦を撮影した画像の一例を図 4 に示

で，カメラ 1 台で検討を行った．

す．瓦には曲面が存在し，その曲面部にひび割れが発生す

２・３ることもあるため，カメラ 1 台で瓦全体の撮影を行うことディープラーニングの開発環境としては画像処理の分野は困難であった．そこで，図 3 に示すとおり，カメラ 2 台で良く用いられている Caffe を採用した 4) ．また，インタ

カメラーフェースとして NVIDIA が公開している DIGITS を用いカメラ

65°

ディープラーニング開発環境

65°

た．OS は，ディープラーニングを利用する際に使われることが多い Linux を採用し，GPU の開発環境には CUDA，ディープラーニング用ライブラリには cuDNN を用いた．なお，Caffe と DIGITS，CUDA，cuDNN はすべてオープンソー

蛍光灯スとして無料で公開されている．
ディープラーニングで用いるデータセットは，図 4 に示した瓦を撮影した画像から瓦部を一定サイズ毎に切り出し，450mm330mm欠陥の有無でクラス分けを行い作成した．具体的には 18 枚の瓦を図 3 の撮影環境で撮影し，瓦部を 256×256pixels ず
つ切り出した後，欠陥のある画像と無い画像をそれぞれ検査対象
図3

撮影環境

1,504 枚ずつ，合計 3,008 枚用意してデータセットとした．
なお，3,008 枚のうち，学習用に 2,254 枚，検証用に 250枚，テスト用に 504 枚を用いた．検証用画像で学習途中の欠陥検出率を検証し，テスト用画像で学習後の欠陥検出率を確認する．
構築したソフトウェアの階層構造を図 5 に示す．ディー
プラーニングでの学習に用いるネットワークは AlexNet とGoogLeNet の 2 種類を，学習方法は SGD，NAG，AdaGrad，AdaDelta の 4 種類を組合せた．AlexNet は 8 層，GoogLeNet は 22 層のネットワークであるため，学習に必要な時間は GoogLeNet の方が長くなるが，一般物体認識においては GoogLeNet の方が高性能である．学習方法は SGDが基本手法で，データの収束速度等を改善した NAG やAdaGrad，AdaDelta は SGD を発展させた学習方法である．
ディープラーニングによる学習，検証を 50 回繰り返した後，テスト用画像を用いて欠陥検出を行い，学習ネットワークと学習方法の組合せによる検出率の違いを比較し

図4撮影画像た．また，データセットの画像サイズが欠陥検出に及ぼすディープラーニングによる瓦の欠陥検出手法に関する基礎研究
表1

インターフェース

ディープラーニングを用いた瓦の欠陥検出率

DIGITS(データセット 256×256pixels)

単位は %

Caffe
ディープラーニングの開発環境

学習ネットワーク■学習ネットワーク
・AlexNet・GoogLeNet

学習方法

×■学習方法
・SGD
・NAG
・AdaGrad・AdaDelta

ライブラリ

3

表2

AlexNet

GoogLeNet

SGD

88.1090.48

NAG

77.18

93.65

AdaGrad

65.48

90.67

AdaDelta

65.48

70.63ディープラーニングを用いた瓦の欠陥検出率(データセット 128×128pixels)

単位は %学習ネットワークGPU
CUDA (GPUの開発環境)
cuDNN (ディープラーニング用ライブラリ)
OSLinux
図5

ソフトウェアの階層構造

学
習方法

AlexNet

GoogLeNet

SGD

88.97

92.75

NAG

89.88

93.05

AdaGrad

71.90

88.82

AdaDelta

72.51

80.97

影響を検証するため，瓦部を切り出すサイズを 128×AdaGrad，AdaDelta の方が一概に検出率が高くなるわけで128pixels とした場合も比較した．

はないことが分かった．その理由としては，認識する対象

３．実験結果データセットの画像サイズが 256×256pixels の場合のテスト画像に対する欠陥検出率を表 1 に示す．また，デー
タセットの画像サイズが 128×128pixels の場合のテストによって適した学習方法があるためと考えられる．なお，データセットの画像枚数の増減によっても検出率は変化する可能性があるため，今後検証を行う予定である．
４．結論

画像に対する欠陥検出率を表 2 に示す．検出率が最も高い

本研究では，欠陥とノイズを持ち，それらを判別する特のは，データセットの画像サイズが 256×256pixels で学習徴量の抽出が困難である瓦の欠陥検出において，ディープ用ネットワークに GoogLeNet，学習方法に NAG を用いた場ラーニングの有用性を検証した．

合で 93.65%となった．2・1 で述べたとおり，現状の目視検瓦を撮影した画像から欠陥の有無でクラス分けを行った

査にお い て も 5～ 10%程 度 の 欠 陥 の 見 逃 し が 発 生 し ている

データセットを作成し，そのデータセットを用いてディーことから，ディープラーニングを用いた欠陥検出は目視検プラーニングで学習を行った．その学習結果を用いて瓦の査に近い結果を得られる有用な手法であると考えられる．

欠陥検出を試みたところ，93.65%の検出率となった．また，

今回検出率が最大となったのはデータセットの画像サイデータセットの画像サイズをさらに小さくすることで，よズが大きい 256×256pixels を用いた手法であったが，一り高い検出率を得られる可能性があることが分かった．さ般的には，データセットの画像サイズが小さくなれば，欠らに学習ネットワークについては，一般物体認識と同じく陥のある画像の場合，画像全体に占める欠陥の面積が増えAlexNet より GoogLeNet の方が高性能であることを確認しるため，欠陥の有無がより明確になることで，検出率が高たが，学習方法については基本手法である SGD に対して NAGくなると考えられる．本実験においても，データセットのや AdaGrad，AdaDelta の方が一概に検出率が高くなるわけ

画像サイズが小さい 128×128pixels の場合で 93.05%とほではないことが分かった．

ぼ同等の検出率が得られていることから，データセットの今後は，データセットの画像枚数や画像サイズ，学習ネ画像サイズをさらに小さくすることで，より高い検出率をットワークの再学習が欠陥検出率に及ぼす影響の検証を行得られる可能性がある．

う予定である．また，瓦以外の製品に対する欠陥検出におまた，学習ネットワークについては一般物体認識と同じ
く GoogLeNet の方が高性能であることを確認したが，学習方法については基本手法である SGD に対して NAG やいても，ディープラーニングの有用性を検証したい．

4山口県産業技術センター
本研究の遂行に当たり，数多くの有益なご指導，ご助言

研究報告

No.30 (2018)2) 藤原義也，是永晋治，安部重毅，後藤孝文，大賀 誠，を賜りました国立大学法人山口大学大学院理工学研究科

打田澄雄，矢式良行，北村好道：情報通信技術を活用し水上准教授に深く感謝致します．

たランダムピッキングシステムの開発(第 1 報)安価な瓦のサンプル提供でご協力頂いた株式会社コトガワ

システム構築を目指すランダムピッキング基盤技術の佐々岡良介代表取締役社長，大谷康雄技術開発・製造課長

開発，広島県立総合技術研究所西部工業技術センター研に深く感謝致します．

究報告，Vol.57，p.1-4 (2014)．
参考文献

1) 青木公也：目視検査の自動化技術 画像処理の産業応用について，検査技術，10(12)，p.1-8 (2005)．

3) 中谷信幸：知的搬送技術による各種自動外観検査装置の研究，博士論文(高知工科大学)，p.3-6 (2013)．
4) 山下隆義：イラストで学ぶ
談社，(2016)．

ディープラーニング，㈱講