藤原・平井：瓦の品質管理を目的とした瓦の外観検査システムの開発

資料

瓦の品質管理を目的とした瓦の外観検査システムの開発
藤原
1. 目

直樹 *，**・平井

克尚 *，***
表１

的

瓦の外観検査システムの機能仕様

機能項目

機能概要

島根県の西部地域で生産されている石州瓦の表面には釉瓦画像の撮影機能

製造ラインを通過する瓦を撮影する機能薬層が形成されており，銀黒色，来待色，赤色の瓦が主に瓦の良否判定機能撮影された瓦画像の良否を判定する機能

販売されている．
その石州瓦の製造における課題の１つに，全ての瓦に対して目視により釉薬層の傷，亀裂，素地の露出の有無を確認する検査工程の作業負荷低減がある．瓦は連続的に検査工程にコンベアで運ばれてくるため，検査担当者は検査工程に長時間常駐して１枚の瓦に対して数秒で目視検査を行う必要があり，作業者の負荷は大きい．そこで瓦会社と共同で検査工程の自動化に取り組むこととした．検査工程の自動化を実現する手段の 1 つとして，機械学習（以下 MLと略す）を手法とした画像処理が挙げられる．特にディープラーニングを利用したリアルタイムの画像処理をシステム化することで，数秒での目視検査が要求される瓦の検査工程の自動化が期待できる．
本報では，ML を用いた瓦の良否を判定する画像処理システムを構築し，構築した画像処理システムによる瓦の良図1

代表的な良品画像および不良品画像（左上：良品，右上：傷，左下：亀裂，右下：素地の露出．

否判定性能精度と判定に要する時間を検証した結果につい画像内赤枠の箇所が該当する不良箇所．）て報告する．

2. 方
2.1

良と判定した瓦を図 1 に示す．

法

2.1.3 システム要件

瓦の外観検査システムの仕様および要件

筆者らが課題聴取を実施した石州瓦の製造業者において

2.1.1 機能仕様

は，毎分約 40 枚の瓦が検査工程の製造ラインを通過する．

瓦の外観検査システムの機能仕様を表 1 に示す．表 1 の従って，構築する画像処理システムにおいては毎分約 40とおり，機能仕様は瓦画像の撮影機能と瓦の良否判定機能枚の処理速度が必要であり，許容される処理時間は瓦 1 枚の 2 つに大別できる．本資料で述べる画像処理システムは，当たり約 1.5 秒となる．産業応用を前提とする場合，前述

表 1 に示した機能項目の 1 つである瓦の良否判定機能をシした処理時間内に処理を完了させることが処理速度に関しングルボードコンピュータ（以下 SBC と略す）へ実装してのシステム要件となる．

たものである．SBC は 1 つの基板上に CPU，メインメモリ，2.2

画像処理システムの構成

瓦の良否判定機能の実現を目的として，瓦の良否判定機入出力端子等が実装された小型のコンピュータである．
2.1.2 不良判定基準

能を内包した画像処理システムを構築した．構築した画像構築する画像処理システムでは，傷，亀裂，素地の露出処理システムは，画像処理のソフトウェアと SBC のハーを不良判定基準として，瓦を良品と不良品の 2 つに分類すドウェアで構成される．ここで，画像処理システムの処理る．ここで，良品の瓦と，傷，亀裂，素地の露出により不について図 2 に示す．図 2 に示した 2 重線の処理が瓦の良否判定機能に相当する．瓦の良否判定機能は，瓦の良否を* 情報・ヒューマンアメニティ科（** 現：電子・電気技術科，*** 現：情報技術・デザイン科）判定する ML モデル（以下，瓦の良否判定 ML モデルと称す）を内包する．

- 13 -

島根県産業技術センター研究報告第60号（2024）

図３
モデル構築および評価の処理手順
図
図
3 3 MLML
ML
モデル構築および評価の処理手順
モデル構築および評価の処理手順

図２
画像処理システムの処理
図
図
2 2 画像処理システムの処理
画像処理システムの処理（２重線の処理が瓦の良否判定機能）（2（2重線の処理が瓦の良否判定機能）
重線の処理が瓦の良否判定機能）

2.評価する．以下，評価対象となる瓦の良否判定
23..31.1 瓦瓦のの良良否否判判定定
MLMモ
Lモデデルルのの構構築築とと評評
価価 ML モデルの構築および評価手順について説明する．
MLMLモデルの構築および評価における処理手順を図モデルの構築および評価における処理手順を図3 3にに

表２ NVIDIA Jetson Nano の主要な仕様
表表
2 2 NVIDIA
NVIDIAJetson
JetsonNano
Nanoの主要な仕様の主要な仕様
項目
内容
内容
内容
項目
項目 128-Core NVIDIA Maxwell
GPU

2.3.1
瓦の良否判定ML モデルの構築と評価示す．図示す．図3 における各処理について述べる．
3 における各処理について述べる．
3に
2.23..ML31..11.モデルの構築および評価における処理手順を図
1 画画像像デデーー
タタのの収収集集

GPUGPU Quad-Core
128-Core
128-CoreNVIDIA
NVIDIA
MaxwellMaxwell MPCore Processor
CPU
ARM
Cortex-A57
CPU
CPU Quad-Core
Quad-CoreARM
ARMCortex-A57
Cortex-A57MPCore
MPCoreProcessor
Processor
RAM 4GB 64bit LPDDR4
RAM
RAM 4GB
4GB64bit
64bitLPDDR4LPDDR4
USB USB 3.0 コネクタ および USB 2.0 コネクタUSB
USB USB
USB3.03.0コネクタ
コネクタおよびおよびUSB
USB2.02.0コネクタ
コネクタ

示す．図3 における各処理について述べる．
瓦の良否判定瓦の良否判定MLMLモデルは，ディープラーニングを利用
モデルは，ディープラーニングを利用
2.3.1.1
画像データの収集して構築する．ディープラーニングは，大規模データからして構築する．ディープラーニングは，大規模データから

図 2 に示した処理概要を説明する．まず瓦の良否判定実施する．その後瓦の良否判定実施する．その後瓦の良否判定MLMLモデルによって良否判モデルによって良否判
ML モデルを読込む．読込み完了後，良否判定対象画像が定を実施し，良否判定の結果を出力する．良否判定の結果
定を実施し，良否判定の結果を出力する．良否判定の結果存在する場合には，良否判定対象画像の読込みおよび前処を出力後，良否判定対象画像の存在有無の判定処理まで戻を出力後，良否判定対象画像の存在有無の判定処理まで戻理を実施する．その後瓦の良否判定 ML モデルによって良り，良否判定対象画像が無ければ処理を終了する．
り，良否判定対象画像が無ければ処理を終了する．
否判定を実施し，良否判定の結果を出力する．良否判定の
SBC
SBC
はは
NVIDIANVIDIAJetson
JetsonNanoNanoを利用した．NVIDIAを利用した．NVIDIAJetson
Jetson
結果を出力後，良否判定対象画像の存在有無の判定処理ま
1) 1)
Nano
Nanoにおける主要な仕様について表における主要な仕様について表2 2に示すに示す ．NVIDIA．NVIDIAで戻り，良否判定対象画像が無ければ処理を終了する．
JetsonJetsonNano
Nano
は，ハードウェアとしてグラフィックスプロ
は，ハードウェアとしてグラフィックスプロ
SBC は NVIDIA Jetson Nano を 利 用 し た．NVIDIA1）セッシングユニット（GPU）を搭載しており，リアルタイムセッシングユニット（GPU）を搭載しており，リアルタイム
Jetson Nano における主要な仕様について表 2 に示す ．の画像処理に適している．の画像処理に適している．
NVIDIA Jetson Nano は，ハードウェアとしてグラフィッ
2.23.3 瓦瓦のの良良
否否
判判
定定
機機
能能のの構構築築
おおよよびび評評
価価
方方法法
クスプロセッシングユニット（GPU）を搭載しており，リ
図図2 で示した瓦の良否判定機能の主要な機能として，瓦2 で示した瓦の良否判定機能の主要な機能として，瓦アルタイムの画像処理に適している．の良否判定の良否判定MLMLモデルを利用した良否判定処理が挙げられモデルを利用した良否判定処理が挙げられ
2.3 瓦の良否判定機能の構築および評価方法
る．瓦の良否判定
る．瓦の良否判定MLMLモデルにおける良否判定の性能が瓦モデルにおける良否判定の性能が瓦図 2 で示した瓦の良否判定機能の主要な機能として，瓦の良否判定機能の性能に直結することから，瓦の良否判定の良否判定機能の性能に直結することから，瓦の良否判定の良否判定 ML モデルを利用した良否判定処理が挙げられ
MLMLモデルの性能評価を以って瓦の良否判定機能の性能をモデルの性能評価を以って瓦の良否判定機能の性能をる．瓦の良否判定 ML モデルにおける良否判定の性能が瓦評価する．
評価する．
以下，
以下，評価対象となる瓦の良否判定
評価対象となる瓦の良否判定
MLML
モデルのモデルのの良否判定機能の性能に直結することから，瓦の良否判定構築および評価手順について説明する．
構築および評価手順について説明する．
ML モデルの性能評価を以って瓦の良否判定機能の性能を瓦の良否判定 ML モデルは，ディープラーニングを利用データに含まれる特徴をデータに含まれる特徴をMLMLモデルが学習する手法である．
モデルが学習する手法である．
して構築する．ディープラーニングは，大規模データから従って瓦の良否判定
従って瓦の良否判定MLMLモデルを構築するためには，大規モデルを構築するためには，大規データに含まれる特徴をML モデルが学習する手法であ模データとして画像データを収集する必要がある．
模データとして画像データを収集する必要がある．
る．従って瓦の良否判定
ML モデルを構築するためには，瓦の良否判定
瓦の良否判定MLMLモデルの構築において利用する画像デモデルの構築において利用する画像デ大規模データとして画像データを収集する必要がある．
ータは，石州瓦の製造・販売を行う株式会社丸惣においてータは，石州瓦の製造・販売を行う株式会社丸惣において瓦の良否判定 ML モデルの構築において利用する画像撮影・収集した．収集した画像データは，良品画像が撮影・収集した．収集した画像データは，良品画像が370
370
データは，石州瓦の製造・販売を行う株式会社丸惣にお枚，不良品画像が枚，不良品画像が134134枚であった．
枚であった．
2.いて撮影・収集した．収集した画像データは，良品画像が23..31..12.2 画画
像像
デデーー
タタのの分分割割
370枚，不良品画像が134 枚であった．
MLML
においては，収集したデータを訓練データ，検証デー
においては，収集したデータを訓練データ，検証デー
2.3.1.2
画像データの分割
タ，タ，テストデータのテストデータの3 つに分割し，3 つに分割し，MLML
モデルの訓練，モデルの訓練，検証，検証，ML においては，収集したデータを訓練データ，検証デー
テストに利用する．
テストに利用する．
タ，テストデータの3モデルの構築過程においては，瓦の良つに分割し，ML モデルの訓練，検証，瓦の良否判定
瓦の良否判定MLMLモデルの構築過程においては，瓦の良テストに利用する．
品画像
品画像
370370枚について，訓練データ，検証データ，テスト枚について，訓練データ，検証データ，テスト瓦の良否判定
ML モデルの構築過程においては，瓦の良データとして，それぞれデータとして，それぞれ
220
220枚，75枚，75枚，75枚，75枚に分割した．
枚に分割した．
品画像
370 枚について，訓練データ，検証データ，テストまた瓦の不良品画像
また瓦の不良品画像
134
134枚について，訓練データ，検証デ枚について，訓練データ，検証デデータとして，それぞれ220 枚，75 84枚，75枚に分割した．
ータ，テストデータとして，それぞれータ，テストデータとして，それぞれ84枚，25枚，25枚，25枚，25枚枚
また瓦の不良品画像
134 枚について，訓練データ，に分割した．に分割した．
以上のデータ分割の結果について表
以上のデータ分割の結果について表
3 に示す．
3 検証デーに示す．
84 枚，25 枚，25 枚に2.タ，テストデータとして，それぞれ23..31..13.3 ララ
ベベ
ルルのの付付与与分割した．以上のデータ分割の結果について表
3 に示す．
瓦の良否判定瓦の良否判定MLMLモデルは，ディープラーニングに加えモデルは，ディープラーニングに加え- 14 -―14――14―

藤原・平井：瓦の品質管理を目的とした瓦の外観検査システムの開発
2.3.1.3 ラベルの付与て教師あり学習を利用して構築する．
教師あり学習は ML に瓦の良否判定 ML モデルは，ディープラーニングに加えおける学習手法の 1 つである．例えば特定の画像を分類して教師あり学習を利用して構築する．教師あり学習は MLようとする場合，各画像データに対してラベルを付与し，における学習手法の 1 つである．例えば特定の画像を分類画像データとラベルを利用することで ML モデルを構築すしようとする場合，各画像データに対してラベルを付与し，る．
画像データとラベルを利用することで ML モデルを構築す
瓦の良否判定 ML モデルの構築過程においては，表 3 でる．
示した良品画像と不良品画像に対して，それぞれ 0 と 1 の瓦の良否判定 ML モデルの構築過程においては，表 3 でラベルを付与した．
示した良品画像と不良品画像に対して，それぞれ 0 と 1 の2.3.1.4 画像データの前処理ラベルを付与した．
前処理は，ML モデル訓練時における学習効率の向上や，2.3.1.4 画像データの前処理
ML モデル評価時における判定性能の向上を目的として実前処理は，ML モデル訓練時における学習効率の向上や，施する．
ML モデル評価時における判定性能の向上を目的として実瓦の良否判定 ML モデル構築前に行う前処理手順につい施する．て図 4 に示す．図 2 における「画像の前処理」の処理も，瓦の良否判定 ML モデル構築前に行う前処理手順につい
図 4 と同じ手順で行われる．図 4 に示すとおり，トリミンて図 4 に示す．図 2 における「画像の前処理」の処理も，グ，グレースケール化，ランダム回転，リサイズを実施す
図 4 と同じ手順で行われる．図 4 に示すとおり，トリミンる．前処理の結果として，画像の幅および高さが 224×224
グ，グレースケール化，ランダム回転，リサイズを実施する．
ピクセルとなるグレースケール画像が出力される．画像に前処理の結果として，画像の幅および高さが 224 × 224 ピ対する前処理実施例として，図 1 に示した瓦の良品画像にクセルとなるグレースケール画像が出力される．画像に対対して前処理を実施した画像を図 5 に示す．
する前処理実施例として，図 1 に示した瓦の良品画像に対2.3.1.5 ML モデルの構築して前処理を実施した画像を図 5 に示す．
ディープラーニングおよび教師あり学習を利用した一
2.3.1.5 ML モデルの構築
般的な ML モデルの構築方法として，訓練データ，検証デー
ディープラーニングおよび教師あり学習を利用した一般
タ，ラベルを利用して ML モデルの訓練および検証を実施
的な ML モデルの構築方法として，訓練データ，検証デーする．まず画像分類を目的とした任意の ML モデルを選定
タ，ラベルを利用して ML モデルの訓練および検証を実施する．次に訓練データとラベルを利用して，選定した ML モする．まず画像分類を目的とした任意の ML モデルを選定
デルが保持するパラメータを更新する．そして検証データする．次に訓練データとラベルを利用して，選定した MLを利用して ML モデルが保持するパラメータ更新が適切かモデルが保持するパラメータを更新する．そして検証デーを検証する．以上の訓練および検証を繰り返し実施するこタを利用して ML モデルが保持するパラメータ更新が適切とで，ML モデルは訓練データおよび検証データを正しく分かを検証する．以上の訓練および検証を繰り返し実施する類することが可能となる．
ことで，ML モデルは訓練データおよび検証データを正し瓦の良否判定 ML モデルの構築においては，表 3 で示しく分類することが可能となる．
た訓練データおよび検証データについて，図 4 で示した前瓦の良否判定 ML モデルの構築においては，表 3 で示し処理を実施し，前処理実施後の訓練および検証データを利た訓練データおよび検証データについて，図 4 で示した前用した．ラベルは 2..3..1..3 で付与したラベルを利用した．
処理を実施し，前処理実施後の訓練および検証データを利以上の訓練データ，検証データ，ラベルを利用し，前述し用した．ラベルは 2.3.1.3 で付与したラベルを利用した．以
た ML モデルの構築方法を基に瓦の良否判定 ML モデルの訓上の訓練データ，検証データ，ラベルを利用し，前述した練および検証を実施した．
ML モデルの構築方法を基に瓦の良否判定 ML モデルの訓
また画像分類を目的とした ML モデルは様々なモデルが練および検証を実施した．
存 在 す る が ， 瓦 の 良 否 判 定 ML モ デ ル に お い て は
ま た 画 像 分 類 を 目 的 と し た ML モ デ ル は 様 々 な モ デMobileNetV2 の画像分類モデルを一部変更して利用した 2)．
ル が 存 在 す る が， 瓦 の 良 否 判 定 ML モ デ ル に お い て は具体的な変更内容として，瓦の良否判定 ML モデルは画像
MobileNetV2 の 画 像 分 類 モ デ ル を 一 部 変 更 し て 利 用 しを良品または不良品の2 つに分類するため，MobileNetV22）た ． 具 体 的 な 変 更 内 容 と し て， 瓦 の 良 否 判 定 ML モ
における分類数を 2 つに変更した点が挙げられる．
デルは画像を良品または不良品の 2 つに分類するため，2.3.1.6 ML モデルの評価
MobileNetV2 における分類数を 2 つに変更した点が挙げら
ML モデルの構築後，ML モデルの性能評価を実施する．テれる．
ストデータを利用して出力した ML モデルの判定結果とラベルが一致する割合を評価指標とする方法がある．この評項目
項目

表３ 画像データ分割結果
表 3 画像データ分割結果
テスト
検証
訓練
訓練
検証
テスト
データ数
データ数 データ数
データ数 データ数
データ数
［枚］
［枚］
［枚］
[枚]
[枚]
[枚]

合計
合計
［枚］
[枚]

良品画像
良品画像

22022075757575370370

不良品画像
不良品画像

8484

25252525134
134

図 4 前処理手順
図４ 前処理手順

図 5 良品画像の前処理実施例
図５ 良品画像の前処理実施例

価指標は一般的に正解率と呼ばれる．
2.3.1.6 ML モデルの評価
瓦の良否判定 ML モデルの性能評価においては，表 3 でML モデルの構築後，ML モデルの性能評価を実施する．
示したテストデータに対して，図 4 で示した前処理を実施
テストデータを利用して出力した ML モデルの判定結果として利用した．ラベルは 2.3.1.3 で付与したラベルを利用
ラベルが一致する割合を評価指標とする方法がある．このした．評価指標として正解率を利用した．
評価指標は一般的に正解率と呼ばれる．
2.4 瓦の良否判定機能のシステム要件検証
瓦の良否判定 ML モデルの性能評価においては，表 3 で2..1..3 で述べたシステム要件を満たすかどうかを検証す示したテストデータに対して，図 4 で示した前処理を実施る方法として，2..2 で述べた画像処理システムの構成で，して利用した．ラベルは 2.3.1.3 で付与したラベルを利用し瓦の良否判定機能の実行速度を計測する方法を用いた．実た．評価指標として正解率を利用した．
行速度の計測は，図 2 に示す 2 重線の処理を対象とした．
2.4 瓦の良否判定機能のシステム要件検証具体的な計測方法として，図 2 における「良否判定対象画2.1.3 で述べたシステム要件を満たすかどうかを検証する像あり？」の処理前の時刻と，図 2 における「良否判定結方法として，2.2 で述べた画像処理システムの構成で，瓦果の出力」の処理後の時刻を取得し，処理後と処理前の時の良否判定機能の実行速度を計測する方法を用いた．実行刻の差を算出する方法を採用した．時刻の取得方法として，速度の計測は，図 2 に示す 2 重線の処理を対象とした．具プログラミング言語である Python の Time モジュールを利体的な計測方法として，図 2 における「良否判定対象画像用した 3)．また実行速度の計測回数として，図 2 に示す 2あり？」の処理前の時刻と，図 2 における「良否判定結果重線の処理を 100 回繰り返し実行して計測することとした．の出力」の処理後の時刻を取得し，処理後と処理前の時刻
図 2 における「瓦の良否判定 ML モデル読込」の処理は計の差を算出する方法を採用した．時刻の取得方法として，測対象外とした．計測対象外とした理由として，画像処理プログラミング言語である Python の Time モジュールを3）システムにおける瓦の良否判定
ML モデルの読込みは，瓦利用した ．また実行速度の計測回数として，図 2 に示すの検査工程の製造ライン稼働前に実行が可能であり，シス2 重線の処理を 100 回繰り返し実行して計測することとしテム要件の対象外となるためである．
た．
本節で述べた計測方法および計測回数で実行速度を計
図 2 における「瓦の良否判定 ML モデル読込」の処理は測し，処理時間が 1.5 秒未満であるかを確認することで，計測対象外とした．計測対象外とした理由として，画像処- 15 -―15―

島根県産業技術センター研究報告第60号

理システムにおける瓦の良否判定 ML モデルの読込みは，（2024）
表4

瓦の検査工程の製造ライン稼働前に実行が可能であり，シ項目ステム要件の対象外となるためである．

ML モデルの評価結果

テストデータ数 ML モデルの［枚］

正答数［個］

正解率［%］

本節で述べた計測方法および計測回数で実行速度を計測

良品画像

7575100

し，処理時間が 1.5 秒未満であるかを確認することで，瓦不良品画像

2525100の良否判定機能がシステム要件を満たすかどうかを検証した．

3. 結
3.1

果

瓦の良否判定機能の構築および評価結果

2.3.1.6 で述べた ML モデルの評価について，評価結果を
表 4 に示す．表 4 に示すとおり ML モデルにおける正解率は 100% であり，構築した ML モデルは全テストデータに対して正しく良否判定できたことがわかる．従って構築した瓦の良否判定 ML モデルは，瓦の良否を適切に判定できることが確認できた．
3.2

瓦の良否判定機能のシステム要件検証結果

瓦の良否判定機能の実行速度計測結果を図 6 に示す．図6 において，システム要件となる 1.5 秒を示すため，補助線として破線を付記している．図 6 より，実行速度計測 1回目の速度は 16.0 秒であり，システム要件として許容される時間を上回っていることがわかる．一方で，実行速度
計測 2 回目以降の速度はシステム要件を満たすことがわかる．実行速度計測 1 回目の実行速度が 16.0 秒となった理由として，速度計測時における SBC の処理が挙げられる．
具体的には，ML モデルが判定の中間結果を格納するためのメモリ領域の確保等，SBC における初期化処理が実施されたためである．従って，SBC における初期化処理実図６

施後という条件下であれば，瓦の良否判定機能はシステム瓦の良否判定機能の実行速度計測結果要件を満たすことが確認できた．
3.3

謝まとめ

辞

瓦の検査工程の自動化を目的として，筆者らは瓦の良否

本資料における瓦の良品画像および不良品画像は，株式を判定する画像処理システムを構築した．構築した画像処

会社丸惣からご提供いただいた．ここに記して謝意を表し

理システムについて，瓦の良否判定機能の性能評価，およます．

び検査工程において許容される時間内に処理を完了させる文というシステム要件を満たすかを検証した．結果として，献構築した画像処理システムは瓦の良否を適切に判定し，か１）NVIDIA Corporation. Jetson Nano 開発者キット．https://つ SBC における初期化処理後という条件下であれば，シwww.nvidia.com/ja-jp/autonomous-machines/embedded-ステム要件を満たすことが確認できた．なお SBC における初期化処理は，製造ライン稼働前に実行し完了させておsystems/jetson-nano-developer-kit/．
（参照 2023-7-13）．
２）Mark, Sandler; Andrew, Howard; Menglong, Zhu; Andrey,Zhmoginov; Liang-Chieh, Chen. "MobileNetV2: Inverted

くことが可能であるため，製造ライン稼働中にはシステム

Residuals and Linear Bottlenecks". IEEE/CVF Conference

要件を満たして運用することができる．

on Computer Vision and Pattern Recognition. Salt Lake今後の課題として，表 1 の機能項目である瓦画像の撮影機能を構築し，2.1.3 で述べたシステム要件を満たすかどう

City, Utah, USA, June 18-23, 2018, IEEE, 2018，p.4510-4520.
３）Python Software Foundation. Time access and conversions．
https://docs.python.org/3/library/time.html. （accessedかを検証することが挙げられる．

2023-7-13）．

- 16 -