テーマ番号

1D04
和文

深層学習に基づく目視判定の自動化に関する研究

論文題目

指導教員
英文

氏名

長田 茂美 教授

A Study on Automated Visual Judgment Based on Deep Learning
2D1 -07 塩浜 健 (Takeru Shiohama)

Abstract

One of the industrial applications of deep learning is the automation of visual judgment in manufacturing and production.
Automation of visual judgment based on deep learning brings advantages such as efficiency of the judgment process and automationof feature engineering. However, in terms of the accuracy of visual judgment, there are some issues unique to deep learning which need
to be resolved. In this study, through the development of two visual judgment systems; (a) a semiconductor product defect inspection
system and (b) a concrete compaction judgment system, the following two issues are addressed: (1) the bias in the amount of data thatcan be acquired among the classes to be judged, and (2) the integration of information from different modalities that is useful for visualjudgment. Subsequently, we propose learning methods using data augmentation and Between-class Learning that can solve the issues(1) in the development of the system (a), and a deep learning model that can integrate the image data and the numerical data representing
its quantitative properties that can solve the issue (2) in the development of the system (b). Evaluation experiments of systems (a) and(b) using actual data were carried out, and their usefulness was confirmed.

Keywords deep learning, visual judgment, convolutional neural network, Between-class Learning, information integration．
1．はじめに
近年，深層学習が飛躍的な進歩を遂げ，さまざまな応用分野において優れた性能を発揮している．
深層学習の産業応用の一つに，製造・生産現場における目視判定の自動化がある．これまで，製造・生産現場における目視判定の自動化は，マシンビジョンやコンピュータビジョン技術によって進められてきたが，目視判定の対象となる画像から抽出すべき特徴の設計や判定基準となるパラメータ調整など，いわゆる特徴エンジニアリングを必要とし，自動化を推進する技術者にとっては大きな負担となっていた．
また，
複雑で高度な画像特徴の設計や抽出が要求される目視判定については，その自動化は難しく，依然として人間の目
視により行われている．これに対して，深層学習に基づく目視判定の自動化では，目視判定を含む検査工程などの効率化はいうまでもなく，目視判定に関わる熟練技術者などの人材不足の解消や判定基準の均一化，さらには，特徴エンジニアリングの自動化といった利点をもたらす．
しかしながら，一方で，判定精度の向上といった観点からの深層学習ならではの解決すべき課題もある．
一般に，深層学習に基づく目視判定の自動化，すなわち，深層学習に基づく自動外観検査などのタスクは，2 クラス/多クラスの分類問題として捉えることができる．たとえば，製品の良品/不良品の判定だけが要求される自動外観検査のタスクは，2 クラス分類問題であり，良品/不良品の判定だけでなく不良品を生み出した複数の要因の追究が要求されるタスクは，多クラス分類問題である．このような目視判定における 2 クラス/多クラス分類問題を深層学
習によって自動的に解くためには，
クラスごとに十分な数の学習データを取得することが不可欠となる．
しかしながら，製造・生産現場の目視判定では，たとえば，製品の不良品の発生頻度は良品に比べて極端に低いことから，
クラス間で取得できる学習データ数に極端な偏りが生じ，クラスによっては十分な数の学習データが取得できないという目視判定に特有の課題がある．以下では，これを「データの不均衡」の課題と呼ぶことにする．また，熟練技術者の経験に基づく目視判定では，
目視判定対象の視覚情報のみならず他の感覚情報や属性情報などの異種情報も含めて総合的な判定を行っている場合もある．
このような目視
判定の自動化にあたっては，
視覚データと異種データとをいかに深層学習により統合すべきかが重要な課題となる．
以下では，これを「異種データの統合」の課題と呼ぶことにする．
本研究では，これらの「データの不均衡」および「異種データの統合」の課題に着目し，深層学習に基づく目視判定の自動化の試みとして，目視判定の自動化を推進する技
術者による特徴エンジニアリングの自動化および精度向上を目指す「半導体製品の外観検査」と，これまでの熟練技術者の経験に基づくコンクリート表面状態の目視判定の代替を目指す「コンクリートの締固め判定」の 2 つのシ
ステムを採り上げ，
システムの判定精度向上の観点から解決すべき具体的な課題を明確化した上で，その課題解決に向けた手法を提案するとともに，実用的なシステムを実現することを目的とする．
深層学習に基づく「半導体製品の外観検査」システムにおいては，「データの不均衡」の観点から，発生頻度に大きな偏りのある半導体製品の外観画像（良品/不良品デー
タ）に基づいていかに高精度な判定を実現するかが重要な
具体的課題となる．本研究では，画像の回転やガンマ補正
によるデータ拡張や Between-class Learning(BC learning)[1]を用いた深層学習モデルの学習手法を提案し，実データを用いた評価実験により有用性を実証する．
一方，深層学習に基づく「コンクリートの締固め判定」
システムにおいては，「異種データの統合」の観点から，コンクリート表面の視覚情報に加えて，熟練技術者の感覚的な判断の要因となる属性情報も取り扱える深層学習モデルの構築が重要な具体的課題となる．本研究では，コンクリート表面を撮影した動画データとフレッシュ性状等の数値データとを統合的に学習および実行（締固め判定）
できる深層学習モデルおよびシステムを提案し，実データを用いた評価実験により有用性を実証する．

2. 関連研究2 クラス分類問題における「データの不均衡」の課題に対しては，正常（良品）データのみを学習しておいた自己符号化器(Autoencoder, AE)を用いて，異常（不良品）デー
タを検知する異常検知手法[2], [3], [4]が提案されている．AEはエンコーダ部とデコーダ部からなるニューラルネット
ワークモデルであり，
入力データそのものを教師データとするいわゆる教師なし学習によって，エンコーダ部で入力
データを次元圧縮して表現し，デコーダ部でその圧縮表現
から元の入力データを復元するように学習することができる．したがって，学習済みの AE に入力される未知のデテーマ番号

1D04

ータが正常データであれば，AE は入力データそのものを復元できるが，異常データであれば，入力データからかけ離れたデータが復元されることになる．この学習済み AEの性質を利用して，入出力データの差異に着目した正常（良品）/異常（不良品）データの判定を実現しようというのが，これらの手法の基本的な考え方である．これらの手法は，正常（良品）/異常（不良品）データの 2 クラス分類問題には適用できるが，複数の異常（不良品）データの種類も特定する必要があるような多クラス分類問題に適用することはできない．
多クラス分類における「データの不均衡」の課題に適用可能な学習手法として，弱教師あり学習[5]，半教師あり学
習[6]などがある．弱教師あり学習の一種である半教師あり
学習は，人手によるラベル付けコストを削減するために，
少数のラベル付きデータにより学習した分類器を用いて未知データを分類し，その分類結果を正解ラベルとして付与することで，大量のラベルなしデータを学習に活用することを可能とする．
インターネットからの画像の収集など，
大量のデータを収集することができる場合には有効であるが，製造・生産現場における目視判定など，ラベルなし
データであっても少数のデータしか取得できない場合には，半教師あり学習を適用することは難しい．
2 クラス/多クラス分類問題の目視判定のいずれにも適用できるより一般的な手法として，回転，拡大・縮小などのアフィン変換や，輝度，コントラスト変化などの画像変換によるさまざまなデータ拡張がある．
これらのデータ拡
張手法は，学習データの多様性を疑似的に水増しすることで，結果的には十分に多くの学習データを確保し，「デー
タの不均衡」の課題に対処できる．また，近年では，より洗練された高度なデータ拡張手法といえる mixup[7]や BC
learning が提案されている．これらの手法は，学習に用いる 2 つのデータをランダムな比率でデータを合成し，onehot ベクトルで表現した正解ラベルについてもその比率で合成したラベルを正解ラベルとして，
データ拡張を行う手法である．特に，BC learning では，異なるクラス間の 2 つのデータを合成することで，クラス間の決定境界付近のデータを生成することができることから，
それらのデータを学習することによって，高精度な分類が期待できる．
一方，「異種データの統合」の課題に対しては，目視判
定で中心的な役割を果たす画像データとそれ以外の異種データとを統合する深層学習モデルや手法が提案されている．Kiros らの研究[8]では，画像データの処理に適した深層学習モデルである畳み込みニューラルネットワーク(Convolutional Neural Network, CNN)と，テキストなどのシーケンスデータの処理に適した深層学習モデルである
LSTM(Long Short-Term Memory)を用いて，画像データおよびテキストデータの各々から特徴抽出を行い，抽出した特徴を共通の特徴空間上にマッピングすることで，画像デー
タとテキストデータとの異種データの統合を実現している．また，林らの研究[9]では， LSTM に畳み込み演算を取り入れることで時系列情報に加えて空間的な情報を扱うことのできる Convolutional LSTM(ConvLSTM)を用いて，複数の要因（説明変数）の時空間データから目的変数の時
空間データを予測する問題において，ConvLSTM の入力となる複数の要因の時空間データを 1 枚の多チャンネルの画像として扱うことによって，複数の要因からなる異種の時空間データの統合を実現している．この手法は，複数の要因からなる時空間データを 1 枚の多チャンネルの画像に変換するだけで，既存の深層学習モデルをそのまま用いることができるため，非常に簡単に異種データを統合できるという利点があるが，あくまでも複数の異種データを多チャンネルの画像として均一の特徴抽出を行うために，

Kiros らの手法のように，各々の異種データに適した特徴抽出を行うことができないという欠点がある．

3．本研究のアプローチ
本研究では，
深層学習に基づく目視判定の自動化システ
ムとして，「半導体製品の外観検査」および「コンクリー
トの締固め判定」の 2 つのシステムを採り上げ，これらの実用的なシステムの開発を通して，「データの不均衡」および「異種データの統合」の課題解決を試みる．
「半導体製品の外観検査」システムにおいては，「データの不均衡」の観点から，発生頻度に大きな偏りのある半導体製品の外観画像データ（良品/不良品データ）に基づ
いていかに高精度な判定を実現するかが重要な具体的課
題となる．
一方，深層学習に基づく「コンクリートの締固め判定」
システムにおいては，「異種データの統合」の観点から，コンクリート表面の視覚情報に加えて，熟練技術者の感覚的な判断の要因となる属性情報をも取り扱える深層学習
モデルの構築が重要な具体的課題となる．
以下では，「半導体製品の外観検査」および「コンクリートの締固め判定」の 2 つのシステムにおいて，これらの具体的課題を解決するための深層学習モデルおよび学習手法を提案し，実データを用いた評価実験により，それらの有用性を実証する．

4．半導体製品の外観検査
近年，工業製品の製造・生産工程における外観検査は，マシンビジョン，コンピュータビジョン技術によって自動化されてきている．しかし，製品の外観画像から抽出すべき特徴の設計や検査基準となるパラメータ調整など，外観検査の自動化を推進する技術者の負担は大きく，また，複雑で高度な画像特徴の設計や抽出が要求される目視判定
ついては，既存の画像処理手法/システムによる外観検査の自動化は難しい．外観検査における不良品の見逃しは，不良品の出荷，品質の低下を招く恐れがあるため，外観検査の一部は依然として人間の目視によって行われている．
当研究室では，深層学習を用いることで，画像特徴の設計および抽出を自動化し，半導体製品が良品であるか不良品であるか，不良品であれば，さらにその不良品を生み出す要因を特定するために，不良品の種類を判定する外観検査システムの構築を行ってきた[10]．昨年度に開発した外観検査システムは，高精度な良品/不良品の判定は実現できているが，
複数の不良品のクラスの判定精度はまだ不十分であった．半導体製品の外観検査においては，不良品の発生頻度がきわめて低く，深層学習に用いることのできる
不良品の画像数が良品の画像数と比べると極端に少ないという，半導体製品の外観画像（良品/不良品データ）の「データの不均衡」の課題が，この外観検査システムの判
定精度の向上を阻害する大きな要因となっている．
ここでは，「データの不均衡」の課題解決の観点から，半導体製品の外観検査システムの判定精度の向上を図る
ため，画像の回転やガンマ補正によるデータ拡張や BC
learning を用いた深層学習モデルの学習手法を提案し，実データを用いた評価実験により有用性を実証する．

4.1 システム概要
図 1 に，本研究で対象とする「半導体製品の外観検査」
システムの概要を示す．本システムは，半導体製品の外観画像が入力されると，その製品が良品/不良品のいずれであるか，さらに，不良品であれば不良品を生み出す要因を特定するための典型的な 4 種類の“汚れ”
，
“傷”
，
“打痕”
，
“捺印ずれ”のクラスのいずれかに判定する．良品/不良テーマ番号

1D04

品の判定だけでなく，不良品を生み出す要因を特定するための判定も行うのは，その不良要因を特定することができ
れば，製造ラインが抱える問題箇所の特定が容易になり，製造ラインの改善に活かすことができるからである．
本シ
ステムでは，
深層学習モデルとして画像認識分野で広く利用されている CNN を用い，あらかじめ半導体製品の外観
画像と“良品”を含めた 5 種類の判定クラスの対応関係を学習させておくことによって，未知の半導体製品の外観画像が入力されると，5 種類のクラスのいずれかに判定した結果が出力される．

4.2 提案手法
判定クラス間で発生頻度に大きな偏りのある半導体製品の外観画像（良品/不良品データ）の「データの不均衡」の課題を解決するために，本研究では，画像の回転やガンマ補正によるデータ拡張と少数データからの学習においても有効と考えられる BC learning を用いた深層学習モデ
ルの学習手法を提案する．
BC learning とは，クラス間の決定境界を明確化するための一種のデータ拡張手法であり，図 2 に，その概要を示す．BC learning では，学習データの画像を基に，互いに異なるクラスの画像 2 枚をランダムな比率で合成し，正解
ラベルも同じ比率で合成することによって，画像（特徴）が混ざり合った新たな画像と正解ラベル，すなわち，学習データを生成することができる．したがって，BC learningを適用すれば，クラス間の決定境界付近に位置する学習データも生成できるため，5 種類の良品/不良品クラス間の決定境界が明確化され，特に少数の学習データしか取得できない 4 種類の不良品クラスの判定精度の向上が期待できる．

4.3 評価実験
提案手法の有用性を確認するために，実際の製造現場の検査工程で収集した半導体製品の外観画像のデータセッ
トを用いて，
画像の回転やガンマ補正によるデータ拡張に加え，BC learning を適用した実験(a)と，データ拡張のみを適用し，BC learning を適用しない実験(b)における判定
精度の比較評価を行った．

図 3 各クラスの画像例
Fig. 3 Examples of images for each class．
表 1 各クラスの画像枚数
Table 1 Number of images for each class．
良品 汚れ 傷データ数 1286

511

178

打痕 捺印ずれ 合計
186

41

2202

表 2 外観検査のための CNN モデル
Table 2 CNN model used for visual inspection.

4.3.1 実験条件
半導体製品のロット番号が捺印された面を撮影した外観画像 2202 枚とクラス情報を紐付けした評価用データセットを作成した．図 3 に，各クラスの画像の一例を，表 1に，各クラスの画像枚数を示す．このデータセットには，発生頻度の関係から故意に作成した不良品の外観画像なども含まれている．このデータセットに対して，k-分割交差検証法(k=6)を適用し，4:1:1 の割合で学習，検証，テス
ト用データとして，評価実験を行った．表 2 に，外観検査システムで用いた CNN モデルの構造を示す．

4.3.2 実験結果

図 1 半導体製品の外観検査システム
Fig. 1 Overview of the visual inspection system.

表 3 に，評価実験の結果を k-分割交差検証の fold ごとの正解率(％)として示す．実験(a)は，実験(b)と比べて，
fold3 の正解率が若干下がったものの，k-分割交差検証の
平均正解率では 2.8%の向上がみられた．また，表 4 には，各クラスの F 値を示す．F 値についても，実験(a)は，実験(b)と比べて，“捺印ずれ”は同じ値であるが，それ以外の4 クラスではすべて向上している．このことから，BC
learning の適用によって，より的確な決定境界が学習できていることがわかる．また，良品よりも遥かにデータ数が少ない不良品クラスにおいて，
より顕著な精度の向上が見られることから，データ数の少ないクラスに対して特に有効であると考える．
以上の評価実験の結果より，半導体製品の不良品クラスのデータのように，
少数データしか取得できないクラスが存在する分類問題，すなわち，「データの不均衡」の課題解決において，提案手法の有用性が確認できたといえる．
表 3 評価実験結果
Table 3 Result of evaluation experiment.

図 2 BC learning を用いた学習データの生成
Fig. 2 Training data generation by BC learning.

BC fold1 fold2 fold3 fold4 fold5 fold6(a)◯ 92.1 90.5 90.5 94.6 92.3 93.4
(b)88.3 84.2 92.1 92.1 89.3 90.4(a)-(b)+3.8 +6.3 -1.6 +2.5 +3.0 +3.0

平均
92.2
89.4
+2.8

1D04

テーマ番号

表 4 各クラスの F 値
Table 4 F-score for each class.
(a)(b)(a)-(b)

BC
◯
-

良品

汚れ

傷

打痕

99.5 90.3 53.2 77.5
99.1 85.6 40.9 73.7
+0.4 +4.7 +12.3 +3.8

表 5 仮説検証実験Ⅰの結果
Table 5 Result of hypothesis verification experimentⅠ.

捺印ずれ

平均

98.7
98.7
0.0

83.9
79.6
+4.3

4.4 仮説検証実験
さらなる判定精度の向上を図るために，提案手法における BC learning の適用方法について検討を進め，評価実験の結果からある仮説を立てて，その仮説を検証するための仮説検証実験を行った．
表 3 の評価実験結果を見ると，唯一，fold3 の正解率は低下している．この原因として，実験(a)では，元々の学習データに BC learning を適用することで，異なるクラス間の学習データをランダムに混ぜ合わせて，すべての新たな
学習データを生成するため，実験(b)で用いたような元々の典型的な学習データの数が新たに生成された学習デー
タと比べて相対的に少なくなり，CNN モデルが各クラスの典型的な画像の特徴を捉えられなくなった可能性が考えられる．そこで，実験(b)の学習済み CNN モデルの重みを初期値とし，BC learning を用いて fine-tuning を行うことで，典型的な学習データの特徴は保持したままで，クラス間の決定境界を明確化できるのではないかという仮説を立てた．仮説検証実験Ⅰは，この仮説を検証するために行った実験である．

4.4.1 仮説検証実験Ⅰ
仮説検証実験Ⅰでは，評価実験の BC learning を適用した実験(a)と，BC learning を適用せずに学習した CNN モデル（実験(b)）の重みを初期値として，BC learning を適用
し fine-tuning を行った実験(c)の判定精度を評価した．
表 5 に，仮説検証実験Ⅰの結果を k-分割交差検証の foldごとの正解率(%)として示す．
実験(c)の fold3 の正解率は，
実験(a)と比べて，0.3%向上したものの，平均正解率に変化は見られなかった．
この原因として，学習の初期段階では，重みの初期値として，各クラスの典型的な画像の特徴を捉えてはいるものの，混ぜ合わせて生成した新たな学習デー
タによる学習が進むにつれて，元々，捉えられていた各クラスの典型的な画像特徴が失われているということが考えられる．そこで，BC learning を適用する際に，混ぜ合わせて生成し新たな学習データと，
元々の学習データの両方を用いて学習を進めれば，典型的な画像特徴と，各クラス間の決定境界付近の混ざり合った画像特徴の両方を学習することが可能となり，精度の向上が期待できるのではな
いかという仮説を立てた．仮説検証実験Ⅱは，この仮説を検証するために行った実験である．

4.4.2 仮説検証実験Ⅱ
仮説検証実験Ⅱでは，評価実験の BC learning を適用した実験(a)と，BC learning を適用する際に，元々の学習データの 8 割を混ぜ合わせて生成した新たな学習データ，2割を元々の学習データとして，両方の学習データを用いて学習を行う実験(d)の判定精度を評価した.
表 6 に，仮説検証実験Ⅱの結果を k-分割交差検証の foldごとの正解率(%)として示す．実験(a)では低下していた
fold3 の正解率が，実験(d)では，実験(a)よりも 1.9%向上している．同様に，fold2 でも，正解率が向上しているものの，fold1, 4, 5, 6 では低下している．この結果から，各クラスの典型的な特徴を捉えるのに有効な元々の学習デー
タと，クラス間の決定境界を明確化するのに有効な BC(c)(a)(c)-(a)fine-tuning fold1 fold2 fold3 fold4 fold5 fold6 平均◯
91.3 90.5 90.7 93.2 94.5 92.9 92.2
92.1 90.5 90.5 94.6 92.3 93.4 92.2
-0.8
0.0 +0.3 -1.4 +2.2 -0.5 0.0

表 6 仮説検証実験Ⅱの結果
Table 6 Result of hypothesis verification experimentⅡ.
(d)(a)(d)-(a)元データ fold1 fold2 fold3 fold4 fold5 fold6 平均◯
89.2 92.9 92.4 92.1 91.8 92.9 91.9
92.1 90.5 90.5 94.6 92.3 93.4 92.2
-2.9 +2.4 +1.9 -2.5 -0.5 -0.5 -0.4

learning によって新たに生成された学習データとの間には，判定精度に関して，
トレードオフの関係が存在することがわかる．
提案手法では，そのどちらを重視するかは，これらの学
習データの割合で決めることができ，対象とする分類問題に応じて適切な割合を設定することで，提案手法の有用性をより高められる可能性があるといえる．

5．コンクリートの締固め判定
コンクリートは，セメント，水，砂（細骨材）および砂利（粗骨材）で構成される．これらの材料を練り混ぜ，型
枠に打ち込み，バイブレータを用いた「締固め」によって充填し，湿潤状態に養生することでコンクリートの硬化の準備が整う．この締固めの程度や完了の判定は，従来から技術者の経験に基づく目視判定と感覚で行われており，このような判定方法は，コンクリートの品質のばらつきや品
質低下の一因となる懸念がある．
ばらつきのない判断指標
や生産性向上に向けた技術開発が求められている．
当研究室では，深層学習に基づくコンクリートの締固め
判定システムを提案および評価してきた[11]．その結果，締固め判定には，コンクリート表面の状態に加えて，コンク
リートがまだ固まっていない状態のフレッシュ性状も影響を及ぼしていることが明らかになってきた．
したがって，
システムのさらなる精度向上を目指すためには，
コンクリ
ート表面の撮影画像に加え，そのフレッシュ性状も考慮した判定，すなわち，「異種データの統合」の課題の解決が必須となる．
ここでは，「異種データの統合」の課題解決の観点から，高精度なコンクリートの締固め判定を実現するために，
コ
ンクリート表面の撮影画像データとフレッシュ性状等の数値データとを統合的に学習および実行（締固め判定）できる深層学習モデルおよびシステムを提案し，実データを用いた評価実験により有用性を実証する．また，システムの実用化の観点から，
リアルタイムに締固め判定を行う実
証実験を実施し，実際の施工現場での課題を調査する．

5.1 コンクリートの締固め
コンクリートの締固めは，振動や突きなどを与え，型枠の隅々まで行き渡らせるとともに，空隙を減らして密実にする行為である．締固め不足，過剰な締固めともに，コン
クリート構造物の設計時に想定する硬化後のコンクリー
トの品質を阻害する原因となるため，
適切な締固めを行う必要がある．
適切な締固め時間は，コンクリートの性状によっても大きく異なる．
フレッシュ性状はコンクリートがまだ固まっていない状態の性状であり，この性状を定量化する 1 つの試験として，図 4 に示すスランプ試験がある．スランプ

1D04

テーマ番号

図 4 スランプ試験
Fig.4 Concrete slump test.
とは，コンクリートが自重によって変形する下がり幅であり，スランプが大きいコンクリートは柔らかく，締固め時間が短くなる傾向にあり，逆に，スランプが小さいコンク
リートは固く，締固め時間が長くなる傾向にある．

完了するため，コンクリート表面全体ではなく，より小さな領域ごとに締固め状態を判定する必要がある．そこで，
図 7 に示すように，締固め映像のフレーム画像を 24 個のメッシュ領域に分割し，これらを締固め判定の対象領域とした．また，取得した映像すべてのフレーム画像(30fps)のメッシュ領域ごとに，3 名の技術者が判定した締固め完了の適正時間の平均に基づいて，［before］および［just］の正解ラベルを付与した．図 8 に，ラベル付きフレーム画像とそのフレッシュ性状データの一例を示す．
このようにして作成した 270×270 画素の画像，
および，スランプや空気量などの 5 種類のフレッシュ性状データ（5 次元ベクトル）が提案システムの入力となる．
表 7 締固め判定のための深層学習モデル
Table 7 Deep learning model for compaction judgment.

5.2 システム概要
図 5 に，提案システムの概要と深層学習モデルの構造を示す．システムへの入力は，締固め工程におけるコンク
リート表面の撮影映像のフレーム画像と，そのコンクリートのフレッシュ性状であり，出力は締固め未完了状態を表す[before]と締固め完了の適正状態を表す[just]の 2 クラスの尤度である．
提案システムでは，まず，コンクリート表面のフレーム
画像から Network In Network(NIN)[12]の MLP 畳み込み層(Multilayer Perceptron Convolutional Layer)によって特徴マップを抽出し，全結合層の 1 層目を通して m 次元の特徴
ベクトルに変換する．一方，フレッシュ性状データは複数のフレッシュ性状を表す数値を要素とする特徴ベクトルであり，全結合層の 1 層目を通して n 次元の特徴ベクトルに変換する．次に，これら 2 つの特徴ベクトルを(m+n)
次元の特徴ベクトルに連結し，全結合層の 2 層目に通すことによって，[before]と[just]の 2 クラスの尤度を得る．
予めシステムにフレーム画像およびフレッシュ性状デー
タと締固め状態との対応関係を学習させておくことで，入力されたフレッシュ性状をもつフレーム画像は尤度の高いクラスに分類される．
表 7 に，コンクリート表面のフレーム画像データとフレッシュ性状の数値データとを統合的に学習および実行（締固め判定）できる深層学習モデルの詳細な構造を示す．

5.3 評価実験
5.3.1 データの取得およびラベルの作成
提案システムの有用性を確認するために，照度等がほぼ一定の屋内環境下において，
フレッシュ性状の異なるコンクリートをバイブレータにより締め固める際のコンクリ
ート表面の映像を 10 本取得した．図 6 に，その映像の撮
影状況を示す．締固めはバイブレータの周辺から徐々に

図 5 コンクリートの締固め判定システム
Fig. 5 Overview of compaction judgment system．

図 6 撮影状況
Fig. 6 Shooting situation.

図 7 締固め判定対象領域（メッシュ領域）
Fig. 7 Target area for compaction judgment (mesh area)

1D04

スランプ スランプフロー 空気量 N式貫⼊量 電気伝導率
(mm)
(mm)
(%)
(mm)
(mS/cm)

197

277

3.8

173

メッシュ番号

テーマ番号

1.85
0

図 8 ラベル付きフレーム画像とフレッシュ性状データの一例
Fig. 8 An example of labeled frame images
and fresh property data.

500

1000

1500

2000

1500

2000

フレーム

(a)従来システム取得した 10 本の締固め映像から作成した[before] および[just]の 2 クラスのラベル付きフレーム画像とそのフレ
ッシュ性状データからなるデータセットに対し，6 本を学習用，2 本を検証用，2 本をテスト用データとして，k-分
割交差検証法(k=5) を適用し，提案システムと，フレッシ
ュ性状データは用いずにコンクリート表面のフレーム画
像のみに基づいて締固め判定を行う従来システム[11]との分類精度を比較評価した．

5.3.3 実験結果
表 8 に，k-分割交差検証結果を示す．fold ごとの正解率
は，fold1 で低下したものの，それ以外の fold2, 3, 4, 5 で向上し，k-分割交差検証の平均正解率は 5.6%向上した．また，図 9 に，正解率が 72.5%から 78.7%へと向上した fold5のテストデータの映像の内の 1 本の交差検証結果を示す．
この図より，[before]，[just]の境界付近から離れたフレー
ム画像の正解率が大幅に向上し，誤分類したフレーム画像が技術者でも判定が難しい[before]，[just]の境界付近に局在する傾向が現れてきていることがわかる．
以上の評価実験の結果より，コンクリートの締固め判定のように，判定対象の画像データだけでなく，その定量的性質を含めた総合的な判断が要求される分類問題，
すなわち，「異種データの統合」の課題解決において，提案モデ
ルの有用性が確認できたといえる．

メッシュ番号

5.3.2 評価方法

0

500

1000

フレーム

(b)提案システム

図 9 k-分割交差検証結果の比較（fold5）
Fig. 9 Comparison of k-fold cross-validation results (fold5).

5.4 仮説検証実験
さらなる判定精度の向上を図るために，評価実験において，唯一，正解率が 77.1%から 63.9%に大きく低下した
fold1 の分析を行い，その結果に基づいて仮説を立て，その仮説を検証するための仮説検証実験を行った．
図 10 に，fold1 の締固め映像 10 本に対する最も一般的なフレッシュ性状のスランプおよび空気量の分布を示す．
この図から，fold1 のテストデータの締固め映像の内の1 つのフレッシュ性状の分布が，学習データのフレッシュ
表 8 k-分割交差検証の結果
Table 8 Result of k-fold cross-validation.

図 10 フレッシュ性状の分布（fold1）
Fig. 10 Distribution of fresh properties (fold1).
性状の分布と大きく異なっていることがわかる．また，正解率が 72.4%から 75.7%へと比較的向上の幅が小さかった
fold4 についても，同様の傾向が見られた．このことから，
学習データとテストデータのフレッシュ性状の分布の異なりが判定精度の低下を招くとの仮説を立て，その検証実
験を実施した．
仮説検証実験では，
フレッシュ性状の分布が学習データと大きく異なる締固め映像がテストデータに含まれていた fold1，4 からそれらを除いて提案システムによる締固め判定を行い，
評価実験における判定精度と比較評価した．
表 9 に，仮説検証実験の結果を示す．fold1, 4 ともに，評
価実験よりも正解率が向上しており，
フレッシュ性状の分布の違いが判定精度を低下させる要因であるとの仮説を検証できた．したがって，さまざまなフレッシュ性状の締固め映像を拡充すれば，提案システムの判定精度の向上が図れるものと考える．

テーマ番号

1D04

表 9 評価実験および仮説検証実験結果の比較
Table 9 Comparison of evaluation and hypothesis verification
experiment results.

5.5 実証実験
提案システムの実用化の観点からの有用性を検証する
ために，実際の現場の締固め工程で活用するためのリアル
タイム判定システムを開発し，実証実験を行った．
図 11 に，
リアルタイム判定システムの概観を，
表 10 に，
リアルタイム判定システムで用いる PC の諸元を示す．
まず，締固め判定システムを搭載した PC で，コンクリ
ート表面の直上に設置したビデオカメラから締固め映像
をキャプチャし，締固め判定システムに入力する．次に，その判定結果を，キャプチャした映像にマッピングし，PC
モニタに表示することで，判定結果をリアルタイムに確認することができる．図 12 に，判定結果の一例を示す．
実証実験の結果，コンクリートの表面をメッシュ状に24 分割した判定領域の各々に対して，約 5 回/秒の判定を行えることが確認できた．
実際の締固め工程において必要とされる判定実行速度は約 1 回/秒程度であり，本リアル
タイム判定システムが，リアルタイム性という面で，十分に実用的であることが実証できた．また，実用化に向けた課題として，締固め判定が周囲の環境，特に，照明環境に強く影響されることがわかった．
十分でかつ一定の光量が保たれている場合には，比較的精度よく判定することができるが，照明を消した場合や，作業者の影などによる光量の変化が生じた場合には，
コン
クリート表面の状態に関わらず，
ほとんどのメッシュ領域
が締固め未完了[before]と判定された．この対策として，締固め判定システムの学習を実行する際に，ガンマ補正など
で輝度変化を生み出すデータ拡張を行うことで，輝度変化に対して頑健な締固め判定が実現できるものと考える．

図 11 リアルタイム判定システムの概観
Fig. 11 Overview of the real-time judgment system.
表 10 リアルタイム判定用 PC の諸元
Table 10 Specification of PC for real-time judgment.

OS
CPU
MemoryGPU

6．おわりに
本研究では，
深層学習に基づく目視判定の自動化システ
ムとして，「半導体製品の外観検査」および「コンクリー
トの締固め判定」の 2 つのシステムを採り上げ，これらの実用的なシステムの開発を通して，「データの不均衡」および「異種データの統合」の課題解決を試みた．
「半導体製品の外観検査」システムにおいては，「デー
タの不均衡」の課題解決の観点から，画像の回転やガンマ補正によるデータ拡張や BC learning を用いた深層学習モデルの学習手法を提案し，
実データを用いた評価実験により，有用性を実証した．
「コンクリートの締固め判定」システムにおいては，「異種データの統合」の課題解決の観点から，コンクリート表
面の撮影画像データとフレッシュ性状等の数値データとを統合的に学習および実行（締固め判定）できる深層学習
モデルおよびシステムを提案し，
実データを用いた評価実験により，有用性を実証した．
今後は，これらのシステムのさらなる精度向上や，実用化に向けた課題解決を図っていく予定である．
最後に，多大なるご支援をいただいている株式会社安藤・間の関係各位ならびに石川サンケン株式会社の関係各位に感謝いたします．

：[before]

Ubuntu 16.04 LTS
Core i7-9700
32GB
Geforce RTX2080：[just]

図 12 リアルタイム判定結果の一例
Fig. 12 An example of real-time judgment result.

参考文献[1] Yuji Yokozume, Yoshitaka Ushiku, Tatsuya Harada,“ Between-class Learning for Image Classification, ”
arXiv:1711.10284, 2017.
[2] Paul Bergmann, Michael Fauser, David Sattlegger, Carsten
Steger, “ MVTec AD -- A Comprehensive Real-World
Dataset for Unsupervised Anomaly Detection,”CVPR2019,
pp. 9592-9600, 2019.
[3] 峯誉明, 渡辺明, 國岡潤, 八田孝, 湯田誠, 馬野元秀,“オートエンコーダを用いた機械装置の異常検知,”第 35 回 フ ァ ジ ィ シ ステ ム シ ンポ ジ ウ ム, FD1-3,
2019.
[4] 郭家寧, 造酒裕貴, 藤田康寛, 切通恵介, 伊藤浩二,“オートエンコーダを用いた地震計の時系列異常検知, ”人工知能学会第 34 回全国大会, 4L2-GS-13-03,
2020.
[5] Munetaka Minoguchi, Ken Okayama, Yutaka Satoh,
Hirokatsu Kataoka,“Weakly Supervised Dataset Collection

テーマ番号

1D04

for Robust Person Detection,”arXiv:2003.12263, 2020.
[6] 鈴木哲平,“深層学習における半教師あり学習の最新動向,”SSII2020, OS2-03, 2020.
[7] Hongyi Zhang, Moustapha Cisse, Yann N. Dauphin, David
Lopez-Paz,“mixup: Beyond Empirical Risk Minimization,”
arXiv:1710.09412, 2017．
[8] Ryan Kiros, Ruslan Salakhutdinov, Richard S. Zemel,“Unifying Visual-Semantic Embeddings with Multimodal
Neural Language Models,”arXiv:1411.2539, 2014.
[9] 林政行, Rafik Hadfi, 伊藤孝行, “深層学習を用いたマ
ルチモーダル学習による降水量予測,”情報処理学会
第 78 回全国大会講演論文集, 4P-03, 2016.
[10] 池田雄馬, “深層学習による目視検査の自動化に関する研究,”令和元年度プロジェクトデザインⅢ公開発
表審査会予稿集, 1EP186, 2020.
[11] 塩浜健, 大森光一, 長田茂美, 林俊斉,“深層学習に基づくコンクリートの締固め判定システムの提案，”情報処理学会第 82 回全国大会講演論文集, 2U–08, 2020.
[12] Min Lin, Qiang Chen, Shuicheng Yan, “Network In
Network,” arXiv:1312.4400, 2014.

本研究に関する研究業績
1)

2)

3)

塩浜健, 大森光一, 長田茂美, 林俊斉,“深層学習に基づくコンクリートの締固め判定システムの提案，”情報処理学会第 82 回全国大会講演論文集, 2U–08, 2020.
林俊斉, 髙木亮一, 齋藤淳, 塩浜健, 長田茂美, “深層学習に基づくコンクリートの締固め自動判定システ
ムに関する研究, ” 精密工学会誌, 87 巻 2 号, 2021.
塩浜健, 平松奏哉, 山﨑晃平, 長田茂美, 林俊斉, “深層学習によるコンクリートのフレッシュ性状を考慮した締固め自動判定システム,” 動的画像処理実用化
ワークショップ DIA2021, 2021.