技術資料＞ディープラーニングを用いた丸棒鋼本数カウント技術の開発

85

技術資料
Technical Data

ディープラーニングを用いた丸棒鋼本数カウント技術の開発
木全謙太＊，吉田たける＊

Development of Bar Counting Inspection Technology for Bundled
Round Steel Bars by Using Deep Learning
Kenta KIMATA and Takeru YOSHIDA
Synopsis
Specialty steels are used in parts for automobiles, aircraft, and other industrial machinery. Since each steel grade has different
characteristics, identification control in special steel production lines is important. One example of identification control iscounting the number of bundled round steel bars. To count the number, it is important to count without excess or deficiency.
Conventionally, operators count visually, but this method may cause errors due to human error. To solve this problem, wedeveloped an image processing method for counting the number of bundled round steel bars using a camera, bar lighting, and AItechnology.

1．緒言

打刻は一部を除いて 2 次元バーコードへの切り替えが進み，自動で識別管理が可能な体制が整ってきている．一大同特殊鋼㈱（以下，当社という）では，構造用鋼，方で，製造数量の確認は作業者の目視によるカウントで快削鋼，軸受鋼，ばね鋼，ステンレス鋼などの多岐に渡対応しているケースが多く，自動化が求められている．

る特殊鋼を製造している．特殊鋼は鋼種ごとに有する特製造数量の確認の例としては，丸棒鋼の製造ラインにお性が大きく異なり，自動車，航空機をはじめ，各種産業

ける本数カウントがある．本数カウントは，丸棒鋼を前での重要部品として使用されるため，その製造過程で鋼工程から受け入れる際や，次工程へ払い出す際に，上位種を特定する識別管理は極めて重要である 1）．これら工から指示される正解本数と照合する作業である．本作業場内で管理される特殊鋼は，一見するとほとんどが同じは，整列された状態もしくは結束された状態（以下，結色や形をしており，その違いを外観から見分けることは束状態という）でコンベアによる搬送中に実施され，整難しい．そこで，当社では各製造過程で，製品を個体ご列された状態の場合は，ステレオカメラ法による 3D 形とに識別記号を打刻する方法や，2 次元バーコードを付状測定を用いた手法 2） により，本数カウントの自動化与する方法，もしくは製造ロットごとに製造予定の数量が進んできている．しかし，結束状態ではいまだ作業者と実際の製造数量が合致するかを確認する方法などを適の目視によるカウントで対応しているため，本数を実際用し，識別管理を実施している．近年では，識別記号のよりも過剰に検出する場合（以下，過検出という）や，2023年 9月 28日 受付＊ 大同特殊鋼㈱技術開発研究所（Corporate Research & Development Center, Daido Steel Co., Ltd．
）

電気製鋼 第 94 巻第 2 号 2023 年

86

少なく検出する場合（以下，見逃しという）が懸念される．そこで本稿では，結束状態の丸棒鋼における自動本数カウント方法について報告する．
結束状態の丸棒鋼を自動でカウントする手法としては，計測重量から本数を予測する方法や，鋼材の端面をカメラで撮像して解析する画像処理法が挙げられる 3）．
しかし，計測重量による方法は寸法公差による重量ばらつきの影響を受けやすく，結束される丸棒鋼の本数が多い状況では，高い予測精度を得るのが困難である．一方

2.

2

照明

製造ラインの制約上，照明から鋼材端面までの距離が1 m 以上ある状態で均一に鋼材端面を照射するため，挟角配光形のバー照明をカメラの周囲に 90 °ごと 4 つの面に計 6 台配置した．エリアカメラと照明の位置関係をFig. 1 に示す．
Bar lighting

Bundled round steel bars

で，画像処理法では寸法公差の影響を受けにくいが，丸棒鋼の端面状態により発生する輝度のバラつきが予測精度に影響するため，その発生抑制もしくは影響を受けにくい画像処理方法の開発が課題である．
そこで，本稿では輝度のバラつき影響を受けにくい本
数カウント手法について，下記 3 点の検討結果を述べる．また，開発仕様を Table 1 に示す．
（1）画像処理による検討（2）Deep Learning による検討（3）Deep Learning の実用化に向けた取り組み

Fr ont vi ew

CameraSi de vi ew

Fig. 1. Image-acquisition method for counting bundled
round steel bars.

2. 3 画像処理による本数カウント方法
Fig. 1 に示す構成で撮像した画像に対して，以下のス

Table. 1. Development Specification.

テップで本数カウントを実施することとした．次項に主Targetな処理内容の説明と実施例を Fig. 2 に示す．

Bundled round steel bars

Number of pieces
per bundle

2 - 100

Material diameter25≦φ≦85 mm

Condition of steeledge surface affecting
brightness variation

Surface roughness, With orwithout a label, Painted ornot, Sloping end face

Target inspection time
per bundle

Less than 0.5 sec［Step1］検査範囲の画像切出し［Step2］大津の二値化処理 4）による鋼材領域の検出［Step3］検出した鋼材領域に対し距離変換を適用［Step4］閾値処理によるノイズ除去［Step5］ラベリング処理による鋼材本数の算出

Target counting accuracy 100 %Cropped image

2．画像処理による検討

Otsu
binarization

ラ，照明，画像処理部の三要素から構成される．

2.

1カメラ結束状態の丸棒鋼の撮像は，鋼材端面の中心部が撮像中心となるように配置したエリアカメラ 1 台で実施する．エリアカメラの仕様は，丸棒鋼との距離関係や，撮像に必要な視野サイズ（幅 950 mm ×高さ 710 mm）から 2592 × 1944 画素とした．

2

13

まず，画像処理によるカウント方法を検討した．一般に，金属表面を対象とした画像処理システムは，カメ

Euclidean distancetransform

Thresholding

4

Connected component
labeling

Fig. 2. Conventional image processing procedures.
Step2 で検出した鋼材領域が正解の鋼材領域か否かの判断には，鋼材領域が円形状であることに着目し，Step3 にて Fig. 3 と式（1）に示すユークリッド距離による距離変換 5） を実施した．距離変換は，入力として与えた 2 値（0，1）画像の各画素について，そこから最87

技術資料＞ディープラーニングを用いた丸棒鋼本数カウント技術の開発も近い 0 画素への距離を求める処理である．これにより，検出した鋼材領域の形状的な特徴が各領域の最大距Table. 2. Counting results by Image processing.
OK離として出力される．そして Step4 にて，Step3 で求めた各領域の最大距離が，通材予定の丸棒鋼の出力する距離と合致するかを確認することで，検出した鋼材領域が正解の鋼材領域かを判断している．

ΔΔ00000000000 0 0 0 0 0 00 0 1 1 1 0 00 1 1.4 2 1.4 1 0
1 1.4 2.2 2.8 2.2 1.4 1
1 2 2.8 3.6 2.8 2 1
1 2 2.8 3.6 2.8 2 11 1.4 2.2 2.8 2.2 1.4 10 1 1.4 2 1.4 1 00 0 1 1 1 0 00 0 0 0 0 0 00000000000(a) Euclidean distance (b) Euclidean distance between
in two dimentions
each pixel and the nearest
backgroundNumberof images(Number matching)(Number not matching)

NG

Total

4023

1854208

Counting accuracy = 4023 ÷ 4208 = 95.6 %Table 3. Example of image processing results.
Input image

2. 4 本数カウント結果
画像処理法による正解本数と予測本数の一致率（以下，カウント精度という）の算出結果を Table 2 に示Distancetransform

ResultOK(20 = 20)

Correct number20

Predicted number20NG(54 ≠ 44)

Fig. 3. Euclidean distance transform method.

（1）

Otsu
binarization

Correct number
Predicted number
Overlook
Lack of detection
5444

3．Deep Learningによる検討
近年，高い物体認識力を持つ Deep Learning を，複雑す．4208 枚の画像に対する正解数は 4023 枚となり，画な鉄鋼製造プロセスや，材料開発の評価プロセスに適用

画像処理法による本数カウント例を Table 3 に示す．正は，U-Net 9）によるセマンティックセグメンテーション

像処理によるカウント精度は 95.6 % であった．また，するための検討が進められている 6）～ 8）．例えば原田ら 7）

解本数と予測本数が不一致となった画像を確認した結を適用し，鉄鋼の組織写真中の輝度や形状，テクスチャ果，Table 1 で示したように鋼材端面の状態が，表面粗など，複数の特徴を考慮した，畳み込み層での特徴マッ度，ラベルの有無，塗装の有無，面取りによる傾斜の有プから，二相の組織の違いを画素単位で識別している．

無など種々あるため，輝度のバラつきが想定よりも大きまた，Chen ら 8） は，Mask R-CNN 10） によるインスタン

く，大津の二値化で検出する鋼材領域が一部欠落し，距スセグメンテーションを適用し，鉄鋼の組織写真中の複離変換後の閾値処理でノイズとして除去されることで，数ある相の違いを画素単位で分類し，さらに同じ種類で見逃しが発生していた．大津の二値化は，輝度値のヒも個体ごとに分割して識別している．インスタンスセグ

ストグラムが双峰性をなすことを前提とした統計的な手

メンテーションは，画像内の物体を種類ごとに分割する法のため，画像全体の輝度変化には対応できるが，同じセマンティックセグメンテーションと異なり，同じ種類画像内で局所的に輝度変化するものには対応できない．

でも個体ごとに分割するため，画像中の隣接した丸棒鋼

よって，従来の画像処理ではこれらすべてに対応して鋼に対して，物体間の境界を区別して各鋼材領域の検出が材領域を検出することは難しい．正解本数と予測本数が可能な手法である．そこで，本稿では画像処理法の課題

不一致の場合は，作業者の目視によるカウントで対応すであった輝度のバラつきによる鋼材領域の欠落に対し，る必要がある．そこで，さらなるカウント精度の向上に

Mask R-CNN によるインスタンスセグメンテーション

向け，Deep Learning による本数カウントを試みた．

を，Step2 の二値化処理に適用することで，カウント精度の向上を試みた．使用したモデルの構造は Fig. 4 のとおりである．

電気製鋼 第 94 巻第 2 号 2023 年

88

Fully connected layer

Pre-trained

COCO data set

RPN

Bounding box
regressor
RoI align

Feature map

ResNet50
Convolutional Feature pyramidbackbone
network

Conv1(3×3×256)
Conv2(3×3×256)
Conv3(3×3×256)
Conv4(3×3×256)
deconv(2×2×256)
Conv5(1×1×1)

deconv1(512×512×2048)
deconv2(128×128×512)
deconv3(128×128×512)
deconv2(64×64×256)

Conv1(7×7×64)
Conv2(64×64×256)
Conv3(128×128×512)
Conv4(128×128×512)
Conv5(512×512×2048)

Our data set

Classes

Output mask
Mask

Mask headFig. 4. Mask R-CNN architecture.

3.

1

Deep Learningの学習

Mask R-CNN の学習には，Table 4 に示すように画像

3.

2

鋼材領域の検出精度評価

Mask R-CNN における鋼材領域の検出精度を，人間がデータを学習用，評価用，テスト用データセットに分割教示した正解画像と出力画像の類似度から評価した．定して用いた． Microsoft COCO

量評価には 2 つの集合 A と B の類似度を表す，Jaccard11）

による事前学習済みの重みを初期値として利用し，独自の学習データによってindex 12）（以下，Ji という）と Dice index 13）（以下，Di とネットワーク全体を再度学習する転移学習により，重みいう）を用いた．本評価では，Mask R-CNN もしくは大を更新した．機械学習アルゴリズムの挙動を制御するハ

津の二値化で検出した鋼材領域と，正解の鋼材領域で類イパーパラメータ（学習率，バッチサイズなど）は，初似度を算出している．

期値を変化させながら評価用データセットにおける，鋼材領域の検出誤差が十分に小さくなる値に設定した．

（2）

Table 4. Calculation condition.

（3）

Model

Mask R-CNN

BackboneResNet50-FPN

Number oftraining data

120
Training: Validation = 100 : 20

Number oftest data

4208

Optimizer

Stochastic Gradient Descent (SGD)

Input image

Mask R-CNN における鋼材領域の検出精度を，前述のGround truth

画像処理と比較した結果を Fig. 5 に示す．なお，左から順に入力画像，正解画像，Mask R-CNN による出力画像，画像処理による出力画像である．この例における検出精度は Mask R-CNN で Ji = 0.935，Di =0. 966，画像処理

で Ji = 0.901，Di = 0.948 となり，どちらも Mask R-CNN

Mask R -CNN

Correct detection

Ji = 0.935, Di = 0.966

Otsu
binarization
Lack of detection

Ji = 0.901, Di = 0.948

Fig. 5. Comparison of detection accuracy in Mask R-CNN and Otsu binarization.

技術資料＞ディープラーニングを用いた丸棒鋼本数カウント技術の開発89が高い検出精度を示した．また，出力画像を比較するする直前で二値画像に変換される．このとき，過検出しと，鋼材領域の一部が欠損していた画像処理に対して，たラベルの領域は鋼材領域との区別がなくなり，かつ鋼Mask R-CNN は欠損なく，輝度のバラつきがある鋼材に材領域の方が常に大きいため，実質的にラベルの領域は対しても正確に領域を検出可能なこと示した．

鋼材領域に取り込まれて除去される．そのため，予測本

3.

3

数はラベルの過検出を除外した本数が出力される．この本数カウント結果

ように，本手法では Mask R-CNN の検出した鋼材領域テスト用データセットに対するカウント精度結果をに対し，形状や径，領域の重複などの識別ルールを適用

Table 5 に示す．その他の処理条件は変更せず，Step2 のして検証することで，本数カウントのロバスト性を向上た結果，カウント精度は 99.7 % であった．前述したとまた見逃し例では，画像奥側へ約 200 mm 凹んだ丸棒処理のみを大津の二値化から Mask R-CNN に切り替えさせている．

おり，画像処理によるカウント精度が 95.6 % であった

鋼が検出されていなかった．この原因は，凹んだ丸棒鋼ことから，Mask R-CNN を用いた本数カウントがより高が周囲に隠れて領域全体が検出されず，距離変換で出力精度であることを示した．

される距離が小さく，閾値の範囲外となり，ノイズとして除去されるためであった．この見逃しは，距離変換後

Table 5. Counting results by Mask R-CNN.
OKNG

4196

12Total(Number matching) (Number not matching)Numberof images

4208

Counting accuracy = 4023 ÷ 4208 = 95.6 %の閾値範囲を緩和することで解消されるが，同時にノイズによる過検出が発生するため，画像処理上での対応が困難である．今後はこの見逃し発生を抑制するため，製造ラインにて撮像直前の端面整列を実施する予定である．

4 ．D e e p L e a r nin g の実 用化に向けた取り組み

Mask R-CNN による本数カウント例を Table 6 に示す．

本表では Mask R-CNN による過検出例と，丸棒鋼の一部が隠れたことによる見逃し例を示す．過検出例では，
Mask R-CNN が検出した鋼材領域と重複して，端面に貼

これまで，Mask R-CNN を用いて高精度に本数をカられたラベルも鋼材領域として検出していた．これは，ウントする手法を提案してきた．しかし，本数カウン

訓練データに同形状で同サイズのラベルが貼られた丸棒

トを従来の画像処理から Mask R-CNN で代替し，現場鋼の画像が存在し，実質的にラベルの特徴も学習しているためであると考えられる．
Mask R-CNN で検出した鋼材領域は，距離変換を実施導入するためには，安定した動作，かつ高性能な GPU（Graphics Processing Unit）を搭載した PC が必要である．
しかし，複数ラインへの導入を見込む場合は導入コスト

Table 6. Example of Mask R-CNN results.
SampleInput image
Label

Mask R-CNNDistancetransform

Double detection

Correct detection

Thresholding

Over-detection
by deep learning

ResultOK(8 = 8)Correct number
8

Predicted number
8

Recessed in the backOverlookOverlook
due tohidden bars

NG(10 ≠ 9)
Correct number
10

Predicted number
9電気製鋼 第 94 巻第 2 号 2023 年

90が高額となる．そのため，安価で高性能な PC の選定と入力画像サイズは，2592 × 1944 画素から 4:3 のアス

Mask R-CNN の演算負荷を低減する工夫が必要である．

ペ ク ト 比 を 保 っ た ま ま，1296 × 972，864 × 648，648に向けた取り組みとして，Jetson AGX Xavier による高縮小した．なお，入力画像には画像縮小による影響が最

そこで，Mask R-CNN による本数カウント装置の実用化®

× 486・・・のように，元画像サイズに対して整数倍でも大きい，通材する中で最小径の丸棒鋼（入力画像サイ速化を検討した．
Jetson AGX Xavier® は，NVIDIA® 製 の GPU を 搭 載 しズが 2592 × 1944 画素の場合で，直径が 140 画素 / 本）たエッジコンピュータであり，高性能で低価格，かつ低に対して評価した．その結果を Fig. 6 に示す．検出精

消費電力なため，本数カウント装置の本番環境用としてTable 7. Production environment specifications.
PC

Jetson AGX Xavier®

OSUbuntu 18.04

次の 648 × 486 画素以下で急激に低下していることが分かる．これは，入力画像サイズを従来の 2592 × 1944 画素に対して 648 × 486 画素へと極端に縮小したことにより，丸棒鋼一本当たりの解像度が直径 140 画素から 35

Power consumption 30 W画素まで低下し，検出する鋼材領域が過剰に小さくなっ

Python 3.6.9
Pytorch 1.7.1
CUDA 10.2

Software

度は，両者の浮動小数点数で入力画像サイズが縮小しても，864 × 648 画素まではほぼ一定で推移しているが，選定した．本番環境の仕様を Table 7 に示す．

たことが原因だと考えられる．
また，処理時間は AMP の適用および入力画像サイズ

Jetson AGX Xavier® による Mask R-CNN を用いた本数カウントを現場導入するためには，画像 1 枚あたりのMask R-CNN による処理時間を 0.5 秒以下にする必要があり，要求処理時間内に収めるためには，処理速度の高速化が不可欠である．Mask R-CNN は，入力する画像サの縮小に伴い低下し，目標処理時間 0.5 秒以下を達成する条件の中で，AMP 適用後の 864 × 648 画素で検出精度が Ji = 0.92 と最も高く，高速化前の Ji = 0.935 とほぼ同等である．これにより，検出精度を維持しつつ，処理時間を 5.11 秒から 0.46 秒と，約 11 分の 1 まで低減することが可能となった．

イズに応じて大量のパラメータを調整するため，膨大5．結な浮動小数点演算が必要である．よって，高速化を実現するには，調整するパラメータ量を減らすべく，入力画

言

像サイズを縮小する，もしくは，演算で使用する浮動小

本稿では，結束状態の丸棒鋼における本数カウントに数点の桁数を減らすことが有効である．しかし，これ

対し，画像処理法および Deep Learning によりカウント

らの方法では扱う情報量の低下に伴う，Mask R-CNN にする手法と，実用化に向けた取り組みについて紹介しよる鋼材領域の検出精度の低下が懸念される．そこで，た．

Mask R-CNN の演算に対し，従来の単精度浮動小数点（1）機械学習の１つである Deep Learning（Mask R-CNN）数から，半精度浮動小数点数を用いる Automatic MixedPrecision （以下，AMP という）への変更と，Miraliev
14）ら15）のように入力画像サイズの縮小を試みながら，処（2）Mask R-CNNによる本数カウント装置の実用化に向
2592×1944

2592×1944

864×648Detection accuracy byJiと比較してカウント精度が向上した．
け，Jetson AGX Xavier®による演算を高速化する手理時間と Ji による検出精度の関係を調査した．
1.0を用いた鋼材領域の検出手法を提案し，画像処理法

0.8
0.6
0.4

Upper limit of target processing time

0.2
0.0

00.5

12

Single precision floating point
Half precision floating point

3Processing time per frame (s)45Fig. 6. Detection accuracy and processing time depending on AMP and input image size.

6技術資料＞ディープラーニングを用いた丸棒鋼本数カウント技術の開発法を提案し，AMPと入力画像サイズの縮小を適用することで，鋼材領域の検出精度を維持しつつ，処理時間を約 11分の 1まで低減した．
（文献）1）山田龍三：電気製鋼，77（2006），225．

2）高橋信幸，渡邊光，森山稔：電気製鋼，93（2022），29．

3）㈱みどり精密：特許第 5479385号（2014）．

4 ） 大 津 展 之： 電 子 情 報 通 信 学 会 論 文 誌 D， J 6 3 - D（1980），349．

5）P. E. Danielsson：Computer Graphics and Image
Processing，14（1980），227．

6）森大輔，湯藤隆夫，岡本有史：電気製鋼，90（2019），53．

7）原田絵美，森大輔：電気製鋼，93（2022），85．

8）D. Chen，D. Guo，S. Liu and F. Liu：Symmetry，12（2020），639．
9）O. Ronneberger，P. Fischer and T. Brox：U-Net:
Convolutional Networks for Biomedical Image
Segmentation，2015，（arXiv:1505.04597）．

10）K. He，G. Gkioxari，P. Dollár and R. Girshick：Mask
R-CNN，2017，（arXiv:1703.06870）．

11）T.-Y. Lin，M. Maire，S. Belongie，L. Bourdev，
R. Girshick，J. Hays，P. Perona，D. Ramanan，

C. L. Zitnick and P. Dollár：Microsoft COCO: Common
Objects in Context，2014，（arXiv:1405.0312）．

12）P. Jaccard：Bulletin de la Société Vaudoise des Sciences
Naturelles，37（1901），241．

13）L. R. Dice：Ecology，26（1945），297．

14）P. Micikevicius，S. Narang，J. Alben，G. Diamos，

E. Elsen，D. Garcia，B. Ginsburg，M. Houston，
O. Kuchaiev，G. Venkatesh and H. Wu：Mixed precision
training，2017，（arXiv:1710.03740）．

15）S. Miraliev，S. Abdigapporov，J. Alikhanov，
V. Kakani and H. Kim：Edge Device Deployment ofMulti-Tasking Network for Self-Driving Operations，
2022，（arXiv:2210.04735）
．

木全謙太

吉田たける

91