令和三年度 岐阜県生活技術研究所研究報告

No.24

家具製造現場におけるトレーサビリティ基盤技術の開発（第3報）
棚卸支援Webアプリケーションへの機械学習による画像認識の適用
森茂智彦*1，生駒晃大*2，山口穂高*1，藤巻吾朗*1
Basic Technology Development of Traceability in the Furniture Manufacturing Field (Ⅲ)
Applying Machine Learning to Inventory Support Web Application
MORIMO Tomohiko*1, IKOMA Akihiro*2, YAMAGUCHI Hodaka*1, FUJIMAKI Goroh*1
昨年度開発した木製家具製造業における部材の在庫数のカウントを支援するWebアプリケーションに、機械学習による画像認識機能を追加した。部材は製造現場の中で比較的数の多い丸棒とし、学習モデルにYOLOv5を用いて物体検出モデルを作成した。機能をアプリケーシ
ョンに実装し、実際の木製家具製造現場での丸棒部材の画像を用いて評価した結果、十分な認識精度が得られたため棚卸の効率化が期待できた。

1. 緒言
棚卸は企業の正確な利益の把握や在庫管理に必要な作業である。木製家具製造業において、丸棒のような部材は図1のように棚の中に規則的に並んでいるとは限らないため、数えている最中に数え終えたものとまだ数えていないものの区別が分からなくなったり、丸棒が転がり配置が変わることでやり直しとなったりすることがあるため、効率良く在庫数をカウントできることが求められている。
この課題に対して、前報では図2に示す棚卸支援
Webアプリケーションを開発した1)。部材棚の画像を撮影し、画像上の全ての部材をタップし印を付けることで、その印の数を部材の数とするものである。また、部材の数が多い場合にタップの労力を低減するため、画像認識により検出した丸棒に自動で印を付ける機能を実装した。作業者は目視により、未検出の部材へ印の追記と誤検出した印の消去のみ行えば良いため効率化を図れる。前報では画像認識にOpenCV.jsによるHough変換を用いた
ところ、部材によっては認識率が低く、修正するほうが労力のかかる場合があった。
そこで本報告では、画像認識精度を高め修正作業の負担を軽減することを目的として、機械学習──────────────────────
*1
試験研究部
*2
岐阜県産業技術総合センター 情報技術部

による画像認識を検討したので結果を報告する。

図1 丸棒部材の例

図2 アプリケーション画面

49

令和三年度岐阜県生活技術研究所研究報告

2.
2.1

No.24

物体検出モデルの作成

学習

学習モデルにはYOLOv5を用いた2)。YOLOv5は物体検出において定評のあるYOLO (You Look OnlyOnce) のバージョン5に相当する。
学習データには、実際に木製家具メーカの部材棚に格納されていた丸棒の画像を用いた。まず画像をグレースケール画像に変換した。グレースケール画像への変換式は式 (1) を用いた3)。
V=0.2126*R+0.7152*G+0.0722*B

・・・(1)

その後、グレースケール画像内の1,022個の丸棒にアノテーションを行い、さらにデータ拡張処理を行うことで5,702枚の画像データセットを作成した。画像データセットはランダムに学習用4,037枚、検証用1,168枚、テスト用497枚に振り分けた。
学習パラメータは認識解像度640×640、バッチサイズ8、Epoch数1,000とした。パラメータファイ
ルは、スマートフォンやタブレットでの使用を考慮し、最も軽量なYOLOv5s.yamlを用いた。
2.2

評価

学習を行った結果を図3に示す。
＜各項目の説明＞・Box：検出位置（ボックス）の正確さ

・Objectness：検出範囲内の物体の有無の信頼度
・Classification：クラス分類の信頼度、今回は丸棒1種類のみを検出するため空欄
・Precision：検出結果の中で正しく検出できた割
合・Recall：正解の総数に対し正しく検出できた割合
・mAP@0.5：正解位置とのIOU（ボックス同士の重なり比率）が0.5以上の検出結果を正解とした場合の全クラスに対するAP（物体検出の精度）の平均、今回は1クラスのためAP@0.5と同義
・mAP@0.5:0.95：IOUを0.5～0.95の範囲で0.05刻みに変化させた時のAPの平均から全クラスに対する平均を求めたもの、今回はAP@0.5:0.95と同義
Box、Objectnessは損失関数で計算された正解値と予測値の誤差で与えられ、学習が進むにつれて減少しているため、精度を高めながら学習できていることがわかる。また、検出用データに対する損失（val Box、val Objectness）もほぼ収束しているため過学習は見られなかった。
学習終了時の検証用データに対するPrecision，
Recall，mAP@0.5は0.993，0.992，0.996となり、十分な学習を行えていると判断した。
テスト用データに対して、検出結果同士の重なりを抑制するためのIOUによるしきい値を0.3として評価を行った結果を表1に示す。Precision，
Recall，mAP@0.5は0.996，0.998，0.997であり、問題なく検出できていることを確認した。

図3 学習結果50

令和三年度 岐阜県生活技術研究所研究報告

No.24

表1 テスト結果
項目結果Precision
0.996

Recall0.998

3. 画像認識機能の実装と評価
3.1機能の実装

棚卸支援Webアプリケーションに機械学習による画像認識機能を実装した。Webアプリケーションをローカル上でも動作させることを見据えて、機械学習のライブラリにはTensor Flow. js4)を用いた。オープンソースの機械学習ライブラリTensor
FlowのJava Script 版である。バージョンは3.0.0を用いた。
作成した物体検出モデルはPyTorchで記述されているため、モデルをTensor Flow. jsに対応した形式に変換した。変換順序はPy Torch → onnx →Tensor Flow → Tensor Flow. jsであった。
端末で撮影した丸棒の画像を式(1)によりグレースケール画像へ変換した後、Tensor Flow. jsにて物体検出を行う。認識後のバウンディングボッ
クスは、しきい値（検出スコア*検出の確かさ）が0.5以上、IOU（ボックス同士の重なり比率）が0.3以下のものを最終的な認識結果とした。端末の処理時間短縮のため、IOUは低くし、重なる場合は積極的に除外するようにした。
3.2

評価

実装した機械学習による画像認識機能を評価するため、実際に木製家具メーカの部材棚に格納されていた学習データとして不使用の丸棒の画像6

F値0.997

mAP@0.50.997

mAP@0.5:0.950.831

枚を認識させた。また、同じ画像を用いてHough変換による画像認識を行い、機械学習による結果と比較した。Hough変換は前報と同条件で行った1)。
認識結果を表3に示す。検出した部材に白色の丸印を付した。また、検出した数の内訳を表2に示す。
未検出数は検出されていない部材の数であり、誤検出数は丸棒がないところを誤検出した印の数である。
機械学習による結果は、全体を通して未検出数と誤検出数は少なく、部材に1個ずつ印を付ける場合に比べて、少しの修正作業でカウントできる。特にNo. 1, 2, 3のように本数が多い部材を高精度に認識できたため、本アプリケーションを用いることで棚卸の効率化につながると考える。また、撮影した画像をグレースケール化して認識させているため、No.4,5のように木口面を着色している部材でも問題なく認識できた。No. 6のように木口面に穴が空いている部材は学習用の画像データセットには用いていないが、認識させたところ正しく認識することができた。
Hough変換による結果は、機械学習での結果と比較すると未検出数と誤検出数ともに多い。特に、No.
3では70%以上の部材が未検出であった。
以上より、機械学習による画像認識を用いることで、前報でのHough変換による方法に比べて修正箇所を減らせるため、画像認識結果に対する修正作業の労力の低減を図ることができる。

表2 検出数の内訳
No123456

部材本数6086262102244

検出総数
6086262102344

機械学習正解数 未検出数
6008602611100220440誤検出数
001010

検出総数
447075132458

Hough変換
正解数 未検出数
4119701675187
100211404

誤検出数
300331851令和三年度岐阜県生活技術研究所研究報告

No.24

表3 画像認識結果
No1252

機械学習

Hough変換令和三年度 岐阜県生活技術研究所研究報告

No.24

未検出 誤検出

34

誤検出

5653

令和三年度岐阜県生活技術研究所研究報告

No.24

4. まとめ
木製家具製造業における在庫数のカウントを支援するWebアプリケーションに、機械学習による画像認識機能を実装した。部材は製造現場の中で比較的数の多い丸棒とし、学習モデルにYOLOv5を用いて物体検出モデルを作成した。作成したモデルのmAP@0.5は0.997となり、十分な性能を得ることができた。このモデルを用いて部材の画像を認識させた結果、高精度に認識することができた。従来のHough変換による結果と比べて各段に認識精度を向上させることができたため、本アプリケーシ
ョンを用いることで棚卸の効率化が期待できる。
ただし、高精度に認識できた理由として、丸棒の木口面が単純な形状であり、部材によって大きな違いがなかったためであると考えている。今後、学習させた部材に比べて形状が大きく異なる丸棒を認識させる場合、認識率が下がる可能性がある。その場合には、都度認識させたい丸棒の形状を学習させる必要がある。
今後は、開発したWebアプリケーションを木製家具製造現場の棚卸に活用していきたい。また、画像認識機能以外にも付録に示すようなアプリケーシ
ョンの改善点が挙げられるため、より使いやすくなるよう努めていきたい。
謝辞
研究のきっかけを作っていただき、木製家具製造現場の写真撮影にご協力いただきました関係者の方々、実験に参加していただいた方々にこの場を借りて厚く御礼申し上げます。
参考文献
1) 森茂智彦ら: 家具製造現場におけるトレーサビリティ基盤技術の開発（第 2 報）OpenCV.js を用いた画像認識による棚卸支援 Web アプリケーションの開発, 岐阜県生活技術研究所研究報告,
23, pp. 31-36, 2021.
2) Ultralytics, yolo v5, https://github.com/ultralytics/yolov5, 2022 年 1 月 27 日参照
3) ITU-R Rec BT. 709, https://www.itu.int/rec/R-REC-BT.709/en, 2022 年 3 月 18 日参照
4) Tensor Flow. js, https://www.tensorflow.org/js, 2022 年 1 月 27 日参照

54

付録 アプリケーションの今後の課題
機械学習機能を実装した棚卸支援Webアプリケーションを実験参加者に使用させて意見を聞いた。
実験参加者は12名（男性6名、女性6名）であった。
主な意見を下記に示す。意見を元にアプリケーションの改良を行っていきたい。
〇操作性に関する内容
・消したい印をタップしたいが、印をタップしても、指の微妙なずれで印が増えてしまう・径が小さい部材が密集しているとタップしたいところに印を付けれない〇追加の機能に関する内容
・消去モード（印を選択すると、その印が消えていくモード）があると良い・範囲選択以外にも印の複数選択ができると良い・拡大鏡のような画像の拡大機能があるとよい
・印をはねると消える、または枠外に出すと消える、という機能があると良い〇印に関するもの
・丸棒に丸印のため、丸棒の径の大きさによっては、見にくいものがあった
・丸棒の径が大きい時は、印も大きいほうがよい
・白い部材に白い印だと見にくいことがあった（印と部材の色合いが似ているとき）・木口面の色を黒と白で塗っているものは、印が見えにくかった
・木口面に黒色や赤色に塗ってあると、判定しづらい