G2305-01

解説 外観検査 認識・検出

深層学習を用いた
食品包材自動外観検査装置について
Deep Learning-Based Automatic Appearance Inspection System for Food Packaging

シワ・ヨレなどに影響されにくい食品用アルミニウム製包材の自動外観検査装置の紹介

アイエスエス㈱ ／㈱ユーテクノロジー

鎌田 智也／植野 晴海

はじめにアルミニウム製の包材（以下、アルミ包材とする）は、食材をパッケージングする際に、その耐久性、防湿・防水性、遮光性のため広く用いられている。しかしながら、アルミ包材は外力によって容易に変形し、生産工程でシワやヨレが発生しやすいという問題がある。そのため、外観自動検査装置を導入する際には、シワやヨレが歩留まりの低下やコスト上の課題を引き起こす要因となり、結果として生産ライン全体の見直しが必要となり、これが自動検査装置導入の際の大きなハードルの一つとなっている。
そこで、当社は深層学習による異常検査技術を応用し、シワやヨレの影響を受けずにアルミ包材の外観検査が可能な自動検査装置を開発した。この装置は既設の生産ラインに設置でき、自動検査の導入コストを大幅に削減できる。本稿では、開発したアルミ包材用自動外観検査装置について紹介する。

食品用アルミ包材
第１図は、顆粒状のスープの粉が入ったアルミ包材例である。これらを生産する食品製造者は、包材製造会社から口の開いた状態の包材を購入し、生産工程において食品を包材内に収めた後にプレス処理で密閉する。その際に、封入する内容物がシール部分に付着した状態でプレスされると噛み込み不良やシール部膨らみ不良とよばれる密閉状態の悪い不良品となる。第２図に、実際の噛第１図 アルミ包材

8G2305-01.indd 8

画像ラボ 2023.07

2023/07/14 9:53

深層学習を用いた食品包材自動外観検査装置について

上：噛み込み不良

下：シール部膨らみ不良

第２図 噛み込み不良

第３図 良品のシワ・ヨレ

画像ラボ 2023.07

G2305-01.indd 992023/07/14 9:53

第４図 ピンホール不良

み込み及びシール部膨らみ不良の事例を示す。
噛み込み不良があると、内部の食品が漏れ出す要因となるだけではなく、防湿性・防水性の面でも正常品に対して性能が劣り保存性が悪化する要因となることから、生産現場では最も注意を要する不良品となっている。そのため、食品工場では内容物の密閉後に包材の状態を人による目視や自動検査装置で全数検査している。特に大量生産型の食品工場では正常品と比較して不良品を判定するパターンマッチングベースの自動外観検査装置を導入して検査していることが多いが、外力によって変形しやすいアルミ包材の場合、第３図に示すようなシワやヨレが発生しやすく、従来のパターンマッチングベースの自動外観検査装置を導入すると正常品の判定を正しく行えず歩留まり悪化の要因となる。第４図は、袋部に小さな穴（ピンホール）が空いた状態の不良品の事例である。袋部は内容物の状態によって不規則な陰影が生ずるため同様に安定した検出が課題となる。
新規に生産ラインを構築する場合は、工程上の機械的な工夫によってシワやヨレが生じないようにして歩留まりの悪化を回避した自動外観検査を実現することが可能となるが、既設の生産ラインへ自動検査の導入を検討する場合、生産工程全体の見直しが必要となり導入コストが大きくなってしまうことが大きな課題となっている。
当社が開発した包材AI外観検査機（第５図）は、深層学習ベースの異常検知技術を導入することでシワやヨレに影響を受けにくいアルミ包材の自動

10

第５図 包材AI外観検査機外観検査を実現している。これにより既設の生産ラインの生産工程はそのままに後付けで自動外観検査を実現する事が可能となり、従来よりも低コストで自動検査を導入することが実現できる。

開発した装置の特徴
深層学習による異常検出

変形しやすくシワ・ヨレが発生するアルミ包材の外観検査を正確に処理するため、要素技術とし画像ラボ 2023.07

G2305-01.indd 102023/07/14 9:53

深層学習を用いた食品包材自動外観検査装置について

第６図 ヒートマップ表示て用いた深層学習ベースの異常検知技術について説明する。
アルミ包材の画像検査では、不良の発生する位置が定まらず、不良箇所の形状も不定形である。
また正常品も変形によってシワやヨレによる陰影が生じており、無数のバリエーションが存在している。したがって、学習データを収集する際にすべてのバリエーションの不良品及び正常品の画像を集めることが困難であるため、深層学習を用いる場合においても学習していない未知の不良品を検出可能であることが求められる。そこで、包材
AI外観検査機では、大量のデータから複雑なパターンや特徴を抽出し、未知のデータに対して異常を検出することが可能な深層学習を用いた異常検知技術を導入した。
深層学習を用いた異常検知手法としては、オートエンコーダを用いた手法が広く用いられてきたが、製造現場の異常検査に用いるには精度が低い課題があった。近年はPatchCore1） に代表されるより精度の高い深層学習ベースの異常検知手法が提案されており、パッケージ化された画像処理ツール2）なども発表されている。
開発した包材AI外観検査機では、アルミ包材の不良を判定するための異常検知手法として、HSC（Hyperspere Classifer）3）を用いた。HSCは、正常データと共に僅かな異常データを教師データとして与えることで、高い異常検知性能を実現できることが知られている手法である。今回開発したアルミ包材の不良検知深層学習モデルはHSCのベースモデルにResnet50 4）を用いており、出力層に追加 し たFCN（Full Connection Network） を 経 由して異常度を出力する構造をもつ。このモデルを約20万枚の教師データを用いて学習させる際に、正常な画像の場合０を出力し、異常な画像の場合に１を出力するよう学習させた。また、不良箇所をヒートマップ表示（第６図）する目的で畳み込みの中間層を出力の一部として用いている。第７図に用いているネットワークの入出力構造を示す。

第７図

画像ラボ 2023.07

G2305-01.indd 11112023/07/14 9:53

さらに推論の際、高速に判定処理を実行するため学習させたモデルはNVIDIA TensorRT 5） を用いて推論に要する演算処理を高速に実行可能な形に最適化して実機に組み込んでいる。これによって、画像（サイズ1792×1280[pixel]）１枚当たりの推論計算に要する処理時間は、約55ms程度となり、１秒間隔で流れてくる製品を全数検査するのに十分なリアルタイム性を実現している。

• 印 刷マーク パッケージ表面の印刷の有無、汚れなど• シ ール部膨らみ シール部分に内容物が侵出して膨らんでいる不良• ノ ッチ切り込み有無 パッケージを空けるための切り込みの有無• ミ シン目 二つのパッケージの間にあるミシン目の有無

検査項目

第９図は、包材AI外観検査機の検査画面である。
検出された各不良項目について、個数や不良箇所を確認することができる。

• 噛 み込み不良 内容物の粉が点状にシール部にはみ出した不良• シール不良 弱くて不完全な密閉• カットサイズ パッケージの大きさの異常• ピンホール 突起物によると思われる小さい穴

コンパクト設計

包材AI外観検査機で検出可能な不良は次のものである。各不良の実際の画像例を第８図に示す。

噛み込み不良シール不良

ミシン目不良既設のラインに導入しやすいコンパクトなサイズ（W1050×H1630×D950[mm]）となっている。
また設置場所のスペースに応じてカメラや照明のレイアウトを変更するカスタマイズが可能であ

シール部膨らみ不良

ピンホール

印刷位置不良カットサイズ不良

第８図 不良品の画像例

12

画像ラボ 2023.07

G2305-01.indd 122023/07/14 9:53

深層学習を用いた食品包材自動外観検査装置について

第９図 検査画面

第10図 装置の三面図

画像ラボ 2023.07

G2305-01.indd 13132023/07/14 9:53

る。装置本体の三面図を第10図に示す。
ラインカメラオムロンセンテック製4Kデュアルラインセンサーモデルを採用し高速撮像でも安定した画像を取得可能である。
照明

画像検査装置において一般的にはラインドーム照明が採用されることが多い。しかしながら薄い構造体であるアルミ包材は上側方向に反る特性があり、照明筐体との干渉のリスクが考慮される。
このため、従来のラインドーム照明に代わる光学条件を検討する必要が生じた。開発した包材AI外観検査機では、照明とワークの干渉を回避しつつ、ラインドーム照明と同等以上の画像品質を実現可能な新たな照明、カメラ、およびレンズの光学条件を新規に採用した。

参考文献

1） Karsten Roth, Latha Pemula, Joaquin Zepeda, Bernhard
Schölkopf, Thomas Brox, Peter Gehler, “Towards Total
Recall in Industrial Anomaly Detection”
https://arxiv.org/abs/2106.08265
2） MVT Inc. “HALCON ANOMARY DETECTION”
https://www.mvtec.com/technologies/deep-learning/
deep-learning-methods/anomaly-detection3） K Lukas Ruff, Robert A. Vandermeulen, Billy Joe Franks,Klaus-Robert Müller, Marius Kloft. “Rethinking
Assumptions in Deep Anomaly Detection”
https://arxiv.org/abs/2006.00339
4） Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun.
“Deep Residual Learning for Image Recognition”
https://arxiv.org/abs/1512.03385
5） NVIDIA Corporation. “NVIDIA TensorRT”
https://developer.nvidia.com/tensorrt

おわりに
本稿では、食品用アルミ包材の外観検査を自動化するシステムについて紹介した。従来、パターンマッチングベースの自動外観検査装置が苦手とする変形しやすいアルミ包材について、深層学習を用いた異常検査技術を応用することで、シワやヨレが生じても正確に良品と不良品の分別が可能である。これによって、既設のラインに容易に導入する事が可能となり、自動外観装置の導入コストを抑えることができる。
当社は、照明、カメラ、およびレンズの光学条
件をシステム全体として最適化して顧客に提案することを得意としており、AI開発を手がけるアイエスエス㈱と連携して、外観自動検査装置の開発を通じたものづくりの現場の生産革新の実現に取り組んでいる。
今後も引き続き従来自動化が困難とされた分野について、日進月歩で発展している深層学習ベースの異常検知技術を応用した自動装置の実用化を通じ、ものづくりの現場における生産性の向上に向けた取り組みを継続的に実施していく。

14【筆者紹介】

鎌田 智也

アイエスエス㈱ 代表取締役社長

植野 晴海㈱ユーテクノロジー 一関技術センター長

画像ラボ 2023.07

G2305-01.indd 14

2023/07/14 9:53