外観検査AIの学習データ不足を解消する技術提案
中京大学

工学部教授

機械システム工学科
青木 公也

２０２３年８月２９日

1

技術背景 AIによる外観検査
・AI(人工知能)技術の発展から，外観検査の自動化への活用も期待されている・具体的には「深層学習」「DNN:Deep
Neural Network」技術である・外観検査では，検査画像を入力として，画像中の欠陥検出，良不良判定，瑕疵レベル判定，異常検知等が行われる
2

技術背景 学習の種類
・DNNを運用するには，事前の「学習」が必要である
・学習用の検査画像データが必要になる
・外観検査AIでは主に二通りの方法がある
・教師付き学習・良品の不良品の画像が必要
・教師なし学習・一般的には良品の画像のみが必要

検査画像を収集し，良品，不良品などのラベル付け(アノテーション)が必要

3

技術背景 良不良分類の場合
・例えば良不良判定(分類)の場合
・教師付き学習・良品と不良品の検査画像を収集し，それらを分類できるように明に学習⇒不良品の収集は一般的に大変・教師なし学習・良品の検査画像を収集し，良品の特徴を学習．
運用時は異常検知4

技術背景 不良品の種類判別
・例えば，良不良判定に加えて，不良種類も判別したい場合
・教師付き学習・さらに，不良種類毎で画像を収集する⇒稀な不良への対応が困難
・教師なし学習・良品に対して異常かという判定⇒異常の種類判定は考えていない・不良の発生原因をモニタするには，種類判別も必要
5

技術背景 欠陥の領域を検出
・例えば，画像から欠陥領域を検出したい場合
・教師付き学習・欠陥の領域を一つ一つ囲ったり，塗りつぶしたりするアノテーションが必要⇒これはかなり大変・教師なし学習・検査画像を分割したり，注目領域をヒートマップ表示する等⇒欠陥領域の検出が曖昧(計測評価は難しい)

・欠陥のサイズ，個数等が後処理で計測できる・検査画像において「どこが」欠陥なのかが明確になる
6

外観検査AI運用のボトルネック
・AIはデータドリブンである⇒学習用の検査画像が必要
・まとまった数量が必要(○○枚～数千枚)
・不良の発生が稀で，収集が困難
・ラインの立ち上げがこれからで，サンプルがない
・ただ集めればよいということでもない
・良品のバラつき，欠陥のバラつきを網羅している・正しいアノテーションとデータクレンジング【提案技術】二つあります
・検査画像を合成する方法
・良品画像のみで不良種分類を可能にする方法
7

従来技術の問題点
・つまり，学習用の検査画像を作ればよい【従来技術】①実際に模擬欠陥を作製する⇒これはだいぶ手間がかかる➁画像データの加工
・良品画像に欠陥を模擬する，あるいは他の欠陥画像を貼る⇒これは，質の悪い学習画像となる・実サンプルに画像処理を適用して水増しする⇒これが一般的に行われている(データ拡張)・製造ラインでは起こりえない画像が生成される可能性がある
8

新技術その1 検査画像の合成提案手法では，CG(コンピュータグラフィックス分野)における【テクスチャ合成】技術を活用し，「実検査画像らしい，リアルな模擬検査画像を合成」する
9

新技術その1 検査画像の合成
・部品の素地と欠陥像と撮像条件の設定による「見え方」を合成する
・生成される模擬検査画像の【リアル】さと生成の【手軽さ】を両立

10

良品素地の合成例 1

・良品画像は良品部品を撮像すればよい?
⇒合成できれば撮像の労力はなくなる

・小さい画像が本物，大きい画像が小さい画像を素に合成した模擬画像
11

良品素地の合成例 2・一枚の素地サンプルから大量の画像の合成が可能⇒一枚，一枚は同じ材料に見え，かつ異なります12

模擬検査画像の生成例
・収集が困難な稀なキズ・欠陥画像を大量に準備できる
・フル合成なので，アノテーションも不要
・欠陥の場所，サイズ，形状，種類の情報もセット
鋳肌にある
打痕キズの例

左上だけが本物
13

新技術その 2良品のみで不良種分類を可能にする方法
・ここで少し話題が変わります・技術背景より，教師なし学習モデルに異常検知なら，収集は良品データだけでよい
・ただし，不良の種類判定はできない・・・

OKOKOK
IMAGE
IMAGE
IMAGE

DimensionCompression

Latent Space

潜在空間内

異常

重心から離れた座標に分布

正常

重心付近に分布𝐷2異常種

同種の異常種は，近い座標に分布
𝐷1閾値

高頻度に発生する異常種を除外できる距離に設定

二つ目に紹介する提案手法では，少量の異常データから，「どれだけ異常か」「どんな異常か」を推定する
また，未知の異常にも対応する
14

新技術その 2良品のみで不良種分類を可能にする方法
・良品画像のみ学習し，潜在空間を生成(つまり，教師なし学習)・潜在空間の座標に着目し，不良種，未知不良を分類
ある部品の「穴」検査の例

・潜在空間において良品群から遠いほど異常・潜在空間における位置が異常の種類

・予め少量の異常サンプルがあれば，クラスタを確認しておく⇒不良種分類
・検査画像がクラスタに入らない場合⇒未知異常と判定
15

異常判定と種類分類の例
・「加工穴」検査の例
・潜在空間を2次元で可視化・不良種類毎にクラスタを形成していることが分かる
・未知異常(黄色の点)は適当に作った不良穴⇒運用では保全員が対応

・教師なし学習モデルがベースでも，種類判別が可能
16

想定される用途• 外観検査AIの学習データの準備– 工業製品– 食品検査– 素材検査– その他• インフラ・建造物検査AIの学習データの準備– 路面検査– 橋，トンネル検査– コンクリート検査
– その他

17

実用化に向けた課題• 現状，ラボで実験に使用するプログラムであるため，実用化にはソフトウェアの整備が必要– インターフェイス– データフォーマット
– 使用する外観検査AIとの接続対応

18企業への期待• 画像検査機械開発・研究は実問題に根差した一大学術・産業分野• 外観検査課題の共有による分野の発展• 現場でデータの本質を理解していて，かつAIを運用できる人材の育成• 手段と目的を取り違えず，所謂AI技術を新たな手段の一つとして活用する

産学連携によるトータルウィン
19

本技術に関する知的財産権
その1 検査画像を合成する方法• 発明の名称 ：画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法• 特許番号：特許第7254324号• 特許権者：学校法人梅村学園• 発明者：青木公也，片山隼多，
吉村裕一郎，輿水大和
20本技術に関する知的財産権
その2 良品画像のみで不良種分類を可能にする方法• 発明の名称 ：異常判定方法
及び異常判定装置• 出願番号：特開2021-174456• 出願人：学校法人梅村学園• 発明者：齊藤遼，青木公也，野路佳佑

21

産官学連携の実績【 連携実績 】
トヨタ自動車株式会社、YKK株式会社、三菱自動車工業株式会社、株式会社リコー、株式会社SUBARU、株式会社IHI、日東電工株式会社、セイコーホールディングス株式会社、株式会社アイシン、トヨタ車体株式会社、ボッシュ株式会社、中部電力株式会社、一般財団法人中部電気保安協会、パナソニック株式会社、日鉄住金テクノロジー株式会社、株式会社ブリヂストン、ポニー工業株式会社、三友工業株式会社、大豊工業株式会社、株式会社ユニメック、株式会社豊田中央研究所、ダブル技研株式会社、株式会社ファースト、テクノシステム株式会社、産業技術総合研究所【 外部研究費獲得 】
・科学研究費助成事業
・NEDO 委託研究事業
・戦略的基盤技術高度化支援事業（サポイン）
・財団法人日比科学技術財団 研究開発助成・矢崎科学技術振興記念財団 奨励研究助成

22お問い合わせ先
中京大学 研究推進部 研究支援課
 ＴＥＬ 052-835-8068
 ＦＡＸ 052-835-8042
 e-mail liaison@ml.chukyo-u.ac.jp
 Webからのお問い合わせhttps://ssl.chukyo-u.ac.jp/contact/form/liaison/

研究室HP

研究者業績DB

Researchmap

23