茨城県産業技術イノベーションセンター研究報告 第 49 号

少量データによる AI 構築技術及び AI の実応用に関する研究
前島 崇宏 * 西本 圭志 ** 由木 美晴 ** 平間 毅 ** 青木 邦知 **１. はじめに
近年のAI技術の進歩により、人の判断をAIに代替させることが可能になりつつあることから、様々な業界でAI活用の動きが広がっている。
特に異物や欠陥等の目視検査の現場では、検査の判断基準が明確にできない場合にAI画像認識技術の適用が期待されている。しかし、AIを構築するためには一般的に膨大な学習データが必要とされ、学習データの収集にも労力がかかることから、学習データ数の削減が課題となっている。また、AIによる検査結果を現場で活用するための直感的な提示方法が求められている。
そこで、県内企業におけるAI技術の導入促進及び有効活用を図るため、当センターではこれらの課題を解決するための研究に取り組んでいる。
２．目的
本研究では、AI を応用する際の学習データ数削減と検査精度向上を目指し、少量データによる AI 構築技術についての研究及び AI による検査結果を現場で効果的に活用するための複合現実デバイスによる作業指示手法についての研究を行う。
本年度は、AI 構築技術の研究を進めるにあたって必要な画像データセットの作成及びプロジェクタによる作業指示システムのプロトタイプを構築する。
３．研究内容AI 構築技術の研究に関しては、①AI 解析用データセットの作成、②ベンチマークモデルの構築、③少量データによる AI 構築手法の検討の順序で研究を計画している。本年度は①について取り組み、実現場を対象としたデータ収集及びアノテーション作業の効率化に関する検討を行った。
複合現実デバイスによる作業指示手法の研究に関しては、プロジェクタ、透過型ディスプレイ、スマートグラスを用いた作業指示システムを開発し、各システムにおける作業効率の比較を行う予定である。本年度はプロジェクタを用いた作業指示システムの開発に取り組んだ。
3.1 AI解析用データセットの作成
AI 構築に向けて学習・評価データを収集する必要があることから、実現場において画像データの収集を行った。
3.1.1 実現場での画像データ収集
人が目視で検査作業を行っている食品の選別工程を対象に、検査対象上部にカメラを設置し、画像データの収集を行った。
図1にデータ収集のために開発したシステムの構成
図を示す。

*

IT・マテリアルグループ**

研究推進グループ

アルミフレーム
照明
カメラ

PC

ベルトコンベア

図 1 データ収集システムの構成
カメラには低コストで導入可能なローリングシャッ
ター方式のWebカメラ及びグローバルシャッター方式の産業用カメラを用い、それぞれにおいて、ベルトコンベアの搬送速度や被写体の大きさを考慮したカメラ諸条件（被写体までの距離、シャッタースピード、露光、画素数等）設定及び現場での微調整を行った。また、被写体による影の影響を軽減するため、照明及び拡散板の位置について現場で調整を行った。
なお、データ収集の結果、Webカメラではブレやピントのズレ等が生じ鮮明な画像を収集できないことが明らかとなったため、本研究では産業用カメラで取得した約37,000枚の画像を対象にAI解析用のデータセットを作成した。また、AI解析のためには各画像に何が写っているかの情報を紐付ける必要があることから、本研究では、収集した各画像に対して正常品、異物12種類、背景のいずれが写っているかを判断しラベルを付与した。結果、食品選別工程の実現場で撮影した画像に対して、正常品約13,800枚、異物12種約22,600枚、背景約600枚で構成されるラベル付きデータセットを作成することができた。
3.2 アノテーション作業の効率化に関する検討
3.2.1 学習・評価用画像自動取得システムの開発
学習・評価用の画像を取得するためには人手を要するという問題がある。そこで本研究では自動で大量の学習・評価用画像を取得可能な装置を開発した。図 2に開発した画像自動取得装置を示す。本装置は垂直多関節ロボット(LR mate200iD/7L、ファナック株式会社)、
RGB カメラ(CA-H2100C、株式会社キーエンス)、攪拌装置で構成されており、ロボットによりカメラ位置を調整後、指定した回数、撮像と攪拌を繰り返すことが可能である。
茶葉の異物（虫）混入を想定し、茶葉のみ、異物のみ、異物混入の3パターンに対して、画像自動取得装置により画像を取得した例を図3に示す。

茨城県産業技術イノベーションセンター研究報告 第 49 号ロボットカメラ

攪拌装置

図 2 画像自動取得装置

背景

正常品(茶葉)のみ異物のみ異物混入

図 3 画像自動取得装置で取得した画像
3.2.2 アノテーション作業の効率化
画像自動取得装置により得られた背景画像を 336×336 ピクセルに分割し、背景以外画像として PascalVOC
1)
データセット を用いて背景と背景以外の 2 クラス分類を行った。本研究では、多クラス分類用のニューラルネットワークのモデルとして ResNet182)を用いた。
ResNet18 は深さが 18 層のニューラルネットワークであり、本研究では ImageNet データベースで学習された重みを使用した。
また、正常品のみ画像と異物のみ画像の全体を 336×336 ピクセルの矩形領域で走査し、学習したモデルを用いて矩形領域の分類を行うことで、背景以外画像の確率が高いと判別された個所を自動で切り抜くシステムを新たに開発した。図 4 に切り抜き後の異物画像と正常品画像の例を示す。
背景以外の確率密度分布

切り抜き後の画像異物画像
正常品画像

図 4 切り抜き後の画像(336×336 ピクセル)

背景画像及び、切り抜き後の正常品画像、異物画像を用いて再度ResNet18を用いて3クラス分類を行った。
学習後のモデルを用いて正常品のみ画像と異物混入画像から異物の確率が高いと判断された個所の画像の切り抜きを行った。正常品のみ画像から切り抜いた画像
は正常品画像として、異物混入画像から切り抜いた画像は異物が画像中央に映り込んでいることを確認し、異物画像として学習・評価画像に追加し再学習することで異物検出精度の向上を図った。
図5左図に茶葉に混入した異物の確率密度分布を、図5右図に同様の手法で求めたM6ボルトに混入した異物（M8ボルト）の確率密度分布をヒートマップで示す。
確率密度分布の可視化により、本手法を用いて適切に混入異物を検出できることを確認した。

図 5 異物の確率密度分布(平滑化処理後)
3.3 複合現実デバイスによる AI の判断結果の提示
AI の判断結果の提示を行うにあたり、複合現実デバイスの一つであるプロジェクタを用いた作業指示シス
テムの開発を行った。
3.3.1 プロジェクタとカメラのキャリブレーション
プロジェクションマッピングを使用した作業指示シ
ステムは、指示対象の位置を検出するための汎用カメ
ラ、作業指示を行うためのプロジェクタで構成されており、2 つのデバイスを連携させるには、デバイス間の位置姿勢を算出する必要がある。カメラ 2 台のシス
テムであれば、それぞれの画像中での対応点を検出しステレオキャリブレーションを行うことで相互の位置姿勢を明確にすることができる 3) 4) 5) 6)。しかし、プロジェクタはカメラと異なり光を出力する装置であり、カメラ 2 台のシステムのように容易にはステレオキャリブレーションを行うことはできない。そこで本研究
では、空間中の点とプロジェクタ素子の対応点を求めるため、グレイコードパターン投影法を用いた。7)
グレイコードパターン投影法では、プロジェクタ画素の座標をグレイコードに変換し、それに応じた白黒パターンを画像としてプロジェクタより投影する。これをカメラから撮像し、カメラの各画素にどのようなパターンが写り込んだかを分析することで、カメラ画素とプロジェクタ画素の対応関係を得ることができる。
グレイコードは、2 進数表記の対象値と対象値を１ビット右シフトし、先頭に 0 をつけたものとの排他的論理和をとる事で得ることができる。例えば、対象値が 10 進数で 2 であれば、2 進数表記で 0010 となり、それを 1 ビット右シフトし先頭に 0 をつけた 0001 との排他的論理和をとった 0011 がグレイコードによる値

茨城県産業技術イノベーションセンター研究報告 第 49 号となる。このグレイコードから、プロジェクタの各素子において 0 のピクセルは黒、1 のピクセルは白になるようにグレイコードパターン画像を複数枚生成し、プロジェクタにて順に投影し、カメラで撮像する。

壁

この角は壁から離れている

上面

側面
壁
壁

10進数

2進数

グレイコード

０0000

0 0 0 0１0001

0 0 0 1２0010

0 0 1 1３0011

0 0 1 0正面

この角は壁に接しているグレイコード

壁

この角は壁に接している

上面
壁

側面
壁

正面

1枚目

2枚目

3枚目

4枚目

この角は壁から離れている

投影範囲に対し3カ所×3姿勢でキャリブレーションを実施

例）解析対象となるカメラ素子（上図赤枠）に写り込んだ
グレイコードパターン
001１⇒

当該カメラ素子はプロジェクタのx座標2の素子を見ている

図 6 グレイコードパターンの原理撮像された画像群から、解析対象となるピクセルに対して、白は 1、黒は 0 となるようビット列を復元することで、解析対象ピクセルに対応するプロジェクタの x 座標及び y 座標が求まる。また、キャリブレーション時の解析対象座標をより明確化するためにチェッカーボードを使用し、チェッカーボードのコーナー及び周辺に投影したグレイコードパターンをもとに、プロジェクタとカメラの位置・姿勢関係を算出した。
3.3.2 プロジェクタによる指示精度の評価
プロジェクタによる作業指示位置精度の評価を行う
ため、図 7 のように壁から約 70cm の距離にカメラを、壁から約 80cm の位置にプロジェクタを設置し、約 40cm×90cm の範囲にプロジェクタから投影を行い、カメラで AR マーカーを検出し、AR マーカー中心にマークを投影するソフトの開発を行った。
90cm

図 8 チェッカーボードの配置

10進数で２AR マーカー
プロジェクタ

図 9 にキャリブレーション結果を示す。投影位置誤差は±1～5mm の範囲に収まったが、位置 G のみ投影位置誤差が±7～8mm と大きくなった。
AB

C

D

E

FG

H

I

位置誤差
（mm）

位置プロジェクタ
照射範囲誤差（mm）

70cm

カメラA±４～５B±１～２C±１～２±４～５

E

±１～２

F

±１～２

G

±７～８

H±１～２

I±１～４

図 9 AR マーカーセンターへのマーク投影結果
3.3.3 搬送ライン向け作業支援システムの構築
プロジェクションマッピングを用いた対象物指示機能を有する搬送ライン向け作業支援システムのプロトタイプを図 10 に示す様に構築した。ここでカメラ 1、2 には DFK42BUC03(THE IMAGING SOURCE 社)、プロジェクタには C200(Acer 社)を用いた。
カメラ1

カメラ2

カメラ2の撮像範囲。
プロジェクタの投影範囲の中にある。

プロジェクタチェッカーボード１

図 7 プロジェクタによる指示精度評価システム
本研究ではキャリブレーションにおけるチェッカーボードの配置パターンの違いによる指示精度の評価を行った。図 8 にキャリブレーション時のチェッカーボードの配置を示す。
（9 通り）

誤差（mm）

D

80cm
40cm

位置

チェッカーボード2

カメラ1の撮像範囲。
カメラ2の撮像範囲及びプロジェクタの投影範囲の外にある。

チェッカーボードは搬送ラインに乗り、一定の速度で動いている。

チェッカーボード3
搬送ラインの移動方向

図 10 搬送ライン向け作業支援システム

茨城県産業技術イノベーションセンター研究報告 第 49 号

本研究では、搬送ラインの上流に取り付けられたカメラ１で対象物を認識し、離れた位置にあるプロジェクタで対象物にマークを投影するシステムを構築した。
ここで、適切な位置にマークを投影するためには、離れた位置にあるカメラ 1、2、プロジェクタのそれぞれの位置姿勢関係を算出しなければならない 3)4)。図 11に本研究で実装したカメラとプロジェクタの位置姿勢関係を算出するための処理フローを示す。
以上により、カメラ 1、2、プロジェクタのそれぞれの位置姿勢関係を算出した。このシステムを用いて搬送ライン上を動く対象物に対してのマーク投影精度の評価を次年度に実施する予定である。
START
カメラ1とチェッカーボード1，2の位置姿勢を算出
チェッカーボード１，２を使い、単位時間あたりの移動方向・移動量から速度ベクトルを算出

カメラ1から見たカメラ2の位置姿勢を算出

速度ベクトルを使用しカメラ1とチェッカーボード3の位置姿勢を算出

カメラ2から見たプロジェクタの位置姿勢を算出

カメラ2とチェッカーボード3の位置姿勢を算出

カメラ1から見たプロジェクタの位置姿勢を算出
END

図 11 位置姿勢関係を求めるための処理フロー
４．まとめと考察
4.1 AI解析用データセットの作成
実現場でデータを収集し 14 クラス計 37002 枚の AI解析用データセットを作成した。
4.2 アノテーション作業の効率化に関する検討
画像の取得、学習、異物位置の可視化を行うことで、効率的にアノテーション作業を行うことが可能なシステムを構築した。画像自動取得装置で画像を取得した際、正常品が欠ける、乾燥する、特定の個所に密集するなどの問題が生じることがあった。撮影対象に応じて条件を最適化する必要があると考えられる。
4.3 複合現実デバイスによるAIの判断結果の提示
プロジェクタとカメラを用いた作業指示を行うシステムを開発し、指示精度を評価した。結果、カメラ撮像範囲の中央部付近は誤差±1～2mm、外側は±4～8㎜となった。誤差が発生する原因として、カメラとプロジェクタの位置姿勢を算出するために行ったキャリブレーションの精度に課題があると考えられる。キャリブレーション精度に悪影響を及ぼす要因として、カメラのピントが部分的に合わない場所が存在すること、環境光による影響を受けていることが考えられる。
５．今後の課題
5.1 AI 解析用データセットの作成
取得したデータのうち、異物の種類によってはデータ量が少ないため、実現場でのデータ収集及びラベル付けを継続する。
5.2 複合現実デバイスによる AI の判断結果の提示
今後の課題として、カメラとプロジェクタの設置位置・姿勢、プロジェクタの投影範囲及びカメラの撮像範囲の重なり程度、カメラの絞りと露光時間(主に被写体深度に関連する要因)、環境光やプロジェクタの輝度の違いがカメラとプロジェクタのキャリブレーション精度に及ぼす影響について検証を行う。併せて、検証結果を元に、キャリブレーション精度低下要因・環境要因によりロバストなキャリブレーションアルゴリズムの開発を行う。
改良後、搬送ライン向け作業支援システムのプロトタイプを用いて、動く対象物に対しての作業指示精度の評価及び改良を行う予定である。
６．参考文献等
1) PASCAL VOC,
http://host.robots.ox.ac.uk/pascal/VOC/
2) He, et al.,”Deep residual learning for imagerecognition.”In proceedings of the IEEE
conference on computer vision and patternrecognition, pp. 770-778,2016.2)
3) OpenCV http://opencv.org/
4)Zhang, Z. “A Flexible New Technique for Camera
Calibration”. IEEE Transactions on PatternAnalysis and Machine Intelligence.Vol. 22, No. 11,
2000, pp. 1330–1334.
5)MORENO, Daniel; TAUBIN, Gabriel. Simple,
accurate, and robust projector-camera calibration.
In:
3D
Imaging,Modeling,Processing,Visualization and Transmission (3DIMPVT), 2012
Second International Conference on. IEEE, 2012. p.
464-471.
6) Francisco J Romero-Ramirez, Rafael
Mu˜nozSalinas, and Rafael Medina-Carnicer. Speeded
updetection of squared fiducial markers. Image andVision Computing, Vol. 76, pp. 38–47, 2018.
7)橋本直己・福山廣相:「グレイコード投影を用いた室内壁面での幾何補正手法」,映像情報メディア学会誌
Vol.67，No.9，pp.J347～J351(2013)