進化的画像処理を用いた安価で調整容易な極薄紙の枚数計測
2019年7月11日
岐阜大学 工学部 機械工学科助教 佐藤惇哉

研究背景ある高級な脂取り紙の生産会社■パート従業員による手作業◆パッケージングのための枚数計測◆品質管理

手作業による問題■人件費■接触による皺やゴミの付着
http://furuyagami.jp/story4.html

非接触な枚数計測システムが必要
2

従来技術（1）
Zhuらの手法■積み重ねられた包装紙を2台のカメラで撮影■画像処理による直線検出で枚数計測

撮影画像

直線検出

開発された撮影システム
H. Zhu, et al., “An Apparatus and Method for Stacked Sheet Counting
with Camera Array,” Proc. Chinese Automation Congress, pp.7–10, 2013 3

従来技術（2）
Wangらの手法■シリコンウェーハのカウント■画像処理による直線検出でカウント

撮影装置とシリコンウェーハ

撮影装置の中撮影画像
N. Wang, et al., “Development of a Machine Vision System for Solar
Wafer Counting,” Indonesian Journal of Electrical Engineering andCompute Science, vol.12, no.5, pp. 3737-3744, 20144

従来技術（3）
Chenらの手法■積み重ねられた紙をラインスキャンカメラで撮影■信号処理のアプローチで紙の枚数を計測

ピーク検出による枚数計測

T. Chen, et al., “An apparatus and method for real-time stacked sheets
counting with line-scan cameras,” IEEE Trans. Instrum. Meas., vol.64,no.7, pp.1876–1884, 20155

関連研究の問題
処理アルゴリズム■複数の固定パラメータを設定◆事前にユーザによるパラメータ調整が必要◆紙の種類や明るさの変化への対応が困難

提案手法のアプローチ■AIの導入で人の介在を不要に■家電量販店で購入できるウェブカメラを使用■従来手法より高性能なアルゴリズム
安価なカメラでも撮影環境の変化に柔軟に対応可能な画像処理アルゴリズムが必要

6

撮影システムの試作機
段ボールで外部照明を遮断■外乱によるノイズの抑制■外部照明は明るすぎて境界線の撮影が困難
LEDライト

ウェブカメラ

撮影スペース
脂取り紙を撮影した画像例
7

脂取り紙の配置と撮影紙が重ならないように配置して撮影■試作機のため手作業で配置◆将来的には配置を自動化

様々な並べ方で撮影■提案手法の汎用性を調査する目的

8

枚数計測のための画像処理基本的なアイデア■紙の境界線の検出■境界線を画像から正確に抽出◆正確な枚数計測が可能

9

解決すべき課題
境界線取得に必要な画像処理

デモ■境界線のエッジ抽出と直線検出
ユーザによる事前のパラメータ調整が必要

対象画像

エッジ抽出結果

直線検出結果

自動でパラメータ調整可能な手法を提案
10

提案手法
遺伝的アルゴリズム（GA）を使用■進化計算手法のひとつ

GAの利点と特長■複数のパラメータを並列的に最適化可能◆効率的なパラメータ探索が可能■パラメータの最適化に微分情報は不要◆あらゆる目的関数に適用可能
J. Sato, et al., “Basic Study on Facial Oil Blotting Paper Counting”,
Proc. MECHATRONICS, pp. 65-70, 201811

適応度（目的）関数の設計
外接矩形
紙の境界線(True edge)

ノイズ(False edge)

画像処理によるエッジ抽出結果の例のアスペクト比 >のアスペクト比12適応度（目的）関数抽出されたエッジの総数=適応度

× aspect

外接矩形の面積

1 if aspect > 10 ∩ > 50=
−1 otherwise

報酬
罰

適応度の最大化＝紙の境界線を抽出できる2つの閾値の自動決定が可能

13

GAによるパラメータ調整の様子

14

エッジ画像からの直線検出
直線検出の基礎的手法■ハフ変換◆途切れた不完全なエッジでも直線検出が可能

対象画像

エッジ抽出結果

直線検出結果15

ハフ変換の概要
不連続なエッジ=( ,)cos+

極座標に射影sin

全てのエッジ画素を射影する
16

投票に基づく直線検出
交点（投票数）が3極座標からxy空間に逆変換もし投票閾値が4のとき検出される直線は無し
もし投票閾値が2のとき1直線が該当不連続なエッジから直線検出が可能

ハフ変換の問題点：
投票閾値をどのように自動化？
17閾値無しハフ変換の概要
34100

1. ハフ変換の適用
2. 最大投票値を取得

300

3. 最大投票値に対応する直線を取得
1503518閾値無しハフ変換の概要
4. 外接矩形の設定
5. 取得した直線と各外接矩形への距離を計算
6. 距離が15画素未満のエッジを除去

19

閾値無しハフ変換の概要
100

4. 外接矩形の設定
5. 取得した直線と各外接矩形への距離を計算

150

6. 距離が15画素未満のエッジを除去全てのエッジが無くなるまで繰り返し
20

閾値無しハフ変換の概要
4. 外接矩形の設定
5. 取得した直線と各外接矩形への距離を計算
6. 距離が15画素未満のエッジを除去

全てのエッジが無くなるまで繰り返し
21

閾値無しハフ変換の概要
4. 外接矩形の設定5. 取得した直線と各外接矩形への距離を計算
6. 距離が15画素未満のエッジを除去

投票閾値無しで直線検出が可能
22

直線検出の様子

提案手法による直線検出とエッジ除去の様子検出された直線閾値設定無しでも直線の検出が可能
23

実験結果
Chenらの手法

F値

提案手法
0.995

平均時間 (ms)

3520

0.04

0.945

24

提案手法のまとめ
ウェブカメラ＋画像処理で紙の枚数計測■画像処理パラメータはAIで自動化◆明るさや並べ方の変化に対応可能◆人の介在が不要◆固定閾値を使用する他手法より高精度■高解像度なカメラの使用◆z軸方向に積み上げられた紙の枚数計測が可能■結局は境界線を検出する手法◆境界線が表れる物なら何でも計測可能
25

提案手法の改良（最新版）
具体的内容■実験に使用する脂取り紙の種類を6種類へ◆材質と見た目の変化に対応可能か調査■処理時間の短縮◆画像サイズを縮小＋アルゴリズムの並列化■紙に表れる影による誤検出の抑制
J. Sato, et al., “Vision-based Facial Oil Blotting Paper Counting”,
IEEJ Transactions on Electrical and Electronic Engineering,vol.14, no.6, pp.899-907, 201926

対象とした脂取り紙と撮影画像

27

処理時間短縮と誤検出抑制
640×480から611×100を切り取って使用
アルゴリズムの並列化
影による誤検出の抑制

28

実験結果
さらなる精度向上と高速化を達成

平均F値

最新の提案手法
0.990

以前の提案手法
0.963

手法の種類

Chenらの手法

最新の提案手法

平均時間（ms）
269.5

以前の提案手法

2612.8以前の提案手法＋並列化

1420.1

Chenらの手法

0.2

Chenらの手法＋並列化

5.8

0.962

29

検出結果例30

実用化に向けた課題
ライン（実環境）への組み込みが未実施■実用化に必要な機材や装置の選定が必要■画像処理アルゴリズムの改善も必要

より実用的な環境での実証実験が必要
31

開発技術の汎用性や発展性
本技術は線らしいものを数える技術■脂取り紙以外の物体に対応可能■例◆印刷用紙，お札，本棚の本，薬◆（JSTイノベーションジャパンにて）：鉄板，髪の毛

AIによる複数パラメータの最適化技術■様々な問題に適用可能◆最適な部品配置決定◆作業従事者の動線デザイン等

ものづくりの生産性向上

32

開発技術の具体的な適用可能性
商品の箱詰めレイアウト生成■可能な限り隙間なく商品を積むには？
◆ロボットと組み合わせて自動化可能

配達物の配送計画表の自動生成
家の間取りや家具の最適な配置決定■人や障がい者の暮らしを支える技術

最適な勤務表や時間割生成
商品デザイン■見た目の美しさと機能性の折衷案自動取得

33

本技術に関する知的財産権
発明の名称：画像解析プログラム
発明者：佐藤惇哉、山田貴孝、小出トオル
出願人：国立大学法人岐阜大学
出願番号：特願2018-075772

34

お問い合わせ先
岐阜大学■研究推進・社会連携機構 神谷 英昭

TEL：０５８－２９３－３１８２
FAX：０５８－２９３－３３４６
E-mail：h_kamiya@gifu-u.ac.jp

35