Proceedings of 5th International Symposium 2024 by the International Research Center for Color Science and Art

プラスチック用自動色分析システム：ロボットアームとカラーセン
サの統合
Automated Color Analysis System for Plastics: Integrating a Robotic Arm and Color Sensors

姜有宣*, 辛徳*Yousun Kang and Duk Shin
東京工芸大学，243-0297 神奈川県厚木市飯山南5－45－1* Tokyo Polytechnic Univ., 5-45-1 Iiyama-minami, Atsugi, Kanagawa 243-0297, Japan概要
日本では少子高齢化が進み，特に製造業界での就業人口の減少が深刻な社会問題となっている．多くの企業が工場の自動化を進めているが，人の判断に依存して行っている検査工程を自動化するのは現状困難である．本研究では，車体のプラスチック部品の色検査のため，ロボットアームとカラーセンサを組み合わせた新たな自動化システムを提案する．このシステムは，多種多様な色や形をした自動車部品の検査工程を深層学習とロボットアーム技術を利用し，自動化を目指す．精密な検査工程作業が可能なことからヒューマンエラーを防止し，製造業における効率性と品質の向上に期待できる．
1.はじめに
近年，工場の自動化ではAIやIoTの技術を導入し，センサやデバイスをネットワークに接続し，リアルタイムでデータを収集，分析を行い生産プロセスのモニタリングやリモート制御，外観検査などを行っている．特に画像認識の技術を利用し，外観検査システムを実装する
ことで，物体の形に異常がないか，異物が混入していないかなどの検査を行っている．このシステムは，自動車製造の車の組み立てラインや食品産業における外観検査などに用いられている．
本研究では自動車部品の生産ラインで塗装したプラスチック部品の色検査を自動的に行うシステムを提案する．ここで色検査というのは，塗装したプラスチック部品の色が元々提供された基準色に比べてどのくらい色差があるか調べる作業である．その作業を人間の目に依存するとヒューマンエラーが発生する恐れもあるからロボットやAIを導入することで，人間が検査を行うより作業の効率や安定が望める．提案した色検査システムは，高い精度のカラーセンサとそのセンサを制御するアクチュエータが必要となる．ロボットアームの先端にカラーセンサを取り付けることにより，色検査システムの自動化を図る．
2.導入した小型ロボットアーム
現在ロボットアームを導入している産業では，数多くの用途のロボットアームが導入されている．中でも垂直多関節ロボットは，現在の製造現場で最も主流なロボットである．このロボットアームは，人の関節の働きに近く，軸が多いほど様々な場所に自由に移動できる．本研究
では，教育用に開発された小型アームロボット（DOBOTMagician、Dobot社）を使用する．小型アームロボットは，16cm×16cmのスペースに設置できる4軸の低価格デスクトップ・ロボットアームである．
3. 高性能のカラーセンサ
本研究では光ファイバーケーブルが内蔵されたカラーセンサをコントローラに接続し正確なカラー値を測定する．このセンサを利用するとプラスチック部品の色の細かな違いや抜け，むらなどが原因となる不良品を検知することができる．使用したカラーセンサはMicro-epsilon社の角度付きセンサCFS1とリングセンサCFS2，コントローラはCFO200である．
図1に示したように角度付きセンサCFS1は，測定する対象物の表面に影響を与えることがなく, 正確な照明を当てることができる. 表面の色の拡散反射した部分のみを検出するので直接反射（室内の照明などによって反射された表面の光沢）は測定には影響しなので, 高光沢面や拡散反射する表面に適している．照射された光は、対象物に対して14º，20º ，45ºの角度で検査対象部品の表面に横向きに照射される．リングセンサCFS2は，構造や反射に関係なく拡散反射色を検出することができる．光沢のある金属表面，白色シェードなどの色を識別するのに適している．リングセンサCFS2は図1の右側に示す．

Fig. 1 Appearance of the four types of color sensors(From left to CFS1 20º, CFS1 14º, CFS1 45º, and CFS2)

Proceedings of 5th International Symposium 2024 by the International Research Center for Color Science and Art
4. 物体認識による3次元空間上の座標取得
カラーセンサは部品の表面に光を照射する際にセンサまでの距離に非常に敏感である．図2(a)に示す
ように，ロボットアームを用いることで揺れのない安定した状態でプラスチック部品の色の測定ができる．ロボットアームを任意の位置へ動かすためには，3次元空間上のX，Y，Z軸の座標値を指定する必要がある．本研究では，深度計測が可能な深度カメラ（Intel RealSense Depth Camera D415，Intel社）を利用し，測定する部品の3次元座標値を取得する．ロ
ボットアームを上から見たときのX，Y，Z軸は，Xが垂直(vertical)，Yが水平(horizontal)，Zが奥行き（height）になり，この座標値はmm単位で指定できる．カメラとロボットアームの位置座標を合わせるため，事前にキャリブレーションを行う必要がある．
深度カメラから部品を撮影したカラー画像は図2(b)に示す．このカラー画像を用いて領域分割した
結果は図2(c)の左側に示す．図2(c)の右側は深度カメラから撮影した入力画像で部品までの奥行を表している．カラー画像から物体認識手法を用いてプラスチック部品の3次元の位置情報が得られる．本研
究ではプラスチック部品の種類を認識するために，
Faster R-CNN(Region-based Convolutional NeuralNetworks)アルゴリズム[1]を使用した．Faster R-CNN
アルゴリズムは，深層学習に基づく物体検出のためのアルゴリズムで，特にリアルタイムでの物体検出と位置特定において優れた性能を持っている．FasterR-CNNを用いることによりプラスチック部品の種類を高速かつ正確に識別できた．

5. 実験結果
本実験では図3に示した2個のプラスチック部品の色差を測定し，良品と不良品の判断を行った．工場から指定された部品の色の基準値はL*a*b*色空間での座標値，(73.08, 11.73, 70.35)である．色差を表すため，式(1)のような を使用した．この 値は3.0を基準として値がその以上大きくなると色が違う不良品に判断する．
式(1)

角度付きセンサCFS1(45º)を用いて測定したカラー値と色差 の結果を表1に示す．実験結果，良品は=3を下回っており実用的な製品であることが検証できた．
不良品は，= 3から大きく離れていることから正しく不良品であることが検証できた．

Fig. 3 Appearance of good(left) and defective(right)
products by color difference
Table 1 Color value(L*a*b*) and color differences
between good and defective productsL*a*b*(a)(b)standardvalue
73.08
11.73
70.35

goodproducts
71.89
9.68
71.39
2.5885defectiveproducts
84.37
7.15
85.41
19.37126. 結論
本研究では, 自動車工場の検査工程における自動化システムの実現を目的とし，色の測定や色差を求めるシステムを提案した．小型ロボットアームとカラーセン
サCFSとコントローラCFOを利用し自動車部品の色をLab値で求め，色差 を計算し良品と不良品を検出した．
参考文献

(c)
Fig. 2 (a) Robot arm measuring color values using acolor sensor (b) Input RBG image (c) Segmented partimage(left) and its depth image(right)[1] S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN:
Towards Real-Time Object Detection with Region
Proposal Networks," in Proceedings of the IEEE
International Conference on Computer Vision (ICCV),
2015, pp. 91-99.