茨城県産業技術イノベーションセンター研究報告 第 49 号

ワークライフバランスに貢献するサイバー・フィジカル製造業
青木１. はじめに中小製造業の人手不足が問題とされる中、働きやすい環境提供が課題となっている。事務系でのテレワークの推進では環境づくりが進んでいる一方で、製造、検査などの現場業務では、テレワークの導入は難しいとされている。1)
人手不足を補う方法として工程の自動化があるが、自動化のためにロボットを導入しても、生産する製品が変わるたびに、専門の技術者が現場でロボットを動かしながら動作プログラムを作成する必要があるため、テレワークで対応することができない。また、自動化の実現が難しい工程も多く、例えば光沢品の検査などは今でも多くの人手を必要としている。
そこで、当センターでは、製造業のテレワーク導入や光沢品の自動検査など、現場の人手不足に対応する課題解決に向けて、筑波大学、株式会社クリアタクト、株式会社エーテックと共同で２つのシステムの開発を行った。
２．目的
本研究では、課題解決に向けて以下の２つのシステム要素技術の開発を行った。

邦知 * 平間 毅 *岡田真 **

３．研究内容3.1 VR テレワークシステム
遠隔地からロボットを操作・教示するためには、現場の状況を適切に把握し教示者へ提示するシステムが求められる。そこで本研究では、ロボット周辺の環境を可視化するため、以下の開発を行った。
3.1.1 深度センサによる 3 次元情報の可視化
複数の固定 RGBD カメラ（カラーカメラ＋深度センサ）で取得した色付き点群を統合することにより、ロボット周辺の 3 次元情報を可視化する機能を開発した。
カメラ出力を統合するためには、カメラ間の位置姿勢関係を算出する必要がある。そこで本研究では、複数の固定カメラから形状既知の同一マーカを撮影することで、カメラ間の位置姿勢関係を推定した。
算出した位置姿勢関係をもとに、RGBD カメラで取得した情報を統合・可視化した映像を図 1 に示す。
なお、
本研究では RGBD カメラに RealSense D435（Intel 株式会社）を用いた。

2.1 VR テレワークシステム
本システムは、多くの人が操作方法を習得しているスマートフォンを利用して、離れた場所からロボットを遠隔操作し、動作プログラムを作成することができる。このシステムを利用すれば、自宅や出張先などからロボットの教示作業などができるようになり、空いた時間を上手に使うことでワークライフバランスに適応した新しい働き方が実現できる。
当センターでは、システムに搭載する機能の 1 つで、離れた場所で操作する人に空間的な情報を提示することを目的とし、ロボットや対象物の配置、周辺環境を把握する機能を開発した。
2.2 AI 検査支援システム
光沢品など、これまで自動検査が難しいとされていた製品も AI を用いることで、自動化ができるようになってきた。しかし、AI の構築には欠陥画像に加えて、それらに関連した位置情報など多くの学習データが必要となるため、生産する製品が頻繁に変わることが多い中小企業の生産現場への適用は難しい状況である。
そこで、自動検査等に向けた AI を構築し易くするため、学習データを簡便に収集できるシステムを開発した。
当所では、自動記録による学習データの採取を行うことを目的に検査熟練者の製品視点のポイントを取得するタッチパネルと動かし方を再現するロボットシステムを組み合わせ、検査のノウハウを取得するシステムを開発した。
*

研究推進グループ**

IT・マテリアルグループ

図 1 RGBD カメラで取得した情報の可視化結果
3.1.2 複数カメラによる周辺状況の可視化
3.1.1 による 3 次元情報の可視化に加え、USB カラーカメラをロボットシステム周辺に配置し、遠隔地から各カメラの映像を確認可能な環境を構築した。
さらに、ロボットをカメラ座標系の下で操作することを想定し、ロボット手先に形状既知のマーカを取り付け、マーカを撮影した画像群からカメラとロボット間の位置姿勢関係を算出した。
3.1.3 距離情報の提示
ロボットを遠隔操作するにあたり、ロボットと周辺茨城県産業技術イノベーションセンター研究報告 第 49 号

環境の距離を計測することで操作性向上が期待できる。
そこで、3.1.1 での可視化結果に対して指定した 2 点間の距離を計測し、提示する機能の開発を行った。
距離情報には、指定した 2 点を画面上へ平行投影した際の距離及び画面に垂直な面に平行投影した際の距離（奥行情報）の 2 つの情報を提示することとした。
図 2 に計測結果の可視化例を示す。

計測位置始点
計測位置終点

点群データとの位置合わせを行うことで、位置姿勢の推定を試みた。位置合わせ手法は、局所特徴量を用いた粗い位置合わせと ICP（Iterative Closest Point）による細かな位置合わせを組み合わせた手法とし、実際の企業現場で用いられているワークに対して位置合わせを検討したところ、良好な位置合わせ結果が得られることを確認した。
以上の結果を用いて、システムによる操作補助や点群データの隠れ領域を CAD モデルで補完し可視領域を拡張することが可能になる。
3.1.5 VR テレワークシステムプロトタイプの開発
研摩作業を想定したロボットシステムを構築し、タブレット等を用いて遠隔地からロボットを操作するシステムのプロトタイプを開発した。図 4 にプロトタイプシステムの外観を示す。
3次元センサ

図 2 距離計測結果の可視化
3.1.4 対象物の位置姿勢推定
対象物に対する作業を指示するためには、高精度かつ高分解能の動作生成が必要となる。そのため、動作の微調整等、システムによる遠隔操作時の操作補助を実現するには、対象物（研摩作業の現場では、例えばワークやグラインダー等）の位置姿勢を特に高い精度で特定する必要がある。そこで、高精度 AR マーカによる位置姿勢推定及び点群と CAD モデルのフィッティングによる位置姿勢推定の 2 手法について検討を行った。
高精度 AR マーカによる位置姿勢推定では、
固定カメ
ラにより高精度 AR マーカの位置姿勢を推定し、3.1.2で求めたカメラ、ロボット間の位置姿勢関係と合わせて、ロボット、高精度 AR マーカ間の位置姿勢関係を求めた。また、対象物と高精度 AR マーカの位置姿勢関係を既知とするための固定治具を作成することで、ロボット、対象物間の位置姿勢関係を算出した。
以上より、ロボットから見た対象物の位置姿勢を把握することが可能となった。なお、本研究では、高精度 AR マーカに6D-MARKER（株式会社フォトロン）を用いた。図 3 にワーク座標系が上部に設定されたワークの位置姿勢推定結果を示す。

図 3 ワークの位置姿勢推定結果
点群と CAD モデルのフィッティングについては、CADモデルを点群データに変換し、RGBD カメラで取得したカラーカメラ

RGBD カメラ

グラインダー

作業用ロボット

作業モニタ用ロボット
ワーク

図 4 VR テレワークシステム外観図（上：全体外観、下：ロボット周辺拡大図）
システムは作業用ロボット及び作業モニタ用ロボッ
トの 2 台で構成され、作業用ロボットの手先にはハンド及び RGBD カメラ、また作業モニタ用ロボットの手先には RGBD カメラが取り付けられている。
操作者は架台およびロボットに取り付けられたカメラの画像情報等を遠隔地から汎用タブレットを用いて確認しつつ、ロボット操作を行う。
また、汎用タブレットによるロボット操作では、画面をタッチ・スライドすることで対象ロボットを操作するタッチ操作モード（操作座標系はモニタしているカメラの画像座標系）、または一般的なティーチングペンダントを模擬したモード（操作座標系はロボット直茨城県産業技術イノベーションセンター研究報告 第 49 号

交座標系）が選択できる。
3.2 AI 検査支援システム
AI 検査支援システムの構成イメージを図 5 に示す。
本システムは、下記のようなフローにより、熟練者の検査作業から AI 構築に必要な欠陥データ情報や検査対象の動かし方を収集することを目的としている。
①欠陥データ情報②検査対象の動かし動作

熟練者が欠陥部分をタロボットが把持した対象を熟練ッチすることで、欠陥画者がマーカを介して動かし、軌像を保存する。

跡を保存する。

を用いてロボットに動作指示を出す方法を実装したが、検査者の傾け動作に対してロボットの追従に遅れが生じていた。このため、新たに servo_cartesian コマンドを用いて数十から数百 Hz の任意の周波数で支持する座標位置を更新するプログラムに置き換えたところ、ロボットの遅れが解消され、ストレスなく検査者の傾け動作を追従するロボット動作が実現できた。

検査者の動かしデータ

対象の見え方を検査者にフィードバック
マーカ

図 5 AI 検査支援システムの構成
3.2.1 光沢物の欠陥検査
光沢物の欠陥検査は、光源やカメラと欠陥の位置関係によって、欠陥の見え方が大きく変わるため、検査者が検査対象を光源の下で動かすことで、図 6 に示すように欠陥部を見えやすくし、検査を行っている。

検査者
図 7 ロボットシステム
3.2.3 学習データの収集本システムを用いて、AI 自動検査に用いる欠陥画像の収集を行った。このシステムでは、あらかじめ少量データにより学習したモデルを用いて、現在検査者が見ている撮像画像から欠陥候補を検査者に提示するシステムを実装している。これにより、検査者は、欠陥候補のうち真に欠陥であるものをタッチすると、欠陥部の画像および位置情報を保存でき、AI 用学習データの蓄積が可能となる。

図 6 動かし動作により強調された欠陥部
3.2.2 ロボットシステム構築したシステムを図 7 に示した。 ロボットはTechShare 社製 Xarm6（研究用：可搬重量 5kg）、カメラは東芝 Teli 社製のフル HD(1920×1080pix)とし、照明は実際の検査現場に近い形でバー照明を用いた。検査者がマーカを傾けるとそれに応じて、ロボットが把持している検査対象を同じ向きに傾けるようになっている。検査対象はカメラで撮像し、検査者が撮像画像をリアルタイムでモニターを介して確認できるようになっている。
ロボットの制御方法は、マーカから得られた座標情報を逐次xARM-SDK で用意しているmove_lineコマンド

欠陥候補
図 8 欠陥候補の提示
４．研究結果と考察
4.1 VR テレワークシステム開発したプロトタイプを用い、協力企業の作業者（ロボット教示作業の熟練者１名、初心者１名）を対象に遠隔操作の官能評価を実施した。操作内容は、汎用タ茨城県産業技術イノベーションセンター研究報告 第 49 号

ブレットのタッチ操作モード及び模擬ティーチングペ
ンダントモードにより作業用ロボットのワーク把持と研摩加工のためのグラインダー当ての教示を行うこととした。
結果を表1に示す。本システムにより熟練者、初心者ともにロボット教示を完了することができたが、タッチ操作モードでは教示に要した時間が熟練者に比べ、初心者の方が短くなった。これは、初心者はタッチ操作により直感的に操作できたのに対し、熟練者は従来手法における知識との違いから、タッチ操作への戸惑いがあったためと考えられる。また、模擬ティーチン
グペンダントモードに比べ、タッチ操作モードでは教示に要した時間が長い傾向にあるが、これは、タッチ操作モードには位置を微調整する機能がなく、把持位置等の微調整に時間を要したためと考えられる。

4.2.2 AI による欠陥検出の性能評価
欠陥検出の性能評価のため、未学習の画像データをAI に入力し、判別精度を評価する実験を行った。使用した AI は 3,718 枚の欠陥画像で学習しており、性能評
価には、欠陥画像 50 枚、欠陥でない画像 50 枚を使用した。欠陥検出アルゴリズムには、SSD2）を用いている。
SSD による欠陥検出は、欠陥認識の感度を調整することができる。それぞれの感度でどの程度の性能が得られるか、評価を行った。結果（図 9）に示すとおり、しきい値 0.46 で 90%の欠陥を検出できた。

表1 実験結果
タッチ操作モード
熟練者

初心者

教示が完了したかどうか○○

教示に要した時間

13m30s

11m20s非常停止の回数0回

0回

模擬ティーチングペンダントモード
熟練者

初心者

教示が完了したかどうか○○

教示に要した時間

6m45s

10m20s非常停止の回数11

また、実験後にヒアリングを実施し、ユーザー視点での改良点を抽出した。改良要望のあった機能を以下に示す。
・位置制御による微調整機能の追加
・カメラ選択時のユーザーインターフェース改良
・移動軸拘束機能の追加
今後、これらの機能について、開発及びシステムへの実装を検討していく。
4.2 AI検査支援システム
4.2.1 協力企業による官能評価企業の協力を得て、学習データの収集フェーズにおけるシステムの操作性に関する官能評価実験を実施した。
その結果、ロボットの応答性については、良好な結果が得られたが、欠陥候補の提示機能に関しては、一部、欠陥であるのに検出できていないなどの課題が明らかになった。学習データの収集フェーズでは、少量データで学習したモデルを用いているため、欠陥候補検出の精度の向上が見込めない。この課題への対応として、欠陥候補提示機能を省略して検査者がタッチしたポイントの情報から学習データの収集を行うことや欠陥候補を検出する感度を高めるなどが考えられる。

図9 SSDの結果開発したシステムを現場で利用する場合、判別精度に加えてサイクルタイムも重要となる。今回、システ
ムとロボットが連携する検査システムを試作し、サイクルタイムの検証を行った。結果を表2に示す。
表2 欠陥検査工程のサイクルタイム結果
測定回数
測定結果
1回目
7.37[s]
2回目
7.74[s]
3回目
6.70[s]平均7.27[s]
５．まとめVRテレワークシステムの開発では、システムに搭載する機能として、ロボットや対象物の配置、周辺環境を把握する機能を開発し、離れた場所で操作する人に空間的な情報を提示した。さらに、プロトタイプを開発、ロボットの教示作業を完了することができた。
また、AI検査支援システムの開発では、AI検査支援システムを構築し、協力企業による官能評価によりロボットの応答性など、良好な結果が得られた。
さらに、拡張機能として、AIによる自動検査機能を実装し、検査時間約７秒、90%の欠陥検出を実現した。
６．参考文献等
1) パーソル総合研究所「第３回・新型コロナウイルス対策によるテレワークへの影響に関する緊急調査」
https://rc.persol-group.co.jp/research/activity/
files/telework-survey3.pdf(2021.2.18)
2) Wei Liu、et al.、”SSD: Single Shot Multibox
Detector” 、 Computer Vision-ECCV2016pp21-37 、016.