茨城県産業技術イノベーションセンター研究報告 第 51 号

スピニング加工に関する ハンドル角度・複数視点映像の同時記録システムの開発
富田 洋文 *

河原 航 *

原田 壮太郎 **１. はじめにた。図 2 に、スピニング加工機のハンドルと、そのハ
日本鏡板工業株式会社では、円板から3次元形状を成ンドルの角度を定量化する角度情報送信機を示す。
型するためのスピニング加工機を保有しているが、作業者の高齢化が進んでいるため、若手作業者への技能マイコンとハンドル０継承が急務となっている。この加工は熟練された技能センサーと勘による作業が多く、言葉や文字での伝達が困難であることから、技能継承には長い時間を要する。
また作業者へのヒアリングを実施したところ、成形物のどこを見て、どの程度加工機のハンドルを動かすハンドル１かがノウハウの１つであることが分かった。
そこで、若手作業者への技能継承に必要な時間の短ハンドル３縮を図るため、ハンドル操作時のハンドル角度（位置）を定量化する技術と、この定量化したデータと作業時の複数視点映像を同時に記録する技術の開発を行った。
ハンドル２バッテリー

２．研究目的と課題に対する提案
本研究では、ハンドル角度の取得と複数視点映像の同時収集が可能なシステムの研究開発を目的とする。
本研究を実施するにあたり以下の課題がある。
① ハンドル角度のデータ収集② 複数視点映像の同時取得③ ①と②を同期したデータの表示・記録①については、ハンドルに角度を検出するセンサーを取り付けることで、角度情報を取得および記録することを試みた。
②については、映像集約装置の使用とその装置から出力される映像を処理することを試みた。
さらに、①と②で得られたデータを同時に１つの画面に表示し、かつそれらのデータを同時記録できるソフトウェアを開発した。
本研究では、図 1 のようなハンドル角度・複数視点映像同時記録システムを開発し、ハンドルに角度を検出するセンサーを取り付けることで、角度情報を取得および記録することを試みた。

図 2 スピニング加工機のハンドル操作の様子（左）とハンドル角度送信機（右）図 3 に、ハンドル角度のデータ取得の流れを示す。
ハンドル角度を取得するために、無線送受信機によって角度データをやり取りし、そのデータをシステム制
御 PC（システム全体において共通で使用）に送信した。
ハンドル角度の送信機は IMU(慣性計測装置)センサー、マイコン、バッテリー、ケースで構成し、IMU センサ
ーに9 軸センサーBMX055 を、送信機のマイコンにESP32を用いた。ハンドル角度受信機も送信機と同様にESP32 マイコンを用い、ESP-NOW 1)という無線通信機能により角度データの送受信を行った。システム制御 PC
は、日本鏡板工業株式会社の PC を用いた。

図 3 9 軸 IMU センサーから可視化ソフトまでの流れ

図 1 ハンドル角度・複数視点映像同時記録システムの概要図
３．研究内容3.1 ハンドルの角度データの取得
本研究では、スピニング加工機のハンドルに軽量かつ小型な装置を装着し、無線によるデータ収集を試み*

IT・マテリアルグループ**

日本鏡板工業株式会社

3.2 複数視点映像の同時取得
事前調査から、複数視点のカメラ映像の同期および記録をどのように実現するかが課題となった。
この課題に対しては、開発の容易化を図るため、複数の映像を入力できるハードウェアを活用し、さらにその画像にリサイズや切り取りといった処理を施すことで、複数視点の映像を同時に表示及び記録することを試みた。図 4 に、複数のカメラ映像からシステム制御 PC の可視化ソフトまでの流れを示す。

茨城県産業技術イノベーションセンター研究報告 第 51 号

図 4 カメラ映像から可視化ソフトまでの流れ
本研究で使用するカメラの数は 3 台とした。これらのカメラが撮影した作業時の様子を、図 5 のソフト画面上部（左からカメラ 1、カメラ 2、カメラ 3）に示す。
カメラ１は製品である鏡板を真横から撮影するように設置し、カメラ 2 は作業者が操作するハンドルの様子を撮影するように設置し、カメラ 3 は製品と加工機が接触する加工部を注視するように設置した。このカメ
ラ 3 に関して、撮影位置から映像集約装置までの距離が約 15 m あったため、価格コストを考慮し、HDMI から有線LAN ケーブルに変換できるHDMI エクステンダー(Euscmaic EEX01）を使用し、カメラ映像の長距離伝送を可能にした。
また、映像集約装置は ATEM Mini Pro 2)を使用した。
この装置は複数の映像を 1 つの画面に同時に映し出す機能も備えている。この同時出力映像はキャプチャボード（Chilison VC-01）を通してシステム制御 PC に出力され、映像を受け取ったシステム制御 PC が映像のトリミング処理を行い、図 5 のように、ソフトウェア上部に複数のカメラ映像を表示した。

図 5 複数視点映像・ハンドル角度可視化ソフト
3.3 ハンドル角度・複数視点映像収集ソフト
本研究では、複数視点映像とハンドル角度データを同時に可視化および記録するソフトを開発した。このソフトは Processing を用いて開発した。ソフトの画面を図 5 に示す。このソフトは、先述したカメラ映像を表示する部分とハンドル情報を表示する部分に分けられる。
ハンドル情報表示部分は、4 つのハンドルの角度可視化部とグラフ表示部があり、角度可視化部ではハンドルの動きとリアルタイムで同期したハンドル画像をソフト上で確認できる。グラフ表示部では過去約１分半の角度データを折れ線グラフとして閲覧できる。また、ハンドル角度を記録する機能を有しており、csv

ファイルで時間軸に対する各ハンドル角度の値を確認することができる。
さらに、本ソフトは１分ごとにソフト画面全体の画像をキャプチャする機能と、ハンドルをトリガーにしてソフト画面をキャプチャする機能を有する。このハンドルのトリガーは、指定したハンドルを 20°上下または元に戻すと、そのときのソフト画面をキャプチャする。この機能は調べたいハンドルについて、いつ、どのような製品の状況で、そのハンドルを操作していたのかを振り返るために設けた。
また、本ソフトは Windows PC に備わる画面録画機能を用いて、ソフト画面を動画として残すことも可能である。
3.4 データ収集実験と作業者へのヒアリングの実施
本システムを 1 名の作業者に実際に使用してもらい、実験後すぐに得られたデータを作業者に示し、本システムに関するヒアリングを実施した。
ヒアリングの結果、ハンドル角度送信機の小型化の効果が見込めたが、ハンドル角度情報のみの可視化だけでは有用性があるとは言えない結果となった。ハン
ドル角度以外にもハンドルから手にかかる圧力情報、スピニング加工機と製品の接触部の位置座標や熱情報をデータ収集することで、より有用性のあるシステムになるという結論に至った。
また、複数視点映像の表示・再生は有用だが、撮影画像の拡大機能やカメラの細かい位置姿勢の調整が必要であることが分かった。
４．まとめ
本研究では、スピニング加工機のノウハウの可視化を目指し、ハンドル角度データと複数視点映像の同時収集システムを開発した。ハンドル角度データついて、9軸センサーやマイコンで構成された小型装置を開発することで、ハンドル角度の定量データを無線で送信できるようになった。これにより、作業に影響なくデータを収集できるようになった。また複数視点映像について、映像集約装置と映像を切り取る画像処理を用いることで、ハンドル角度情報と同時に表示することが可能となった。これらを記録・再生することで、作業者との作業内容を振り返ることができ、ノウハウについての議論の活性化を図ることができた。
今後も引き続き、作業者へのヒアリングを続け、ハンドル角度以外のデータ取得、カメラ映像の拡大や完成図との比較など、システムの機能拡張をしていき、より有用性のあるデータ収集システムを模索していく。
５．参考文献等1)https://www.espressif.com/en/products/software/esp-now/overview2) https://www.blackmagicdesign.com/jp