茨城県産業技術イノベーションセンター研究報告 第 50 号

スマートグラス対応配線検査システムの開発
平間 毅 *
１. はじめに有限会社旭電機製作所では配電盤配線検査（端子間の導通確認）の省力化を図るため、検査手順の電子化を進めるとともに、PC上で作業者に次確認箇所の端子番号を提示する配線検査システムを開発した。しかし、現状のシステムでは端子番号が固定ディスプレイに表示される仕様となっており、寸法の大きい配電盤を検査する場合に固定ディスプレイが作業者の死角になることやディスプレイから離れた位置で視認性が悪化することによる作業効率の低下が課題となっていた。
そこで当センターでは、配線検査システムの視認性を改善するため、作業者に対してスマートグラスを介して端子情報を提示できるスマートグラス対応配線検査システムの開発に取り組んだ。
２．目的
本共同研究では、スマートグラスに Microsoft 社製
HoloLens2 を用い、空間の自由な位置に画像を表示する機能及び表示画像を通じてシステムを操作する機能を活かして、既存の配線検査システムを操作する
HoloLens2 対応配線検査システムを開発した。
３．開発内容3.1 システム構成
既存配線検査システムは PC（OS：Windows10）上で動作するスタンドアローンなソフトウェアとして提供されており、本開発では現状のソフトウェアを再利用する形での構成を検討した。システムの全体構成を図 1に示す。

図 1 全体構成図
ここで、PC と HoloLens2 は無線ルータを介して同一セグメントに配置し、PC と HoloLens2 の接続を補助する PC ソフトウェア（以下、接続補助ソフト）及びHoloLens2 で動作するソフトウェア（以下、HoloLens2ソフト）を新たに開発した。
接続補助ソフト及び HoloLens2 ソフトが有する機能を以下に示す。
*研究推進グループ**

有限会社旭電機製作所

薄井 恒夫 **

菊本 能充 **

〇接続補助ソフト・PC の表示画面を HoloLens2 へ送信
・HoloLens2 の画面タッチ信号をもとに PC 上に表示された既存配線検査システムを操作〇HoloLens2 ソフト
・PC の表示画面を作業者に提示
・作業者の画像タッチ位置情報を PC へ送信
・作業者の指操作により提示画像を空間の自由な位置へ配置可能
また、本開発では PC 及び HoloLens2 間通信のためROS（Robot Operating System）を導入し、ROS が提供
す る ト ピ ッ ク 通 信 を 利 用 し た 。 ROS は PC 上 のWSL(Windows Subsystem for Linux)に構築した Ubuntu
18.04.LTS にインストールし、外部と WebSocket 経由で ROS のパケットをやり取りするため、追加パッケージとして rosbridge_server をインストールした。
3.2 接続補助ソフトの開発
接続補助ソフトの開発には Visual C# 2019 を用い、ROS 通信のために ros-sharp ライブラリを使用した。
本ソフトでは、PC 画面を一定間隔でキャプチャし、画像情報をトピックとして配信する処理を実装した。
また、HoloLens2 上で表示された画面のタッチ操作を既存配線検査システムに反映させるため、HoloLens2から配信された画像タッチ位置情報のトピックを購読し、得られたタッチ位置へのマウス移動及びクリックを自動実行する処理を実装した。ここで、マウス移動及びクリックの自動化には Windows システムが提供する Windows API 関数を用いた。
3.3 HoloLens2 ソフトの開発
HoloLens2 ソフトの開発には Unity を用い、MR 開発ツールとして MRTK（Mixed Reality Toolkit）ライブラリを使用した。また、ROS 通信のために ros-sharp
Unity3D ライブラリを使用した。
本ソフトでは、PC から配信された画像情報のトピックを購読し、HoloLens2 のディスプレイに映像を表示する処理及び HoloLens2 に表示した映像を作業者がタッチしたことを検出し、そのタッチ位置をトピックとして PC へ配信する処理を実装した。ここで、HoloLens2のディスプレイに映像を表示するため MRTK より提供されるスレートプレハブを使用した。
スレートプレハブは、2D コンテンツを表示するための薄いウィンドウスタイルのコントロールであり、作業者の指を認識し、指操作でウィンドウの移動や拡大縮小を行う機能が提供されている。図 2 に HoloLens2で表示されるディスプレイ及びウィンドウ操作位置を茨城県産業技術イノベーションセンター研究報告 第 50 号示す。図 2 の①を親指と人差し指でつまみ移動することで、ウィンドウを自由な位置へ移動させることができる。また、②を親指と人差し指でつまみ対角線上に移動させることで、ウィンドウの拡大縮小を行うことができる。

図 2 HoloLens2 のディスプレイ画像
４．システム評価
4.1 通信時間評価
本システムにおいて、処理時間の多くは画像の通信に要する時間であると考えられる。そこで、画像伝送にかかる通信時間について評価を行った。通信規格はIEEE802.11a とし、PC 画面のキャプチャから、画像をHoloLens2 へ送信し、HoloLens2 からの受信信号を PCで受信するまでの時間を計測した。表 1 に各解像度における通信時間の結果を示す。
表 1 各解像度における通信時間
解像度

通信時間 (ms)(平均値±標準誤差、N=20)3840×2160

542±41

2560×1600422±22

1920×1080

319±181600× 900

282±141280× 720

208±11本システムでは、表 1 の通信時間及び既存配線検査システムでの見え方をできる限り維持することを考慮し、解像度を 1600×900 とした。
4.2 作業者によるシステム評価
配線検査の作業者を対象に、本開発で試作したシステムの実証評価を行い、HoloLens2 を介して空間の自由な位置に検査ウィンドウを表示する機能及び表示画像を通じて既存配線検査システムを操作する機能が適切に動作することを確認した。
また、実用化に向けた改善点について作業者へのヒアリング調査を行った。抽出した改善点を表 2 に示す。

表 2 改善点に関するコメント① 視認性を高めるために、HoloLens2 ディスプレイに表示される文字のサイズを大きくしたい。
② 視認性を高めるために、HoloLens2 での表示色や透明度を変更したい。
③ 既存配線検査システムでは配線先を音で知らせる機能が実装されており、HoloLens2 でも同様の機能を提供してほしい。
コメント①、②に関して、本開発では PC 画面を直接HoloLens2 上に表示する構成を採用しているため、HoloLens2 ソフト単独での改良は難しい。改善に向けて、HoloLens2 での視認性を考慮した上での既存配線検査システムの GUI（画面構成、文字サイズ、表示色等）改良が必要であると考えられる。
コメント③に関して、HoloLens2 ではスピーカを内蔵しているため、PC から音声データを HoloLens2 へ送信し、受信した音声データを HoloLens2 内蔵スピーカで再生する機能を実装することにより本コメントへの対応が可能であると考えられる。
５．まとめ
本共同研究では、既存配線検査システムの視認性を改善するため、HoloLens2 対応配線検査システムを試作した。本システムでは HoloLens2 及び既存配線検査システムの連動機能として、既存配線検査システムのPC 画面を HoloLens2 を介して空間の自由な位置に表示する機能及び HoloLens2 ディスプレイの操作を既存配線検査システムに反映する機能を実装した。また、画像伝送に要する通信時間を評価し、解像度 1600×900において 300ms 以内に処理時間が収まることを確認した。さらに、試作システムを用いて現場での機能確認を行うことで、今後に向けての改善点を抽出することができた。
６．今後の課題
HoloLens2 対応配線検査システムの実用化に向けた
今後の課題の一つとして、本共同研究で抽出した改善点の改良が挙げられる。また、HoloLens2 の特徴を活かし、3DCG で検査端子位置を直接指示する機能等の追加実装が期待される。