栃木県産業技術センター

研究報告No.20 (2023)

重点研究製造業における MR（複合現実）の有効性検証アプリケーションの開発
松本健司＊

島田智＊

Development of MixedReality Effectiveness Verification Application in Manufacturing
Matsumoto Kenji and SHIMADA Satoshi
5 軸マシニングセンタによる切削加工作業を対象に，作業工程指示や作業記録等の機能を持った MR アプリ
ケーションを開発した。作業工程指示では，着用者の手による直感的な操作や空間情報，設計時の３D モデル活用など MR の特徴を活かした機能を開発し，経験の浅い作業者でも一連の作業が完了できることを確認した。作業記録では，作業者視点の記録や進捗管理の機能を開発し，作業改善に有用と考えられるデータを取得することが出来た。
Key words: XR，DX，作業支援，スマートグラス, ウェアラブルデバイス

１ はじめに機能，アイトラッキング機能，空間マッピング機能を有DX（デジタルトランスフォーメーション）推進に活用し，広い視野角が確認されている。デジタルコンテンツできるデバイスとしてスマートグラスが注目されてお（以下，ホログラム）を空間上に配置し，直感的なユーり，それに関連して MR（複合現実）機能を有する MR グ

ザインタフェイスを構成できる。配置されたホログラム

ラス端末が多くの分野で導入を検討されている。MR とははハンドトラッキング機能により，自然な感覚で触る，現実とデジタルデータが混ざり合った領域を指す概念

掴む，動かすことが可能である（図３）。

である 1)。MR 活用により，DX 推進の選択肢が増え，製造業の抱える各種課題の解決が期待されている。しかし，MR は新しい技術分野であるため対応デバイスの流通が少なく，人材も不足しているため，特に中小企業では有益性の判断が難しい。
当センターでは令和 3 年度にスマートグラスを活用した作業支援に関する研究 2)を実施しているが，現場利用においては操作性に課題を感じており，より直感的な操図１

HoloLens2

作が可能な技術の必要性を感じている。
そこで本研究では，製造業の機械加工業務を想定したMR グラスのアプリケーションの開発に取り組む。アプリ
ケーション開発に取り組むことで，MR 対応デバイスに標準で準備されているアプリケーション等の紹介のみならず，各企業課題解決に向け，活用シーンに合わせた支援も可能になると考える。
２ 研究の方法
２.１ 使用機器（MR デバイス）
本研究では，Microsoft 製 HoloLens2 3)（図１，図２）を使用した。当機種はヘッドマウントディスプレー型であり，ディスプレイ越しに視界が確保されるシースルー

図２タイプである。音声コマンド認識，ハンドトラッキング＊

栃木県産業技術センター

機械電子技術部- 37 -

HoloLense2 着用時

栃木県産業技術センター

研究報告No.20 (2023)

図６
図３

着用者視点イメージ

想定作業向けアプリ開発概要

２.２.２ 設計
ホログラムによる作業指示及び作業時のデータ記録

２.２ 開発内容の機能を有するアプリケーションを設計した（図７）。

２.２.１ 想定対象

開発ツールには，Microsoft 社が主導するオープンソ

本研究では，5 軸マシニングセンタ（図４）による部ースプロジェクトである MRTK3 4)（図８）を用いた。MRTK3

品加工での利用を想定した。また，アプリケーション

では空間操作機能やユーザインタフェイス構成部品が開発に専念するため，既に手順及び加工関連のデータ提供されており，適切に利用することで MR アプリケーが確立している部品の加工（図５）をテストに用いてションを構築することができる。なお，本開発ツール開発を進めた。

は本研究の実施年度においてパブリックプレビュー版

本研究の開発アプリケーションは，従来，紙で出力しのみ提供されている。

ていた作業指示をホログラムに置き換えることを主目的とし，併せて作業記録の機能も有する（図６）。

図７

図４

DMG 森精機

アプリケーション設計概要

DMF180

図８
図５

加工概要

MRTK3

３ 結果及び考察
３.１ ホログラムによる作業指示
３.１.１

事前準備が必要なデータ

本アプリケーションでは，作業指示に関して，最低でも 2 種類のデータを必要と定めた。ひとつは作業者に- 38 -

栃木県産業技術センター

研究報告No.20 (2023)

割り振られた作業（オーダー）情報が記載されている CSV

3D モデルは中間ファイルから GLB 形式ファイルに変換

ファイル，もうひとつは作業指示内容（マニュアル）をしている。本研究では，オープンソースソフトウェアの構造化した JSON ファイルである。

Blender 5)を用いて，3D モデルを変換した。

CSV ファイルには，グラス着用者が現在取り組むべき治具，加工対象ワーク，加工エリア，工具突入位置な作業を列挙する（表１）。JSON ファイルには，作業毎にどを 3D モデルで視覚化することにより，効率よく干渉事前に定めた作業指示事項を記載する（表２）。

チェックや工具軌跡確認を実施できることが確認でき

本アプリケーションは，これらのファイルより取得した。

た情報を基に，作業指示ホログラムを構築する。
表１

オーダーCSV ファイル詳細

ヘッダ

ID

NAME

Manual

詳細

管理番号

作業名

参照先フォルダパス

表２
大項目

マニュアル JSON ファイル詳細
中項目

小項目

詳細

Name

マニュアル名Pdf

PDFファイル情報

Complete

加工完了

Data[ ]

Title

作業概要

Landmark

表示空間情報

Text

作業説明

Image

説明用画像情報Video

説明用動画情報Obj

３Dモデル情報図 10

3D モデルの活用

３.１.４ 移動を伴う作業のナビゲーション
各作業に作業エリアを設定することができ，事前に登録した座標情報を基にナビゲーションが表示される（図11）。ナビゲーションには，矢印アニメーションを作成し，使用した。座標情報は実空間上で作成する。本アプ
リケーションでは座標登録機能も実装した（図 12）。

RequestConfirm

Photo

撮影記録指示CheckList[ ]チェックリスト３.１.２ ユーザインタフェイス
ホログラムは，ウィンドウなどのインタフェイス構成部品を用いて表現され，現実空間上に重ねて表示される。HoloLens2 は着用者の手などの認識が可能なため，空間上のボタンを指で押すなど，直感的な操作が可能である。本アプリケーションは，表示内容に応じてレイアウトを自動調整し，空間上に表示する（図９）。

図９

図 11

作業指示ホログラム表示

作業エリアへのナビゲーション

図 12３.１.３ 設計時の 3D モデル活用
HoloLens2 では，設計ソフトから出力した 3D モデルをホログラムとして表示することも出来る（図 10）。なお，- 39 -

座標登録機能栃木県産業技術センター

研究報告No.20 (2023)

３.２ アプリケーションによる作業記録

加工段取り比較

３.２.１ 記録されるデータ
本アプリケーションでは，大きく分けて 2 種類のデータを保存する。ひとつは作業毎に作成される作業記録デ

加工未経験者ータ，もうひとつは作業日毎に作成されるアプリケーシ
ョン動作状況のログデータである。
加工経験者

作業記録データには，マニュアル JSON ファイル詳細（表 2）に完了フラグを追加した JSON ファイル及び作業0:00:00

時に撮影した画像データが含まれる。
３.２.２ 作業者視点写真による記録
マニュアル JSON ファイルは作成時に，作業毎に撮影0:07:12

0:14:24

0:21:36

0:28:48

0:36:00

ワーク確認

加工目標確認

加工機内確認

ワーク固定

記録

プローブ装着原点位置確認

傾き補正

XY原点設定Z原点設定

プローブ返却を求めるよう設定することができる。撮影を求める設定をした作業については，撮影を行わないと次の作業に進

図 14

ログデータを基にした作業時間比較

めないようになっている（図 13）。撮影では，着用者視点画像が保存され，保存された画像データは即時手元で４ おわりに確認できる。本研究においては，加工品の取付け状況や，開発したアプリケーションを利用し，作業未経験者で加工終了後の加工品確認などで撮影を要する設定とし，も問題なく加工を実施することができた。また，作業ロ

記録画像を基に作業が適切に実施されたか確認するこグを残すことで，報告書作成の自動化の他，作業指示がとができた。

適切であったか，作業者のスキルは十分であったか等の指標になり得るデータを得ることができ，作業改善につなげられることが確認できた。
今後は，開発したアプリケーションの改良を行いながら，県内企業へ利用事例として情報発信していき，利活用に関する相談に活用していく。
参考文献
1) Milgram.P. and Fumio.K," A Taxonomy of Mixed Reality Visual Displayes"，
図 13

撮影を要する作業時の着用者視点

IEICE Trans. Inf. & Sys., D 77 (12), 1321-1329,

３.２.３ 時系列ログデータ

1994

作業日毎に作成されるログには，作業毎の開始・終了

2) 松本 健司: "スマートグラスを用いた作業支援検証

時刻，作業工程進捗，システムメッセージなどが記録さに関する研究 "，栃木県産業技術センター研究報告,れる（表３）。本ログデータを解析することで，着用者

pp.57-61,(2022)
3) "HoloLens2 ", https://www.microsoft.com/ja-jp/の作業状況を知ることができる。
本アプリケーションを使用し，加工経験がある職員とhololens経験がない職員のそれぞれが同じ段取り作業を実施し4) "MRTK3 ",https://learn.microsoft.com/ja-jp/win

た。ログデータは CSV 形式であるため，容易にグラフに

dows/mixed-reality/mrtk-unity/mrtk3-overview/
5) "Blender", https://www.blender.org/

することが出来る（図 14）。
表３

日別ログデータ詳細

項目名timetypeordermanualstep

info

詳細

時刻情報

ログの種類

作業名

使用ﾏﾆｭｱﾙ進捗

ログ詳細- 40 -