情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2B-58
2020/3/9

MR を用いた組立作業向け支援システムの開発と評価
張伝揚†1

川合康央†1

概要：日本と中国の高度経済成長期を支えたベテラン職人たちの引退に伴って，工場現場での作業効率の低下が問題になっている.企業は持っているノウハウを若い作業員たちに教えるべきであるが，人材の流動化により，技術を受け継ぐことが難しいのが現状である.近年，AR（拡張現実）と VR（仮想現実）技術の発展により，製品の修理訓練や複雑な作業の運用支援など，産業において大きな役割を果たす可能性があると予測されている.しかし，VR では，ユーザが完全に仮想世界に没入し，実際の作業と並行して何かをすることが難しい一面がある.AR では，デジタル情報と実空間の間に接点がない.これらに対し，複合現実 (MR)の場合は，仮想空間に取り込まれた情報が現実世界と相互に影響を与え合うことができる. 本研究では，デスクトップ PC を組立対象として，従来のマニュアルを用いた組立作業のタスクを分析して得られたパーツの認識と配置過程においてデスクトップ PC の組立経験のない初心者でも容易に組立できる MR システムの開発と，マニュアルを用いた作業にと比べて，HoloLens を使った MR システムを導入した場合にどれだけ効率を上げられるかを定量的に評価する手法を提案する．

1. 背景と目的
従来の工業製品の組立作業は，手順書によるものが多かった．しかし，組立経験のない初心者にとって，手順書による学習の効率は低い．そのため，AR と VR 技術は，現実

そこで，本研究では，HoloLens により，立体部品の認識と配置作業に対してマークレスで適用できるリアルタイム支援システムの構築とその評価の方法の提案を目的とする．

2. 組立作業の分析

世界では行いにくい作業訓練やシミュレーションなどによ

従来の工場現場には，ルールブック，規定書や作業手順く使われている．その一つに積木制作社の VR により工場など，様々なマニュアルが存在している．マニュアルとの内危険体験安全教育システムが実用化されている[a]．しか関わり方は現場の作業員によって異なるが，それぞれのマし，VR では，ユーザが完全に仮想世界に没入してしまい，ニュアルが現場で随時参照できるとは限らない．そのため，実際の作業と並行することが難しい．それに対し，AR であらかじめその内容を十分に理解し，頭に記憶しておくこは，作業指示 CG などのデジタル情報を現実世界に映し出とが必要である．しかし，こういった事前に記憶する方法すことができる．しかし，AR によるデジタル情報と現実世では，作業員に負担がかかり，作業効率の向上を妨げる．

界の間には，接点がない．
MR(複合現実)の場合は，仮想空間に取り込まれた情報が現実世界と相互に影響を与える．HoloLens[b]は，2017 年に

本研究では，自作デスクトップ PC を研究対象とし，各部品の公式サイトからダウンロードしたマニュアル（図１）に従い，組立の流れは以下の手順とする．

発売された代表的な MR デバイスであり，人差し指でものを摘む動作の「Air Tap」がクリックに相当し，花開くように手を広げる「Bloom」がホームボタンに相当する．この二つの動作に加えて，音声認識の機能も備わっている．また，HoloLens は AR と照合して Kinect[c]のように自己位置推定を可能とする SLAM（Simultaneous Localization and Mapping）機能も搭載している. 工業分野においては，Melynda（2018）と Arthur（2003）にあるとおり，HoloLens は他の作業提示装置と比べて組立作業時間の削減や作業のパフォーマンスの向上に有効性があることが認められる．
また，Gabriel（2017）は Vuforia[d]を HoloLens に統合し，図1

マニュアの構成部品にマークを貼り付けることで，Vuforia による高い精度

1.

マザーボードにメモリーを挿す．の物体認識と追跡を実現した．しかし Gabriel の方法では，2.

ケース上部カバーを外す．

マークが必要であり，部品と HoloLens の相互位置が水平，3.

マザーボード取り付け．

または HoloLens が部品より低い位置にある場合には適用

4.

電源の取り付け．

できない．

5.

電源ケーブルを挿す．

†1 文教大学情報学研究科a) http://tsumikiseisaku.com/result/denso2.htmlb) https://www.microsoft.com/ja-jp/hololens© 2020 Information Processing Society of Japanc) https://developer.microsoft.com/ja-jp/windows/kinectd) https://developer.vuforia.com/693

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2B-58
2020/3/9

3. システムの開発と構成
Vuforia によりマークレスで物体認識するための実現方
法としては，三つのツールがある．固定角度から認識するツール Vuforia Model Target Generator と，あらゆる角度から認識するツール Advanced Model Targets 360 と Vuforia Object
Scanner[e] （以下 Scanner）である．前 2 者は，物体の CADデータをツールに導入し分析してから物体を認識することができる．本研究で使っている PC パーツは CAD データが持っていないため，Scanner を使うことにした．また、より良いスキャン結果を得るため、異なるデバイス間のスキャン効果を比較した(図 2,3)。

図5Sketch

Up で作成した CG(2) システムの設計
HoloLens 向けアプリケーションを開発する際に必要となるものは，Microsoft 社が提供する MixedRealityToolKit [g]
図2LG（以下 MRTK）である．MRTK を Unity に導入することで，G2 のスキャン結果

Vuforia による HoloLens の物体認識は簡単に実現できる．
しかし，物体認識において，Vuforia は一つの「Scene」で二つの「ObjectTarget」しか同時に認識できないため，複数の「Scene」が必要となる．
「Scene」を切り替えるには二つの方法がある．
まずは図 6 に示すように，プロジェクトに必要な Assetsを全部「BaseScene」に含ませ，一つの「Camera」で各々「Scene」

図3を切り替える方法である．この方法では，他の「ButtonScene」

Galaxy S8 のスキャン結果にある「ObjectTarget」は，「Camera」との連携が難しい．そ(1) 部品 CG の作成
物体の CG を作成するツール Qlone[f]は無料スキャンア

こで，本研究ではこの方法は適用しない．

プリケーションである．しかし，本研究で使うマザーボードなど，反射しやすいものであるため，Qlone によるスキャン効果は良くない（図 4）．そのため，各部品をインターネットで検索し，部品の CG をダウンロードして使う．イ
ンターネットに CG がない部品については Sketch
3DS

Up とMAX を使って CG を作成した（図 5）．

図4

Qlone で作成した CGe) https://library.vuforia.com/articles/Training/Vuforia-Object-Scanner-UsersGuidef) https://www.qlone.pro/g) https://github.com/microsoft/MixedRealityToolkit-Unity© 2020 Information Processing Society of Japan

図6「BaseScene」方法[h]h） https://codeholo.com/2018/07/31/changing-scenes-and-viewing-ui-elementsrightly-in-hololens-apps/694

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

こ の 問 題 を 解 決 す る た め に ， Vuforia

2B-58
2020/3/9

HoloLens

Sample[i] （以下 VHS）を Unity に導入した．VHS を使用すれば Vuforia の「Scene」を簡単に作成できる．ここでは，Vuforia を使った「Scene」を「ARScene」，Vuforia を使っていない「Scene」を「noARScene」とする．
「noARScene」から「ARScene」に切り替える時には Vuforia の初期化が必要となり，初期化が完了するまで時間がかかる．従って，「ARScene」の読み込み時間が，Vuforia の初期化が完了するまでにかかる時間より早い場合には，Vuforia 側のエラーが出てしまう．
「Loading」は，「ARScene」の読み込みが 90%までに達していないと「ARScene」に切り替えることはできないとい

図8

CG による作業指示

4. 実験と結果(1) 実験の目的う仕組みである．これを使うことで，「noARScene」からHololens と公式マニュアルの両方を用いて，デスクトッ「ARScene」に切り替える Vuforia の初期化の問題を解決でプ PC の組立作業の実験を行う．被験者は 5 人ずつであり，きる．

作業時間，エラーの数を記録し，両方のデータを比較して(3) それぞれの「Scene」の作成解析する．パーツの認識と配置作業において，従来のマニシステムの流れについては，次のようになる．まず，「1-ュアルに対して Hololens を導入した MR システムの場合，WelcomeScene」では研究テーマ「PC-Assembly Research」を作業に要する時間がどの程度軽減されたかを算出する．ま2 秒間表示して「2-WorkPlaceScene」に切り替わる．「2-た，作業終了後，システムとマニュアルに対するアンケー

WorkPlaceScene」では，WorkPlace を認識して自動的に「3-トを実施する．

MenuScene 」 に 切 り 替 わ る ．「 3-MenuScene 」 は ，「 4MemoryScene」や「5-CaseScene」などのパーツ組立「Scene」(2) 実験の概要
被験者は全員，デスクトップ PC の組立経験のない初心への切り替えへと続く．各組立「Scene」の中に，図や文字者であり， Hololens を用いた MR システムと，印刷した紙などを用いて組立方法を示す「HelpMenu」がある．図 7 にマニュアルを用いて，デスクトップ PC の組立作業の被験示すように，クリックで「HelpMenu」を表示したり隠した者実験を行わせた．

りすることができる．

被験者は机上に配置されたデスクトップ PC のパーツのうちから，マニュアルと MR システムでそれぞれ指示された部品を選び出して組立作業を行う．計測項目は，作業が完遂するまでの時間とエラーの数であり，できるだけ正確なデータを取得するために，被験者に対して組立の手順と判断を変えることなく，全て同様の作業を行うこととした．
(3) 実験の条件
マニュアルを用いた組立作業の実験は，まず，公式マニュアルから組立の流れにより必要な部分を選び出す．作業をする前に，被験者に各パーツの名前とマニュアルを紹介して作業を行わせる．

図7「4-MemoryScene」の「HelpMenu」

MR システムを用いた組立作業の実験は，まず，Hololensの操作方法を被験者に紹介する．パーツの名前，MR シス

組立「Scene」でパーツの組立が終わったら，ダブルクリックで「3-MenuScene」に戻る．最後に，パーツの組立が全て終わったら「3-MenuScene」の「完了」ボタンを押すと，作業時間が表示され，プロジェクト終了となる．
組立「Scene」の中では，パーツの組立方法を分かりやす

テムの流れと使い方を被験者に説明してから作業を行わせる．
作業の様子は図 9，10 のようになる．また，電源の 24pinと 4pin ケーブルを差し込み口に挿したら，作業が完了とする．

くするため，図 8 に示すように，パーツ CG をアニメーション化する．

i) https://library.vuforia.com/articles/Solution/Working-with-the-HoloLenssample-in-Unity© 2020 Information Processing Society of Japan695

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2B-58
2020/3/9

表2
被験者 6

マニュアルの実験結果

時間エラー

備考

27 分 57 秒

2

ケースと電源のネジ間違い

被験者 7

25 分 39 秒

1

被験者 8

13 分 35 秒

1

電源コネクタ組立間違い
メモリーをしっかり挿していない

被験者 9

12 分 10 秒

2

被 験 者

23 分 08 秒

04pin ケーブル間違い

10
実験結果によって，平均エラーの数は，MR システムが0.8 であり，マニュアルが 1.2 であった。MR システムはマニュアルより，エラーの数をおよそ 1/3 程度減らしたこと
図9

マニュアルによる作業の様子が分かった。平均作業時間においては，MR システムが 10分 54 秒であり、マニュアルが 20 分 29 秒であった．HoloLensによる MR システムが，約半分の作業時間を短縮したことで，ある程度の作業効率の改善が行われたと思われる．
また，実験を通じて見られた課題として，パーツの組立位置に映し出された CG が作業の邪魔になっていることがわかった．また，Hololens の操作に慣れていないことや
Vuforia による認識が遅く被験者を困らせることなどが挙げられる．

5. まとめ本研究では，MR を用いた作業支援システムの開発を行い，本システムを使って，従来にマニュアル作業との比較を行った．開発したシステムは，HoloLens によって，立体部品の認識と配置作業についてマークレスで表示可能なリアルタイム支援システムである．結果，作業のエラー数は
図 10

MR システムによる作業の様子およそ 1/3 程度減少させ，また作業時間もおよそ半分まで短縮することができた．今後，システムの評価から得られ(4) 実験の結果た課題をもとにシステムの改善を行っていく．

実験の結果は，以下の表 1，2 である．
表1

Hololens の実験結果

時間エラー

備考

被験者 1

12 分 9 秒

0

被験者 2

5 分 48 秒

14pin ケーブル間違い

被験者 3

7 分 15 秒

1

電源側ネジ回し忘れ

被験者 4

11 分 15 秒

14pin ケーブル間違い

被験者 5

18 分 3 秒

1

電源コネクタ組立間

参考文献
[1]

Hoover, Melynda, "An evaluation of the Microsoft HoloLens for amanufacturing-guided assembly task" (2018). Graduate Theses andDissertations. 16378.
[2] Arthur T, Charles O, Frank B, and Weimin M. Comparative
effectiveness of augmented reality in object assembly. In
Proceedings of the SIGCHI Conference on Human Factors in
Computing Systems (CHI '03). ACM, New York, NY, USA, 73-80.
[3] Evans, G.M., Miller, J.J., Pena, M.I., MacAllister, A., & Winer, E.
(2017). Evaluating the Microsoft HoloLens through an augmented
reality assembly application. Defense + Security.

違い© 2020 Information Processing Society of Japan696