情報処理学会 インタラクション 2017
IPSJ Interaction 20172-503-18
2017/3/2

Mixed Reality を用いた作業手順の学習支援システム
岡部 聡一†1

宮脇 健三郎†2

概要： アルバイトやパートで新しく配属された従業員は、多くの場合、業務の技術や知識を学ぶために研修を行うが、店舗側は新人にレクチャーするための人員や時間を割かなければならないといったデメリットがある。特に人の入れ替わりの激しい職場・業界ではこのデメリットがより顕著になる。そこで本研究では研修の効率化とコストの削減を目的とし、Mixed Reality を用いた技能取得システムを提案する。具体的にはスマートフォンと AR（Augmented Reality：拡張現実感）マーカを利用し、疑似的に職場の環境を再現した上で、スマートフォンに表示される手順に従って作業をすることで技能の習得を目指すものである。

Learning Support System of Work Procedure Using Mixed Reality
SOICHI OKABE†1KENZABURO MIYAWAKI†2

Abstract: Employees who newly belong to part-time jobs or part-time workers often conduct training to learn business skills
and knowledge, but there are disadvantages that stores need to devote personnel and time to lecture newcomers is there. Thisdisadvantage becomes more conspicuous especially in workplaces and industries where people change frequently. Ther efore,
in this research, we propose a skill acquisition system using Mixed Reality with the purpose of improving training efficiency
and cost reduction. Specifically, using a smartphone and an AR (Augmented Reality) marker to reproduce the work
environment in a pseudo manner, aiming to acquire the skill by working according to the procedure displayed on thesmartphone.

1. はじめに現する。
厚生労働省の平成 27 年度雇用動向調査[1]では、宿泊業・アルバイトやパートで新しく配属された従業員は、多く飲食サービス業が他の産業より入職率、離職率ともに高いの場合、業務の技術や知識を学ぶために研修を行うが、店ので、人の入れ替わりの激しい業界だと報告されている。

舗側は新人にレクチャーするための人員や時間を割かなけ

これを考慮し本研究では飲食業における調理手順の学習支ればならないといったデメリットがある。特に人の入れ替援をテーマにしたシステムを開発した。

わりの激しい職場・業界ではこのデメリットがより顕著になると考える。
そこで本研究では主に新規雇用されたアルバイト・パー

2. 関連研究ト従業員を対象に Mixed Reality（以下 MR）を利用して、MR の研究は盛んに行われており、現実に複合された CG

作業手順をより迅速に学習できるよう支援するシステムをに対しユーザが触れる等のインタラクションができること提案する。MR とは複合現実感と呼ばれるもので、CG を現から、特に作業支援を目的とした研究が多くみられる。古

実空間に複合し、その CG とユーザのインタラクションを矢らの研究では、遠隔地にいる指導者視点の作業を残像と可能にしたものである。MR を用いて業務の研修システムして作業者の HMD に再現することで作業支援を実現してを実現するには、現実空間に職場環境や機材の CG を投影いる[2]。しかし、この研究では指導者が教えることが前提し、ユーザはヘッドマウントディスプレイ（以下 HMD）かつ、高性能な PC と HMD が必要である。

を通してそれらを眺めて研修を勧めるという方法が考えら

また、研究事例以外では Canon IT ソリューションズ株式れる。しかし、現在一般的に用いられている Virtual Reality

会社が製造業向けに業務支援ツールとして MR 用の HMD（以下 VR）用の HMD は比較的高性能なデスクトップ PCとソフトウェアである「MREAL」の販売を行っているが、を必要とするものが多く、パート・アルバイトの研修目的非常に高価で研修用に導入するには敷居が高い[3]。

で導入するにはコストが大き過ぎる。
そこで本研究ではスマートフォンを用いた HMD を利用し安価で導入しやすい MR 作業手順学習支援システムを実†1 大阪工業大学大学院 情報科学研究科
Major in Information Science and Technology, Graduate School of Osaka
Institute of Technology†2 大阪工業大学 情報科学部
Faculty of Information Science and Technology, Osaka Institute ofTechnology© 2017 Information Processing Society of Japan

3. 提案手法
本研究では高性能なデスクトップ PC と HMD を用いる
敷居の高い一般的な MR ではなく、パート・アルバイト従業員が自宅等で手軽に研修できる低コストなシステムを目指している。そこで AR マーカとスマートフォン、および449

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

スマートフォンを内蔵する安価な VR ゴーグルを用いる。
図 1 に提案するシステムのイメージを示す。ユーザはスマートフォンを VR ゴーグルにセットして、研修時はそのVR ゴーグルを装着する。そして、研修現場には AR マー
カを貼り付けたシートや職場で実際に用いる設備を模した箱等を設置する。これらをゴーグルに内蔵されたスマートフォンのカメラを通して見ることで、ユーザの目前に CGによる職場環境や機材を表示することができる。また、ユーザと CG 物体とのインタラクションに基づき、現在作業がどの手順まで進行しているかをシステムが認識することで、スマートフォンの画面上に次に行うべき作業の手順等を表示する。これにより、研修の指導員等がいなくとも独力での技能習得を支援する。
なお、マーカを貼付したシート類と VR ゴーグルは、従業員の採用決定時に企業から配布することを想定している。
パート・アルバイト従業員は本システムを自分のスマート2-503-18
2017/3/2

5. システム構成
4.1 システム概要
開発にはゲームエンジンの Unity[4]および、拡張現実感用のライブラリである ARToolKit[5]を用いた。
焼鳥の製造現場で用いられる機材は、オーブン、食材を乗せるための鉄板、焼鳥である。以上の機材を再現するために AR マーカを貼付した立体を作成する必要がある。これらは適度な強度があればどんな素材でも問題はないため、極めて安価に作成できる。今回は段ボールを使った。
4.2 機材の再現
図 2~4 に AR マーカを貼付した箱等の立体とそれに重畳表示された CG のオーブンや鉄板、焼鳥を示す。AR マー
カは 4x4cm の正方形の物を複数使い、マルチマーカによる認識を利用している。これにより一部のマーカが画面外に出てしまっても CG モデルの表示を問題なく行うことができる。

フォンにインストールすれば、すぐに研修を行い、技能習得した上で実際の現場で仕事を始めることができる。

図 2 マルチマーカを使ったオーブン
Figure 2 Virtual oven using multi-marker

図 1 スマートフォンを用いた MR のイメージ
Figure 1 MR using a smartphone

4. デモシステム
１．で述べたように我々は飲食業の研修をテーマに研究

図 3 マルチマーカを使った鉄板
Figure 3 Virtual baking tray using multi-markerを進めている。今回はその中でもスーパーの惣菜コーナーにおける焼鳥の調理工程を想定したデモシステムを開発した。スーパーでの焼鳥の調理にはオーブンを用いるが、一般家庭のオーブンとは異なり設備投資の関係から旧式の機材を使っていることも多く、新規のパート・アルバイトが操作方法を修得するのに手間がかかる可能性が高い。本システムを使うことで機材の操作に慣れた上で仕事ができる。
さらには、急に配置換えになったとしても、投影する CGモデルを少し変更するだけで新しい職場の研修も可能である。

© 2017 Information Processing Society of Japan

図 4 マーカを使った焼鳥
Figure 4 Virtual yakitori using markers

450情報処理学会 インタラクション 2017
IPSJ Interaction 2017

4.3 機材とのインタラクション
オーブンにはスイッチの類がついているので、ユーザが仮想的なオーブンに設置されているスイッチ類を操作できるようにする必要がある。これについてはマーカの消失を検出することで実装する。図 5 はスイッチを含むオーブンの一部であり、仮想的なスイッチの押下を試した画像である。

2-503-18
2017/3/2

参考文献[1] 厚生労働省 ; 平成 27 年雇用動向調査結果の概況 2015
[2] 古矢 真之介, 大寺 賢, 岡田 謙一 ; 相互的物体座標系と残像を用いた遠隔 MR 協調作業支援 ; 日本 VR 学会 2015 論文誌,pp.283-289(2015)[3] MREAL キヤノン IT ソリューションズ株式会社 公式 HP ;https://www.canon-its.co.jp/solution/mr/[4] Unity 公式 HP ; https://unity3d.com/jp/[5] Hirokazu Kato, Mark Billinghurst, ; Marker Tracking and HMD
Calibration for a Video-based Augmented Reality Conferencing
System October 1992

図 5 スイッチのインタラクション
Figure 5 Virtual switch on oven4.4 作業手順の認識
図 6 に焼鳥の調理工程を示す。この工程のうち、ユーザが現在どの手順を実施しているかをシステムが認識し、それに基づいて次に何を実行するべきかをユーザに伝える。
手順の認識は、ユーザと機材のインタラクションや、機材同士の接触・位置関係によって行う。
機材同士の接触は Unity の機能の一つである Collider によって容易に実現できる。本研究では鉄板をオーブンに入れたときや鉄板に焼鳥を並べるときにこれを利用している。
位置関係はオーブン扉の開閉状態を判別するのに用いている。

図 6 焼鳥の調理工程
Figure 6 Cooking process of yakitori

6. まとめと今後の展望
本研究ではスマートフォンと AR マーカを利用した MRによる作業手順の学習支援システムを提案した。今回は焼鳥の調理をテーマにオーブンや鉄板、焼鳥等の機材を CGで再現しユーザの目前に表示した。さらにユーザと機材のインタラクションに基づき現在実行されている手順をシステムが認識し、次に行うべき手順を表示することでユーザが独力で作業の研修ができるようにした。今後はスマートフォン内蔵のカメラによってユーザの手形状を認識し、より複雑なインタラクションも認識できるようにするなど、さらにリアリティのある研修が安価にできるように目指していきたい。

© 2017 Information Processing Society of Japan451