P1-18

VR 空間とモーションキャプチャを利用した大量調理シミュレータの開発
Development of mass cooking simulator using HMD and Motion Capture
櫻井 皓太*1, 中山 洋*2, 堀端 薫*3, 藤倉純子*3
Kota SAKURAI*1, Hiroshi NAKAYAMA*2, Kaori HORIBATA*3, Junko FUJIKURA*3*1 東京電機大学院理工学研究科*1Tokyo Denki University*2 東京電機大学*1Tokyo Denki University*3 女子栄養大学*3Kagawa Nutrition University
Email: 19rmd14@ms.dendai.ac.jp

あらまし：現在、VR 技術などのデジタル技術を利用した熟練者の動作を学習するためのシステムの研究が進められている。一方、栄養士養成施設において、時間や効率等の問題によって大量調理実習の実施回数が少ないことから、学生が十分な理解と経験を得られないという問題がある。その中で本研究では、
HMD とモーションキャプチャシステムを用いた大量調理シミュレータを開発した。
まず本システムでは、被験者が没入型 VR 空間で大量調理の疑似体験ができる。さらに、被験者がモーションキャプチャシステムによって計測した教師の動作と自身の動作を、VR 空間上で様々な位置、角度から客観的に観察を行い、学習することが可能である。
キーワード： VR, HMD, モーションキャプチャ, シミュレータ, 経験知

1.

はじめに

2.

栄養士資格の取得には、厚生労働大臣の指定した栄養士養成施設において、法律で定められた栄養士資格必修項目をすべて履修し、卒業することが定められている。しかし、給食管理実習などの集団調理実習では、作業を分担して大量の調理を行うため、少ない実習実施回数の中で、一人の学生が関わることのできる調理が少なく、実習の全体像を把握できないという問題がある。また、大量の食材と大型の調理器具を扱うため多くの経費がかかる。さらに、肉体的負荷のかかる実習の特質上、女子大学や女子短大が非常に多い栄養士養成施設での集団調理実習
では、十分な配慮を必要とする。このような点から、十分な実習時間が得られていないのが現状である。
以上の課題を鑑みて先行研究では、Kinect v2 とHeadMountedDisplay（以下 HMD）を用いた大量調理シミュレータを開発した。このシステムでは、Kinect
v2 を用いて事前に収集した熟練者の動作データと、被験者の動作を比較して評価と音声による教示を行い、HMD を用いて Virtual Reality（以下 VR）上に調理場を再現し、調理時における変化を体験することが可能であった。このシステムを用いた実験の結果、このシステムを繰り返し体験することによって、初心者の技能習得に一定の効果があることが分かった。
本研究では HMD とモーションキャプチャシステムを用いて、大量調理を被験者に疑似体験させ、また、被験者が熟練者の作業中の動作と自身の動作を VR上で様々な位置、角度から客観的に観察、学習を行うことを可能とすることにより、大量調理シミュレータによる学習効果の向上を図ることを目的とする。

大量調理シミュレータの構築

2.1 大量調理シミュレータの概要
本シミュレータは実際の大量調理実習の調理メニ
ューを想定しており、回転釜（大型の鍋のような器具）で行う「炒める」「煮る」といった作業工程を含んでいる調理モデル（カレー調理）を設定した。
本シミュレータでは HMD を用いて調理モデルの作業工程の一つである、回転釜を用いて具材を加熱し、スパテラと呼ばれる大きなヘラを用いてかき混ぜる動作(図 1）を VR 上で疑似体験できる。さらに、モーションキャプチャシステムを用いて、熟練者及び被験者の作業中の動作を計測記録し、VR 上で被験者に再現提示し、客観的に観察、学習を可能とするシミュレータを構築した。

図 1 想定した作業工程の様子
2.2 大量調理シミュレータのシステム構成
HMD には HTC 社の VIVE を使用した。VIVE はリアルタイムに VR 世界に高没入することができ、さらに、広い空間における人や物の動きを認識することが可能である。
次に、身体動作を取得するためのモーションキャプチャシステムとして、IKINEMA 社の ORION（以下 ORION）を使用した。ORION は HTC 社の VIVE

― 35 ―

教育システム情報学会 JSiSE2019
第44回全国大会 2019/9/11-9/13

tracker を身体に 6～8 箇所装着することによって、全身の動きをリアルタイムで記録できるシステムである。なお VIVE tracker とは、VIVE のトラッキングシステムに対応し、装着した対象の傾きや移動などの動きを VR 上に反映することが可能となるセンサである。
また、VR 上の回転釜やスパテラの抵抗感を表現するため、模擬回転釜と模擬具材(図 2）を用意した。
スパテラには、スパテラの動きを VR 上に反映させるために、先述した VIVE tracker を装着した(図 2)。

図 5 VR 上の回転釜と具材の様子
3.2 モーションキャプチャによるシステムの内容
モーションキャプチャシステムである ORION を用いて、身体の 6~8 箇所に VIVE tracker を装着して作業中の全身の動作の測定、記録を行う。
被験者の大量調理疑似体験中の動作を記録し、予め取得した熟練者の動作とともに、VR 上で 3DCGモデルを用いて再現を行い、様々な角度、位置から観察と学習を行うことを可能とする。また、被験者が学習しやすいよう、再生速度の変更も可能である。

図 2 模擬回転釜と模擬具材、スパテラと VIVE tracker

3.

シミュレータの内容

本シミュレータの外観図を下記図 4 に示した。被験者は HMD を装着した状態で模擬回転釜の前に立ち、VIVE tracker をつけたスパテラを用いて具材を混ぜる作業を行う。その際、スパテラの動きは VIVE
tracker を通じてトラッキングシステムが認識し、VR 上に反映される。

図 6 動作再現画面の一例

4.

まとめと今後の課題

本研究では、HMD による VR とモーションキャプチャを用いた大量調理シミュレータを開発した。
今後の課題として、本シミュレータを使用した実験を行うことで、本シミュレータの体験を通じて被験者の技術の向上が見られるか評価実験を実施する
予定である。また、被験者に効率的なフィードバッ
クを行うため、VR 上の具材の混ざり具合や焼け具合から、熟練者と被験者の違いを定量的に評価するシステムの検討を行う予定である。
図 4 システム全体図

参考文献

3.1 HMD による VR の内容
HMD により被験者の視界に VR 上に再現された回転釜・具材・スパテラが見えるようになっている。
調理が進むにつれて具材が過熱され色の変化が表現される。色の変化は実際の調理と同じく段階的なもので、視覚的に変化を実感することができる。
スパテラの動きはリアルタイムで VR 上に反映され、現実での模擬回転釜・模擬具材の抵抗感とともに反応を得るため、実際に調理しているような感覚が得られ、臨場感を高めることを可能とする。

(1) Horibata Kaori, Arai Kenta, Nakayama Hiroshi, Fujikura
Junko: “Development of Cooking Simulator for thelearning of basic action of mass cooking” , The 13th Annual
Hawaii International Conference on Education Proceedings
Submission, (2017)(2) 原 皓輝, 中山 洋:“VR を用いた大量調理シミュレータの開発”, 東京電機大学修士論文, (2018)(3) 脇田 航, 齊藤 充行, 小林 康秀:“没入型 VR 環境における舞踊動作訓練システム”, 電気学会論文誌 C,
Vol.137, No.3, pp.495-501（2017）― 36 ―