P1-09

VR とモーションキャプチャを用いた大量調理動作訓練シミュレータの開発
Development of mass cooking Training systemusing Immersive VR and Motion Capture
櫻井 皓太*1, 渡辺 崇*1, 中山 洋*2
Kota SAKURAI*1, Takashi WATANABE*1, Hiroshi NAKAYAMA*2*1
東京電機大学大学院*1
Tokyo Denki University*2
東京電機大学*2
Tokyo Denki University
Email: 19rmd14@ms.dendai.ac.jp
あらまし：現在、VR 技術などのデジタル技術を利用した熟練者の動作を学習するためのシステムの研究が進められている。一方、栄養士養成施設において、時間や実習特質上の問題によって大量調理実習の実施回数が少ないことから、学生が実習を通して十分な理解と経験を得られないという問題がある。その中で本研究では、HMD とモーションキャプチャシステムを用いた大量調理シミュレータを開発した。まず本システムでは、被験者が没入型 VR 空間で大量調理の疑似体験ができる。さらに、被験者がモーションキャプチャシステムによって計測した熟練者の動作を、VR 空間上で様々な位置、角度から客観的に観察を行い、学習することが可能である。さらに本シミュレータの評価実験を行い、初心者の学習に効果があることが示唆された。
キーワード： VR, HMD, モーションキャプチャ, シミュレータ

1.

課題と目的

2.

栄養士資格の取得には、厚生労働大臣の指定した栄養士養成施設において法律で定められた栄養士資格必修項目をすべて履修して卒業することが定められている。しかし、給食管理実習などの集団調理実習は、実施回数が少なく、作業も分担して行うため一人の学生が関わることのできる工程も少なくなり、実習の全体の十分な経験を得ることができていない。
また肉体的負荷のかかる実習の特質上、女子大学や女子短大が非常に多い栄養士養成施設での集団調理実習では、十分な配慮を必要とする。このような点から、学生が実習を通して十分なノウハウを得られていないという現状がある。この課題を鑑みて、先行研究では Kinect v2 と HeadMountedDisplay（以下HMD）を用いた大量調理シミュレータを開発した。
このシステムでは Kinect v2 を用いて収集した熟練者の動作データと被験者の動作を比較して評価と音声による教示を行うことを可能とした。また HMDを用いて Virtual Reality（以下 VR）上に調理場を再現し、動画によるお手本の提示と調理時における変化を体験することが可能であった。評価実験の結果、このシステムを繰り返し体験することによって、初心者の技能習得に一定の効果があることが分かった。
本研究では、HMD とモーションキャプチャを用いて大量調理を被験者に疑似体験させ、さらに学習者が熟練者の作業中の動作を VR 上で様々な位置、角度から客観的に観察学習を行うことを可能とすることで大量調理シミュレータによる学習効果の向上を図った。

大量調理動作訓練シミュレータの構築

2.1 大量調理動作訓練シミュレータの概要
本シミュレータは実際の大量調理実習の回転釜（大型の鍋のような器具）とスパテラ(調理用の大型のヘラ)で行う「炒める」「煮る」といった作業工程をモデルとして設定した(図 1）。
本シミュレータでは、この動作について VR 上で疑似体験できる。さらに、モーションキャプチャによって熟練者の作業中の動作を計測記録し、VR 上で被験者に再現提示することによって被験者が客観的に熟練者の動作を観察、学習を可能とする動作訓練シミュレータを構築した。

図 1 モデルの作業の様子
2.2 大量調理シミュレータのシステム構成
VR に没入するための HMD には HTC 社の VIVEを使用した。次に、身体動作を取得するためのモーションキャプチャシステムとして、IKINEMA 社のORION を使用した。ORION は HTC 社の VIVE trackerというセンサを身体に 6～8 箇所装着することによって、全身の動きをリアルタイムに記録できるシステムである。

― 17 ―

教育システム情報学会 JSiSE2020
第45回全国大会
2020/9/2-9/4

3.

シミュレータの内容

5.

本シミュレータの全体図と VR 空間の様子を下記
図 2,3 に示した。被験者は HMD を装着した状態でトラッキングエリア中央に立ち、VIVE tracker をつけたスパテラを用いて具材を混ぜる作業を行う。その際、スパテラの動きは VIVE tracker を通じてトラッキングシステムが認識し、VR 上に反映される。

実験結果

最終アンケートの「シミュレータ内のお手本は動作学習の参考になった。
」、「このシミュレータを用いた学習は動作習得に対して効果があると思う。
」の項目について、有意差が見られた（図 5）。
この結果より、本シミュレータによる 3D モデルを用いたお手本動作の提示方法がモデルとした大量調理の動作について、体験者の学習に効果的であることが示唆された。
お手本が参考になった

平均

p<0.05

3.8
3.6
3.4
3.23

図 2 システム全体図
平均

HMD により被験者は調理場風の VR に没入できる。VR 上では音や色の変化が表現され、大量調理の疑似体験をすることができる。また、熟練者の動きを再現した 3D モデルによって動きの観察学習が可能となっている。

3Dモデル

3.3

3.7

平均

動作学習に効果があると思う

3.8
3.6
3.4
3.2
32.8
平均

p<0.05

動画

3Dモデル

3.1

3.6

図 5 アンケート結果

図 3 VR 空間の様子

4.

動画

6.

実験概要

2019 年 11 月 11~18 日に大学生 20 名を対象に、VR上で大量調理動作を学習する上で、初心者にとって適した熟練者の動作お手本の提示方法を探ることを目的に実験を行なった。被験者に動画によるお手本の提示を実装したシミュレータと、3D モデルを用いて熟練者の動きを再現したお手本の提示を実装したシミュレータの体験を順番に行わせ、各体験の直後と、全ての作業終了後に最終アンケートを回答させた。アンケートは４件法(4.そう思う,3.どちらかというとそう思う,2.どちらかというとそう思わない,1.そう思わない)で行なった。実験手順を下記の図 4 に示した。

まとめと今後の展望

本研究では HMD とモーションキャプチャを用いた大量調理動作訓練シミュレータを開発した。本シミュレータを用いて評価実験を行った結果、本シミュレータが初心者の大量調理動作への理解に効果的であるということが示唆された。
今後の展望として、本実験と同時に取得した VR上の具材が鍋に接している時間やヘラの座標データから、熟練者と初心者の違いを明らかにすることで定量的な評価や助言を与えるシステムの検討を進めている。また、より大量調理動作の学習効率を高めるための VR を利用した新しい練習方法の検討を行っている。
参考文献(1) Horibata Kaori, Arai Kenta, Nakayama Hiroshi, Fujikura
Junko: “Development of Cooking Simulator for thelearning of basic action of mass cooking” , The 13th Annual
Hawaii International Conference on Education Proceedings
Submission, (2017)(2) 原 皓輝, 中山 洋:“VR を用いた大量調理シミュレー
タの開発”, 東京電機大学修士論文, (2018)(3) 脇田 航, 齊藤 充行, 小林 康秀:“没入型 VR 環境における舞踊動作訓練システム”, 電気学会論文誌 C,
Vol.137, No.3, pp.495-501（2017）

図 4 実験手順― 18 ―