平成 27 年度 卒業論文

食材準備から盛付けまでの一連の作業を対象とした
VR 調理学習支援システム

指導教員
舟橋

名古屋工業大学

工学部

平成 24 年度入学

藤原

情報工学科

24115127 番

敬智

健司

准教授

i

目次

第 1 章 はじめに

1

第 2 章 固体群操作モデル

42.1

固体群と調理容器の表現 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

2.2

変形曲面 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

62.3

粒子による固体群の表現 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

92.4

固体群の崩れ表現 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

2.5

剛体による固体群操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

第 3 章 それぞれの調理操作のモデル

14

3.1

食材を洗う動作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

3.2

食材を切る動作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

3.3

食材を炒める動作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

3.4

料理を盛り付ける動作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

第 4 章 実験

194.1

実験システム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

4.2

実験手法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

4.3

実験結果と考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

第 5 章 むすび

27

謝辞

28

参考文献

29

1

第1章

はじめに

バーチャルリアリティ（Virtual Reality：以下，VR）とは，「現前していないにも関わらず，観測する者に同一の表象を生じさせるもの」[1] である．VR 技術とは，観測者に対してコンピュータによる情報を提示し，人間の五感 (主に視覚，聴覚，触覚) を刺激することで，現実空間と同等の空間や物体を提供する技術である [2]．VR 技術を利用することによって，実体験と同等の学習効果を得られるだけでなく，現実では再現が難しい現象の体験，実際の環境で起こりうる危険の回避，実物を用意するためのコストの削減を実現することができる．そのため，多方面の分野で VR 技術を活用したシステムの導入が検討されている．例
えば医療分野では手術の訓練を支援する手術シミュレータが開発されている [3]．この手術シミュレーショ
ンシステムでは，精密な患者のデータを用いることによって術前のリハーサルによる手技の習得，および患者一人一人に対して手術方法の決定およびその検討を行うことを可能としており，さらに教育面でも手技のトレーニングといった目的で使用可能なシステムである．産業分野の例としては，道路交通環境を再現することで車社会の環境改善を目的としたドライビングシミュレータが挙げられる [4]．VR 技術を利用したこれらのシステムはユーザに実体験と同等の多大な学習効果を提供するが，一方で用いる装置が巨大であったり，装置そのものが高価であったりするため，導入の為のコストが大きいという欠点も存在する．
しかし近年では，家庭でも導入が容易な比較的安価かつ小型な VR 向けのデバイスが入手可能になってきている．例えば Oculus VR 社が開発した「Oculus Rift」[5] は，VR に特化したヘッドマウントディスプ
レイであり，現実世界のように非常に広い視野角で映像を提示できるためユーザは高い没入感を得ることができる．任天堂株式会社から販売されているビデオゲーム機「Wii」[6] の入力装置である「Wii リモコン」は VR に特化したデバイスではないものの，振ったり傾けたりといった直感的な操作を可能にしており VR との親和性が高い．現在は VR 技術を活用した製品が家庭に広く普及しているとは言い難いものの，
このような手軽で安価なデバイスが入手可能となることで，今後は一般家庭向けの VR システムが普及し新たなコンテンツの可能性が広がっていくことが期待できる．
当研究室では従来より，家庭向けの VR コンテンツの一つとして料理（調理）学習に着目している．調理は誰もが行う身近な行為であるが，近年の少子化や核家族化に伴い調理に関する知識，技術不足が懸念される．そのため様々な分野の研究者が，調理の学習・訓練を目的としたシステムの提案を行っている．例えば，栄養バランスを考慮した料理レシピを自動生成する手法 [8] や，テキスト教材に対応した調理動作の映像を提供するマルチメディア料理レシピの生成手法 [7] が提案されている．これらは，料理に関する知識を

第1章

はじめに

2

ユーザに提供するために提案された手法である．また，ユーザ自らが調理を体験し，学習するシステムの研究も行われている．その一例として，調理行為のセンシングにより専門家さながらの技術を再現可能な調理器具 [9] が挙げられる．この調理器具では，調理行為をセンシングしユーザに指示を出して動作を誘導することで，専門家が感覚的に習得している温度調節や手の動かし方といった技術をユーザが体感しながら習得することができる．一方，加熱による食品の変化を視認できるインタラクティブな調理体験シミュレー
タ [10] も開発されている．このシミュレータはフライパン上に食材の映像を表示し，食材の映像をユーザの動作に合わせてリアルタイムで変化させることで，ユーザにフライパンによる食材の加熱調理を体験させることができる．更にこのシミュレータはユーザが操作するフライパンに食材の重みを感じさせるような反力を食材の映像に合わせて加えることで，ユーザにあたかも実物の食材を触れて調理しているような感覚を感じさせることもできる．また株式会社オフィスクリエイトは，エンタテインメントを重視した，料理の手順を遊びながら体験できるゲームを販売している [11]．
当研究室では，一般家庭での調理学習を対象とした，VR 技術を活用した調理学習支援システムの開発を行っている．このシステムはユーザが体を動かして調理工程を体験することにより，調理の基本的な手順を学習することを目的としている．調理学習の手段としては，テキストやビデオによる学習，実際の調理による練習が挙げられるが，テキストやビデオを用いて受動的に情報を受け取り学習するよりは，実際に手を動かしながら能動的に調理手順を学習する方が，よりユーザにとって記憶に残る学習経験となると考えられる．しかし実物を用いた調理学習では火や刃物を扱う際に危険が伴ったり，繰り返し練習しようとすると調理の為の素材のコストがかさんでしまうという欠点が存在する．そうした危険性やコストは調理に関する技術が未熟であったり知識が不足している者にとって，調理学習に対する大きなハードルと感じさせ，
結局そうしたリスクを避けるために調理そのものを敬遠してしまうと考えられる．そこで VR を活用する
ことで，ユーザが調理工程をインタラクティブに体験しながらも，そうしたリスクを避けて調理技術や経験を得られることができる．そのため VR 調理学習支援システムでは調理経験が少ない初心者が安全にかつ効率良く調理工程を学習することを目的とし，一般家庭での利用を考え動作の精密な再現性よりも対話操
作性を重視している．

VR 調理学習支援システム開発の為，当研究室ではこれまでに調理工程において実現が容易でない工程を再現する手法を検討し，研究を行ってきた．その一つに，炒飯のような米粒や具材といった小さな固体の集まりに対する操作がある．これらの正確な挙動をリアルタイムに表現することは困難である．そこで，当研究室では新たに固体群操作モデルを提案している [12][13]．本モデルでは炒飯のような「複数の小さな固体で構成されるが，全体を一つの集合として扱う対象」を固体群と定義し，個々の固体に作用する力学的影
響を一括して近似的に計算する．具体的には，個々の粒子を表現するのではなく，二次元格子上のハイトフィールドによって表現し，その体積を各格子における固体の体積の和によって決定する．また，フライパ

第1章

はじめに

3

ンを傾ける，振るといった間接的な操作により固体群を扱うだけでなく，固体群を局所的に操作するため，操作者が自由に動かすことのできるヘラ状の調理器具を導入した [14][15][16]．当研究室で，これまでは主に固体群操作モデルの改善，完成を目指して研究を行ってきた．そのため，フライパンやヘラを操作した時の炒飯の挙動のもっともらしさのみを評価検証の対象としてきた．しかし，実際の調理はフライパンの上で行うだけでなく，食材を洗う，食材を切る，また加熱調理後に皿に盛りつけるといった様々な動作を手順よく行う必要がある．提案のモデルが，調理の基本的な手順を体験することで調理を学習するという目的にかなったものであるかどうか，検証できていない．また，一連の工程を仮想的に体験することが教科書やビデオによる学習よりも効果的であるか否かの検証も行いたい．そこで本研究では，食材を洗う，切る，準備された食材をフライパンなどに投入する，加熱調理後の料理を皿に盛りつける，という一連の作業全てを体験できる簡易的なシステムを構築する．個々の工程は，それだけで色々と難しい問題を含んでいると考えられるが，ここでは前述の検証を目的とし，それぞれ簡易的に実装する．第 2 章において，当研究室が提案した固体群操作モデルの概略を説明し，第 3 章ではシステムを構築するにあたり新たに実装した調理操作のモデルを説明する．第 4 章では第 3 章での記述をもとに構築したシステムと，システムを用いて行った評価実験とその実験結果について述べる．

4

第2章

2.1

固体群操作モデル

固体群と調理容器の表現

当研究室が提案している固体群操作モデルは，小さな固体一つ一つに対してその挙動を計算するのではなく，調理容器内の小さな固体の集まりである固体群を一つの操作対象とし，力学的影響を近似的に計算することで計算時間を削減している．調理容器はフライパンを想定し，多角形平面の底面と，高さ H の垂直な側面によって構成する．固体群の表現には，調理容器底面に定義した二次元格子ハイトフィールドを用いる (図 2.1)．調理容器底面内の格子 (x, y) に存在する固体群の体積を V (x, y) とすると，調理容器 c 内の固体群の総体積 Vc (x, y) は以下のように表される．

Vc =

N
∑

V (x, y)(2.1)

また，中華鍋のように底面が平面でない調理容器にも対応するため，調理容器の形状を多角柱から部分球に拡張した [17]．部分球形状の容器は底面が平面でないため，球面に沿った二次元格子ハイトフィールドを定義することは難しい．そこで，容器形状を表現するための容器ハイトフィールドを基準面上に定義する (図2.2)．部分球を含む球の半径を Rs とすると，三次元座標における球の式は以下のように表される．

x2 + y 2 + (z − Rs )2 = Rs2(2.2)

したがって，ある格子 (xi , yj ) における容器底面の高さ hs (xi , yj ) は以下のように求められる．

hs (xi , yj ) = Rs −√Rs2 − x2i − yj2(2.3)

また，ある格子 (xi , yj ) における基準面からの固体群の表面の高さは h(xi , yj ) + hs (xi , yj ) で表される．
以上の値をもとに各格子に値を設定し，テクスチャマッピングにより固体群の形状を表現する．

第2章

固体群操作モデル

5

‫ݖ‬
‫ݕ‬
‫ݔ‬
図 2.1: 調理容器内の固体群の表現

zs
ys

xs
ℎ (‫ݔ‬, ‫) ݕ‬

図 2.2: 基準面上の部分球容器

第2章

固体群操作モデル

1

6

2

時刻t

3

曲面を生成・加算

時刻‫ ݐ‬+ ∆‫ݐ‬

図 2.3: 変形曲面による固体群変形の過程

2.2

変形曲面

実際の調理工程では調理容器を傾ける，左右に振るといった操作を行うことで調理容器内の食材を操作する．固体群操作モデルでも調理容器の操作に合わせて調理容器内の固体群を形状変化させることで調理容器による食材の操作を近似的に再現する．具体的には，固体群全体，あるいはその一部分に作用する挙動の変化分を曲面により近似表現する．この曲面を変形曲面と呼ぶ．変形曲面による固体群の挙動の例として，時刻 t から時刻 t + ∆t における容器の固体群の形状変化を固体群の断面図を用いて図 2.3 に示す．まず，ある時刻 t において傾けられた調理容器内に固体群が存在する場合 (図 2.3-1)，固体群は重力によって容器下方に移動することが予想される．そこで，固体群の体積を局所的に増加させる正の変形曲面と，減少させる負の変形曲面を適用する (図 2.3-2)．これにより，時刻 t + ∆t における固体群は想定した通り容器下方に移動する (図 2.3-3)．この一連の処理によって固体群の挙動を高速に計算することができる．
しかし実際の固体群の挙動は複雑なため，変形曲面の形状を厳密に計算することは困難である．そのため従来の実験システム及び後述する本論文の VR 調理学習支援システムでは簡易的な変形曲面を用いて，代替の処理を行う．モデルの簡略化のため，固体群の移動を表現するための変形曲面の形状は半楕円柱とする(図 2.4)．半楕円柱形状の変形曲面を図 2.5，変形曲面を定義する変数を以下に示す．
• 調理容器底面と平行である楕円の長半径 a• 調理容器底面と垂直である楕円の短半径 b• 調理容器内での位置 oD• 楕円柱の中心軸 LD• 楕円柱の長さ rD

第2章

固体群操作モデル7

図 2.4: 半楕円柱形状の変形曲面

b

oD

a
rD

LD

図 2.5: 半楕円柱変形曲面のパラメータ

第2章

固体群操作モデル

8

調理容器を振る，傾けることで調理容器内の固体群に容器底面と平行な外力 Fb が加わるとする (図 2.6)．このとき，固体群は重心 Gc に集まっていると仮定し，変形曲面の生成位置を重心 Gc から Fb の方向に設定
する．重心 Gc および半楕円柱の生成位置 oD は以下のように求める．

Gc =

1 ∑
h(xi , yj )mijVc

oD = G c +

(2.4)

Fb
νa
|Fb |

(2.5)

′
௕ = ′௕ = 



図 2.6: 容器を振る，傾ける場合に固体群に作用する外力

mij はハイトフィールドの格子の座標であり，ν は任意の定数である．半楕円柱の断面となる長半径 a は固体群の移動距離および移動する体積の双方に関する変数である．つまり，a = 0 であれば変形曲面は適用されず，固体群は移動しない．固体群は剛体とは異なり，図 2.7 のように容器端に達しても移動し続ける．そのため，固体群の大部分が容器の端まで移動し終えるまで a > 0 とする必要がある．そこで，調理容器の側面から固体群に作用する垂直抗力 FN を考え，a は調理容器の端に接している固体群の量に対して減少す
るよう，以下のように設定する．

T − |F ′ | (T ≥ |F ′ |)
1
1
N
N
a=
0
(T < |F ′ |)
1

(2.6)

N

T1 は任意の定数，FN′ は調理容器の側面からの抗力 FN のうち，Fb に平行な成分である．長半径 a は固体群が容器の側面から受ける抗力を考慮に入れて定義されたパラメータであるが，固体群が受けた力や調理

第2章

固体群操作モデル9

図 2.7: 調理容器端での固体群の挙動

容器内に存在する固体群の体積がパラメータの設定に大きく影響しない．よって，これらを補うために短半
径 b を以下のように設定する．

b=
(|F | − µ′ )T √V(|Fb | ≥ µ)

0(|Fb | < µ)

b

2

c

(2.7)

なお，T2 は任意の定数，µ は最大静止摩擦力，µ′ は動摩擦力を表すパラメータである．半楕円の姿勢は，楕
円柱の芯となる直線 LD で定義される．LD は oD を通り，Fb と直交するベクトルであるため，実数 t とベ
クトル lD を用いて以下のように表される．

LD = oD + tlD

(2.8)

Fb
=0
|Fb |

(2.9)

lD は以下の条件を満たすベクトルである．

lD ·楕円柱の長さ rD は，調理容器底面を構成する平面図形と直線 LD の交点を結んでできる線分の長さと等しくなるように設定する．以上で決定した変形曲面のパラメータにより，変形曲面を生成して固体群に加算す
る．調理容器を傾けると，調理容器内の固体群は傾けられた容器の底面の沿って下方に移動すると考えられる (図 2.8-1)．まず，半楕円柱の変形曲面により固体群の体積を局所的に増加させる (図 2.8-2)．そして，容器内の固体群全体の体積と，変形曲面加算前の体積が等しくなるように体積補正を行う (図 2.8-3)．最終
的に，時刻 t + ∆t におけて固体群は前時間よりも下方に移動する．

2.3

粒子による固体群の表現

現実世界における固体群の最小構成要素は微小な固体であり，有限の大きさを持っている．従来の固体群操作モデルでは，固体群はハイトフィールドによって表現されているため最小構成要素が定義されていな

第2章

固体群操作モデル

1

10

2

3

4

݃
‫ ݐ‬+△ ‫ݐ‬‫ݐ‬
図 2.8: 変形曲面を用いた代替処理

い．そのため，ハイトフィールドで表現されている固体群では無限小の固体が存在していることになり，固体群としては不自然な形状を生成してしまう．そこで，ハイトフィールドで表現された固体群の最小構成要
素 α を定める．ある格子 (xi , yj ) において h(xi , yj ) < α を満たす場合，その格子における α の存在を確率によって判定し，粒子の描画を決定する．このような確率的に存在が決定される固体群の描画のために，独立なハイトフィールドである描画ハイトフィールドを定義する．描画ハイトフィールドが持つ値 he (xi , yj )は，調理容器に定義されたハイトフィールドから以下のように求める．

• h(xi , yj ) < α のとき

he (xi , yj ) =(P (x , y ) の確率で)0

(1 − P (x , y ) の確率で)

α

i

j

i

j

(2.10)• h(xi , yj ) ≥ α のとき

he (xi , yj ) = h(xi , yj )(2.11)

P (xi , yj ) は格子 (xi , yj ) に固体群が存在する確率であり，以下のように求める．

P (xi , yj ) =h(xi , yj )α(2.12)

存在確率に基づいた粒子の描画により，変形曲面では表現しきれない調理容器端から端への固体群の移動をより自然に表現でき，小さな固体で構成された固体群の見た目の自然らしさを表現することができる (図2.9)．
また，調理容器外の固体群を粒子によって表現し，固体群が容器外へこぼれる様子を表現する．容器外へ
固体群がこぼれる条件を定義するために，こぼれ境界を図 2.10 のように設定する．A 境界は容器を傾けた

第2章

固体群操作モデル11

図 2.9: 粒子による固体群の移動表現

際に固体群がこぼれる高さの境界，B 境界はヘラなどの調理容器によって押し出されることで固体群がこぼれる高さの境界である．なお，角度 θ は積み上がった固体群が自発的に崩れることなく安定を保つ斜面の安息角とする．固体群は二つの境界のどちらかを越えた部分に対し，存在確率に基づいた粒子を自由落下粒子へと変換し，容器外の空間へ落下させることでこぼれの挙動を実現する．

2.4

固体群の崩れ表現

第 2.2 節で述べた変形曲面は調理容器の姿勢変化や加速度運動による固体群の挙動を表現可能であるが，調理容器を水平に静止した状態で固体群が崩れる場合には対応していない．固体群は積み重なり方により，全体あるいは一部分が崩れることが考えられる．そこで，固体群の形状に基づいた崩れを変形曲面により表現する．固体群全体あるいはその一部分を一つの操作対象とするため，始めに崩れが起こる可能性がある領域，およびその中心点を求める．その後，求められた中心点の周辺に変形曲面を適用することで局所的な崩れを計算する (図 2.11)．変形曲面の形状は大小二つのガウス曲面の差 (図 2.12) と定義し，投影面における変形曲面の中心点を崩れの候補点に一致させる．変形曲面は最終候補点の高さに応じて拡大縮小し，固体群の積み重なり方による崩れの進行速度の違いを表現する．

2.5

剛体による固体群操作

前述のモデルでは，調理容器を振る，傾けるといった方法で固体群を間接的に操作することは可能であるが，固体群に対して直接，局所的に操作することは困難である．しかし実際の調理では調理容器による操作だけでなく，ヘラなどの調理器具によって固体群を押し動かしたり，すくい上げたりするといった局所的な操作も行わなければならない．そこで，剛体の調理器具により固体群を局所的に操作することも考えてい第2章

固体群操作モデル12

図 2.10: 固体群のこぼれ境界

1

2

時刻t

3

曲面を生成・加算

図 2.11: 曲面による固体群の崩れ表現

時刻‫ ݐ‬+ ∆‫ݐ‬

第2章

固体群操作モデル13

差分

図 2.12: 崩れを表現する変形曲面

る。詳しくは文献 [15][16] を参照されたい。なおフライパンや鍋といった調理容器も剛体に分類されるが，ここで述べる剛体とはヘラなどの固体群を操作するための調理器具を指す．また調理器具で扱う剛体を区別するため，フライパンなどを調理容器，ヘラなどを調理器具と呼称する．

14

第3章

3.1

それぞれの調理操作のモデル

食材を洗う動作

食材を洗う動作を表現するためには，蛇口から水が流れ出る，水流によって食材の汚れが流れ落ちるといった挙動が必要であると考えられる．そこで，水流は白色の長方形のポリゴンを多数描画し，そのポリゴンが落下していくような挙動を計算を行うことで流れ落ちていく水流を表現する (図 3.1)．また，食材の表面に汚れを模した細かなポリゴン（以下，汚れポリゴン）を多数配置し，食材の動きに追従させることで食材の表面にこびりついた土汚れを表現する．最後に，水流によって汚れが流れ落ちる表現を考える．現実の食材を洗う動作では食材と水流が接触することで水流の向きが変化したり，食材に付着した汚れが水滴と接触することで食材表面から離れ水流に沿って流れ落ちていくといった挙動が存在するが，本研究では処理を簡略化し，水流と汚れとの接触のみを考える．また，汚れが水流によって流されていく処理を，汚れポリゴンに対して水流の表現を構成するポリゴン一つ一つが接触したかどうか判定を行うことで表現すると，計算量が膨大になってしまうため，本研究では水流を一つの円柱状の物体と考え，汚れポリゴンが円柱内に入ったとき水流と汚れポリゴンが接触したと判定する．汚れポリゴンと水流との接触判定には以下の変数を用いる．

• 汚れポリゴンと水流の中心との x 座標の距離 dx• 汚れポリゴンと水流の中心との z 座標の距離 dz• 水流を包含するような仮想的な円柱の半径 r
これらを食材表面に配置した汚れポリゴン一つ一つに対して計算し，r >√dx 2 + dz 2 のとき汚れと水流が接触したと判定する (図 3.2)．水流と接触した汚れポリゴンは食材の動きに対する追従を止め落下させていく．なお，本システムではプログラム内の計算の簡略化の為平方根を計算せず，両辺を二乗して計算している．以上の手法を用いて，食材を洗う動作を実現する．

3.2

食材を切る動作

食材を切る動作は食材の切り方によってその挙動が多様に変化する．例えば人参に着目した場合，乱切り，
いちょう切り，短冊切り，さいの目切りと料理に応じた複数の切り方が存在する．このような食材を切る動第3章

それぞれの調理操作のモデル

図 3.1: 流れ落ちる水流の表現

図 3.2: 汚れと水流との接触判定

15

第3章

それぞれの調理操作のモデル

16

図 3.3: 食材の表現

作を VR システム上で表現しようとする場合，包丁やナイフといった調理器具によって食材モデルを分割し，切断面を動的に生成する処理が考えられる．しかしそのような処理を行う場合，切り方によっては非常に微小な 3D 形状モデルが多数生成されてしまい，計算量が膨大になってしまう．そこで本研究では，あらかじめ食材をいくつかの小さな断片に分割し，その断片を連結することで一個の食材を表現する (図 3.3)．
更に食材を切る動作も簡略化し，包丁と食材が接触したとき，食材の中で包丁が直接接触している箇所の断片から右端までの断片を更に微小なさいの目状の粒子に変換する (図 3.4)．なお，本システムにおける食材の切り方はさいの目切りに限定している．さいの目切りに限定した理由は，本システムが炒飯の調理を想定しており，炒飯へ具材を投入するために具材をさいの目状に刻む場合が多いと考えたためである．以上の手法を用いて食材を切る動作を表現する．

3.3

食材を炒める動作

食材を炒める動作には 2 章で述べた固体群操作モデルを利用する．炒飯を固体群操作モデルによって表現することで，ユーザの操作に応じてリアルタイムに挙動が変化する対話操作が可能である．炒飯を炒める動作を行う前に，具材を投入する必要がある．具材を投入する動作については，フライパンなどの調理容器の上部に具材を入れたボウルを表示し，ボウルを一定角以上傾けると調理容器内の固体群の体積が加算されていく，という処理によって表現する．具材を加熱して炒める動作を表現するために，炒飯が加熱することによって徐々に焼き色を変更していく．また，具材を投入する際にも，投入した具材の色が炒飯の色に加第3章

それぞれの調理操作のモデル

17

図 3.4: 食材を切る動作

図 3.5: 調理過程における固体群テクスチャ変化の一例

わっていく，という表現が必要である．そこで本研究ではこの固体群操作モデルに対して，調理動作に応じて固体群テクスチャを変化させていく処理を加えた．複数の具材に対して，それぞれを投入するごとにテクスチャを変化させたり，時間の経過に応じて段階的にテクスチャの色を変化させたりすることで，固体群を構成していると想定される具材の様子や，加熱によって固体群の焼き色が変化していく様子を表現する．本システムでは，ご飯のみを投入した場合は固体群は白一色で表され，人参やチャーシューを入れた場合は白地にそれぞれの具材の色が加わった模様となり，その後，加熱時間に応じて茶色っぽい色に変化していく，という処理を実装した (図 3.5)．これにより炒飯をいつまで炒め続ければよいかというタイミングを，ユー
ザが視覚的に分かりやすく認識することができる．以上の手法を用いて食材を炒める動作を表現する．

第3章

それぞれの調理操作のモデル

18

図 3.6: フライパンから皿への盛り付け動作

3.4

料理を盛り付ける動作

固体群操作モデルは，フライパンなどの調理容器を傾ける，ヘラなどの調理器具を使って固体群を押し出すといった操作によって固体群を調理容器外にこぼす動作が可能である (第 2.3 項参照)．それを利用し，食材を炒める動作で利用したフライパン上のハイトフィールドから皿に定義したハイトフィールドへ，フライ
パン内で減算された固体群の体積分だけ皿内の固体群の体積に加算を行うことで，料理を盛り付ける動作を表現する (図 3.6)．なお，皿上の固体群のテクスチャはフライパン上の固体群と同一のテクスチャとする．

19

第4章

4.1

実験

実験システム

第 3 章で述べた構成をもとに，実験システムを構築した．本システムでは料理は炒飯を想定し，調理工
程は，食材を洗う，食材を切る，切った食材をフライパンに投入し炒める，炒めた料理を皿に盛り付けるの順に体験できるようにする．なお，本システムの構築に利用した計算機の構成は以下の通りである．

• CPU: Intel(R)Core(TM)i5-2400 CPU 3.10GHz• RAM: 4GB
本システムでは，入力装置にマウスと任天堂株式会社より発売されている Wii リモコンと Wii 用のセンサーバーを使用した．また，本実験においてユーザがシステム中の各動作における操作対象を認識しやすくする為に，ユーザの操作に追従する仮想的な手を画面内に半透明表示した．右手は Wii リモコンの入力に追従し，左手はマウスの入力に追従する．具体的には，右手は xy 平面上を，Wii リモコンのポインティング
機能を利用して Wii リモコンの指し示す位置に移動する．このとき z 座標は各動作において最適な値に固定される (図 4.1)．左手は xz 平面上をマウスの動きに追従して移動する．このとき y 座標は各動作において最適な値に固定される (図 4.2)．図 4.3 は，システム実行中の各場面の表示例である．また，実際の実験の様子を図 4.4 に示す．

4.2

実験手法

まず，ビデオ教材による学習と，実際の（仮想的な）体験による学習との効果の違いを検証したい．そこで，実験１：ビデオ映像（実験システム稼働時の CG 映像）の視聴と，その後に本実験システムの操作，を行ってもらう．また，これまでに開発してきた固体群操作モデルが，（仮想的な）体験学習に有効である
こと，すなわち体験時にフライパン内の食材が固定されているのではなく操作に応じて動的に変化することで高い臨場感を表現でることが有用であることを確認したい．そのため，実験２：固体群を固定した限定版実験システムの操作と，本実験システムの操作，を行ってもらう．実験システムではフライパンへの具材投入やフライパンの移動操作に応じて固体群の形状が変化する，すなわち移動することができるが，限定版実験システムではフライパン内の食材を固定したままとする．なお，その他の動作は同じである．それぞ

第4章

実験

20

図 4.1: Wii リモコンによる右手の操作

図 4.2: マウスによる左手の操作

第4章

実験

21

図 4.3: 実行画面の例

第4章

実験

22

図 4.4: 実験の様子

第4章

実験

23

図 4.5: ビデオ教材視聴と体験型学習との学習効果比較

れの比較操作（視聴）の後，被験者にはいくつかの質問に回答してもらうことで評価を得る．前述の実験システムを用いて, 被験者 17 人に対し実験を行った.

4.3

実験結果と考察

映像視聴と実験システム操作の比較実験に対する評価結果を図 4.5 に示す．固体群固定の限定版実験シス
テムと固定しない本実験システムの比較実験結果を図 4.6 に示す．また，実験全体を通しての本システムに対する評価結果を図 4.7 に示す．
図 4.5 の結果より，被験者のほぼ全員が，映像による調理学習より VR システムに実際に触れる調理学習の方が学習効果が高いと感じるということが分かった．また被験者の中からは，映像のみでもある程度調理
過程の流れは把握できるものの，細かい動作や手順はやはり実際に触って体験しないとわからないという
意見もみられたことから，調理学習はユーザが手を動かして実践するシステムを用いた方が学習効率及び学習効果が高いのではないかと考えられる．
図 4.6 の結果より，こちらも被験者のほぼ全員が，固体群操作モデルを組み込み，固体群に対してユーザが任意の操作をできるようにした VR システムの方が学習効果が高いと感じるということが分かった．固体群を固定したシステムを動かしてもらった時の評価として，固体群を操作できるシステムと比較して現実感があまりなく，調理している実感に欠けるといった意見や，こぼれたり変形しないことからフライパンを実際の調理のように正しく操作できているのか分からないという意見があった．以上より，固体群操作モ
デルは，炒飯のような微小な固体から構成される料理を対象とした VR 調理学習システムに組み込むことで学習効果が期待できる有用な手法であると考えられる．

第4章

実験

24

図 4.6: 固体群操作モデルの学習効果への期待

図 4.7: VR 調理学習支援システムの有効性

第4章

実験

25

しかし，本研究で構築した VR 調理学習支援システムによる学習効果の有無の評価に関しては，図 4.7 が示すように学習効果があると強く考える被験者の人数が図 4.5，図 4.6 に比べ少なかった．これは，本研究のために新たに追加した洗う，切る，盛り付けるといった動作の再現性が現時点では不十分だと被験者に判断されたためであり，特に切る動作の再現性に関しては最も多くの意見が寄せられた．代表的な意見は，食材の断片からいきなりさいの目状の粒子に変換されてしまう過程は違和感を感じてしまうだった．本研究では，VR システムによる体験学習の有効性や，固体群操作モデルの有用性の検証を目的としているため，実際の調理過程と比べ動作の簡略化を行った箇所がいくつか存在する．食材を切る動作に関してより再現性の高い手法を検討していきたい．また，本システムでは食材を押さえている左手モデルの上からでも包丁が下ろすことが可能であるが，これは現実では大変危険な行為であるにも関わらず何の警告もないのは不自然ではないかという意見も数多くみられた．VR による調理学習システムを利用することで実際に刃物や火を扱うことによる危険を回避できる点は現実の調理学習と比較した上でのメリットであるが，VR シス
テム上での経験を現実にフィードバックするためには，こうした現実では危険になる行為を事前に VR シ
ステム上で学習し防ぐことも重要である．よって今後は，火や刃物を扱う際現実で危険な行為となる動作に対して警告や指示を与え，現実での調理で事故が発生しないよう事前に学習できる機能も VR 調理学習支援システムに必要であると考えられる．洗う動作に関しても，本システムでは汚れは水流との接触のみに
よって食材から流れ落ちていくが，現実で食材を洗う動作においては「手で食材の汚れをこすり落とす」という動作も存在する．そのような動作の追加を求める意見もあった．炒める動作に関しては，焼き色がリア
ルタイムに変化していくことで，調理をしている実感があった，焼き加減のタイミングの把握に役立ったと
いう好意的な意見が多く寄せられた一方で，焦げ方が全体的に変化するのではなくフライパンと直接接した箇所のみ局所的に焦げるようにする，固体群を操作して混ぜないと下の方から焦げていくといった動作があるとよりリアリティが増すのではないかという意見もあった．また，本実験では入力装置は右手に Wii
リモコン，左手にマウスと入力装置を限定し，ヘラなどによる固体群の局所的操作を制限していたため，この点を改善すると炒める動作にリアリティが増すのではないかという意見もみられた．システム全体を通して寄せられた意見としては，被験者が作成した料理の評価をして欲しい，動作の正誤を教えて欲しいという意見があった．こちらも，前述の包丁の動作に伴う危険行動の警告もふまえて今後導入を検討したい．
その他にも，普段右手でマウスを操作している被験者にとって左手でマウスを操作することによる違和感，

Wii リモコンによる包丁の操作と実際の包丁の操作の差異等，入力装置に関する意見もみられた．
以上のように，各動作に関して一定の改良の余地はあるものの，過半数の被験者が「VR 調理学習支援シ
ステム，固体群操作モデルは調理過程の学習に有効だと思うか」という質問に対して「非常に有効だと思う」又は「やや有効だと思う」と回答した．また，検証実験のために非常に簡易的に実装した部分も含め，調理学習システムとして必要，重要な項目や機能を洗い出すこともできた．今後更なる開発を重ねること

第4章

実験

でより学習効果の高いシステムが実現されることが期待できる．

26

27

第5章

むすび

当研究室では主に固体群操作モデルの改良・拡張を行い，検証実験においては固体群操作モデルの挙動のもっともらしさ，対話操作性を評価対象として研究を進めてきた．本研究では VR 調理学習支援システムの完成を見据え，固体群操作モデルを基本にした上で，食材準備から盛付けまでの一連の作業を簡易的に組み込んだ VR 調理学習支援システムを構築し，その学習効果の検証を行った．本システムは，調理過程の中でも洗う，切る，炒める，盛り付けるなどの動作をユーザが体験しながら，炒飯を作る手順を学習できるシステムである．評価実験では，多くの被験者からその学習効果について一定の評価を得ることができ，VR 技術を応用した調理学習支援システムを利用することの有用性と，固体群操作モデルを用いることによる調理時の食材挙動表現の有効性を確認することができた．
一方，ユーザに実際に体験してもらいフィードバックを得たことで，今後の VR 調理学習支援システムの開発のために必要な，または重要な項目や機能を洗い出すことができた．本システムは切る工程を全て再現できているわけではない．野菜の皮むきや具材の段階的な切断も行えていない．そこで，皮むきの手順の導入や具材の段階的な切断動作を導入したい．また，本システム中の包丁の切り方は炒飯の調理を想定してさいの目切りに限定したが，調理用途に応じて様々な形に切ることが可能なモデルを導入も検討したい．
炒める動作に関しても，局所的に焦げるといった表現によって，調理の臨場感が増し，より実際の調理と同等の感覚が得られると考えられる．このような動作の改良は，固体群操作モデルを基礎とする VR 調理学
習支援システムがより多様な料理に対応するために重要であると考えられる．他にも，ユーザの調理過程への評価も今後の調理学習システムにおいて導入を検討したい項目である．本研究は VR システムによる体験学習の有効性や，固体群操作モデルの有用性の検証を目的としており，システム上におけるユーザの動作の正確性に対しての評価は行わなかった．しかし，ユーザが繰り返し練習することを想定した VR シス
テムにおいて，教師役のシステムによる評価のフィードバックを何度も受けられる意義は大きく，動作に対する評価のフィードバックを加えた VR 調理学習支援システムをユーザが繰り返し体験することによって，ユーザはより効果的に調理学習を行うことができると考えられる．今後もシステムの学習効果を高めるた
めに上記のような項目を導入してシステムの改良を加えていきたい．また，多様な料理に対応するため新
たな調理の表現や調理動作への拡張も考えていきたい．本研究の最終目標は，ユーザにとってより学習効果の高い VR 調理学習支援システムの完成である．

28

謝辞

本研究を進めるにあたって，日頃から多大な御尽力を頂き，ご指導を賜りました名古屋工業大学，舟橋健
司 准教授，伊藤宏隆 助教に心から感謝致します．また，本研究に多大な御協力頂きました舟橋研究室諸氏に心から感謝致します．

29

参考文献

[1] 舘日章, 佐藤誠, 廣瀬通孝, “バーチャルリアリティ学”, 工業調査会, 2010.
[2] 服部桂, “人工現実感の世界”, 工業調査会, 1991.
[3] 鈴木薫之, 鈴木直樹, 服部麻木, 林部充宏, 大竹義人, 小林進, 橋爪誠, “臓器変形モデルと力覚フィード
バックデバイスを用いた手術シミュレータの開発”, 日本バーチャルリアリティ学会論文誌, Vol.9, No.2,

pp.97-102, 2004.
[4] 赤松幹之, “ドライビングシミュレータとドライバー行動モデル”, 日本バーチャルリアリティ学会論文
誌, Vol.9, No.2, pp.91-96, 2004.

[5] Oculus VR 社,
https://www.oculus.com/ja/[6] 任天堂株式会社 Wii,
http://www.nintendo.co.jp/index.html[7] 苅米 志帆乃，藤井 敦，“料理レシピの推薦と栄養バランスの可視化による食生活支援システム”，WebDBForum，2009．
[8] 三浦 宏一，高野 求，浜田 玲子，井手 一郎，坂井 修一，田中 英彦，“料理映像の構造解析による調理
手順との対応付け”，電子情報通信学会論文誌 (D-II)，Vol. J86-D-II，No.11，pp.1647-1656，2003．

[9] 生井 みづき，瓜生 大輔，徳久 悟，柏樹 良，稲見 昌彦， 奥出 直人，“panavi : センサ・アクチュエー
タ・無線通信機能を内蔵するフライパンを中心とした、料理スキルの習得を支援するシステム (生活メディアセッション, 生活メディア) ”，電子情報通信学会技術研究報告. MVE, マルチメディア・仮想環
境基礎，Vol.109，No.281， pp.41-46, 2009．

[10] 加藤 史洋，長谷川 晶一，“料理シミュレーションのためのリアルタイム熱伝達・伝導シミュレーショ
ン”，Computer Entertainment Developers Conference，2012．

[11] 株式会社オフィスクリエイト クッキングママ,
http://www.ofcr.co.jp/html/products/ds mama1.html

30[12] 舟橋健司, 小栗進一郎, “家庭での利用を目的とした VR 調理学習システムのための固体群操作モデルの検討”, 日本バーチャルリアリティ学会第 13 回大会講演論文集, pp.171-172, 2008.

[13] 森井敦士, 森愛絵, 山本大介, 舟橋健司, “VR 調理学習システムのための剛体による固体群操作モデル”,
日本バーチャルリアリティ学会第 15 回大会講演論文集, 2C2-2 (DVD-ROM), 2010.

[14] 小塚太智, “VR 調理学習システムにおける調理器具の移動範囲の拡張”, 平成 23 年度名古屋工業大学卒
業論文, 2012.

[15] 佐東康平, 舟橋健司 “VR 調理学習システムにおける調理器具による押さえつけ動作とすくい上げ動作の考察”, 日本バーチャルリアリティ学会第 18 回大会講演論文集, pp.252-255, 2013.

[16] 佐東康平, “調理学習システムにおける調理器具のすくい上げと押し動作の複合操作による固体群挙動”,
平成 26 年度名古屋工業大学修士論文, 2015.

[17] 石原逸貴, 舟橋健司, “VR 調理学習システムにおける調理容器の部分球形状への拡張”, 日本バーチャル
リアリティ学会第 17 回大会講演論文集, pp.255-258, 2012.